工具環(huán)境

語言：Python3.6

編輯器：Pycharm

數(shù)據(jù)庫：MongoDB

工具：Charles

爬取思路

爬取站點：https://www.douyin.com/

這里的爬取思路非常簡單，以至于我會覺得這篇文章會有些空洞。當(dāng)你抓包正確配置好環(huán)境后，打開抖音軟件，做一些簡單的操作，Charles就會給你返回如下的數(shù)據(jù)，這些數(shù)據(jù)其實就是服務(wù)端給你返回的數(shù)據(jù)，里面包含所有我們需要的信息。比如我們今天要下載的自己點擊過的，喜歡的視頻鏈接等

你操作軟件時，看一下Charles中每條數(shù)據(jù)的變化情況，你會發(fā)現(xiàn)，你個人主頁下面的鏈跟videos、feed和likes和這三條數(shù)據(jù)有關(guān)，每一次你做相應(yīng)的操作，下面就會多出一些請求鏈接

那我們別的先不管，看下每個請求中的數(shù)據(jù)，有沒有我們想要的數(shù)據(jù)，隨便看一下某個鏈接中的返回數(shù)據(jù)

可以看到這里有play_addr，再一看鏈接中有video字樣，基本八九不離十了。因為我已經(jīng)驗證過了，這里的信息就是如我們猜測的那樣，包含視頻的全部信息

那我們其實就需要模擬這里的請求鏈接即可，先看下請求中都包含哪些必要的信息，你多看幾個就發(fā)現(xiàn)，真正變化的就幾個固定的參數(shù)，其中紅線以上的部分都是和設(shè)備相關(guān)的信息和app信息，真正核心加密的參數(shù)就只有，mas，as和ts。這里我先自己網(wǎng)上找了下有沒有相關(guān)的輪子可用，索性狗屎運比較好，正好找到了，地址在這：https://github.com/AppSign/douyin

套用即可，而且這位大佬的所有破解，都是和字節(jié)跳動有關(guān)的，我有點覺得這個就是官方讓員工自己放出來的。按尼胃，我們拿到了加密的參數(shù)的實現(xiàn)之后，后面就太簡單了

看上面那位大佬的代碼提取視頻那里，跟視頻相關(guān)的關(guān)鍵參數(shù)就是這個aweme_id，我們拿到它之后，后面直接構(gòu)造提取原視頻的請求即可

那么廢話不說，上碼走起

核心請求：

這里我們將設(shè)備參數(shù)，app信息，用戶一起用作查詢參數(shù)，再與獲得的token一起，發(fā)送給getSign函數(shù)，構(gòu)造加密數(shù)據(jù)，最后把這些數(shù)據(jù)組合成的字典放在一起，請求我們的喜歡的鏈接（https://aweme./aweme/v1/aweme/favorite/）即可拿到對應(yīng)的response數(shù)據(jù)。大家可能會發(fā)現(xiàn)，我這里漏掉了一個max_cursor參數(shù)，這是因為，第一次發(fā)送請求時，這里的參數(shù)是0，之后我們請求了數(shù)據(jù)后，如果返回的has_more是1，就代表有數(shù)據(jù)，那么下一次我們請求的時候，就需要帶上上一次的max_cursor。就可以理解為我們刷數(shù)據(jù)，往下翻頁吧

所以這也就是為什么我在這個地方做了返回，就是為了方便上一層調(diào)用，看下這里如果有數(shù)據(jù)的話，我們就繼續(xù)翻頁下載

翻頁：

def grab_favorite_main(self, user_id):

count=1

self.logger.info('當(dāng)前正在爬取第

下面是為初學(xué)者們準(zhǔn)備的python電子書籍資料和python入門教程！