前言

今天帶大家爬取喜馬拉雅音頻數(shù)據(jù)，一起期待吧！！

這個(gè)案例的視頻地址在這里

項(xiàng)目目標(biāo)

爬取喜馬拉雅音頻數(shù)據(jù)

受害者地址

https://www.ximalaya.com/

本文知識(shí)點(diǎn)：

• 1、系統(tǒng)分析網(wǎng)頁(yè)性質(zhì)
• 2、多層數(shù)據(jù)解析
• 3、海量音頻數(shù)據(jù)保存

環(huán)境：

• python 3.6
• pycharm
• requests
• parsel

思路：(爬蟲(chóng)案例)

• 1.確定數(shù)據(jù)所在的鏈接地址(url)
• 2.通過(guò)代碼發(fā)送url地址的請(qǐng)求
• 3.解析數(shù)據(jù)(要的, 篩選不要的)
• 4.數(shù)據(jù)持久化(保存)

案例思路：

• 1. 在靜態(tài)數(shù)據(jù)中獲取音頻的id值
• 2. 發(fā)送指定id值json數(shù)據(jù)請(qǐng)求(src)
• 3. 從json數(shù)據(jù)中解析音頻所對(duì)應(yīng)的URL地址

開(kāi)始寫(xiě)代碼

先導(dǎo)入所需的模塊

1.確定數(shù)據(jù)所在的鏈接地址(url) 逆向分析 網(wǎng)頁(yè)性質(zhì)(靜態(tài)網(wǎng)頁(yè)/動(dòng)態(tài)網(wǎng)頁(yè))

打開(kāi)開(kāi)發(fā)者工具，播放一個(gè)音頻，在Madie里面可以找到一個(gè)數(shù)據(jù)包

復(fù)制URL，搜索

找到ID值

繼續(xù)搜索，找到請(qǐng)求頭參數(shù)

url = 'https://www.ximalaya.com/youshengshu/4256765/p{}/'.format(page)headers = {    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'}

2.通過(guò)代碼發(fā)送url地址的請(qǐng)求

3.解析數(shù)據(jù)(要的, 篩選不要的) 解析音頻的 id值

selector = parsel.Selector(html_data)lis = selector.xpath('//div[@class='sound-list _is']/ul/li')for li in lis:    try:        title = li.xpath('.//a/@title').get() + '.m4a'        href = li.xpath('.//a/@href').get()        # print(title, href)        m4a_id = href.split('/')[-1]        # print(href, m4a_id)        # 發(fā)送指定id值json數(shù)據(jù)請(qǐng)求(src)        json_url = 'https://www.ximalaya.com/revision/play/v1/audio?id={}&ptype=1'.format(m4a_id)        json_data = requests.get(url=json_url, headers=headers).json()        # print(json_data)        # 提取音頻地址        m4a_url = json_data['data']['src']        # print(m4a_url)        # 請(qǐng)求音頻數(shù)據(jù)        m4a_data = requests.get(url=m4a_url, headers=headers).content        new_title = change_title(title)

4.數(shù)據(jù)持久化(保存)

最后還要處理文件名非法字符

def change_title(title):    pattern = re.compile(r'[\/\\\:\*\?\'\<\>\|]')  # '/ \ : * ? ' < > |'    new_title = re.sub(pattern, '_', title)  # 替換為下劃線    return new_title

完整代碼

運(yùn)行代碼，效果如下圖

完整代碼后臺(tái)私信小編01即可