前言
本文的文字及圖片來源于網(wǎng)絡(luò),僅供學(xué)習(xí)、交流使用,不具有任何商業(yè)用途,如有問題請及時聯(lián)系我們以作處理。
Python爬蟲、數(shù)據(jù)分析、網(wǎng)站開發(fā)等案例教程視頻免費在線觀看
https://space.bilibili.com/523606542
前文內(nèi)容
Python爬蟲新手入門教學(xué)（一）：爬取豆瓣電影排行信息
Python爬蟲新手入門教學(xué)（二）：爬取小說
Python爬蟲新手入門教學(xué)（三）：爬取鏈家二手房數(shù)據(jù)
Python爬蟲新手入門教學(xué)（四）：爬取前程無憂招聘信息
Python爬蟲新手入門教學(xué)（五）：爬取B站視頻彈幕
Python爬蟲新手入門教學(xué)（六）：制作詞云圖
Python爬蟲新手入門教學(xué)（七）：爬取騰訊視頻彈幕
Python爬蟲新手入門教學(xué)（八）：爬取論壇文章保存成PDF
Python爬蟲新手入門教學(xué)（九）：多線程爬蟲案例講解
Python爬蟲新手入門教學(xué)（十）：爬取彼岸4K超清壁紙
Python爬蟲新手入門教學(xué)（十一）：最近王者榮耀皮膚爬取
Python爬蟲新手入門教學(xué)（十二）：英雄聯(lián)盟最新皮膚爬取
Python爬蟲新手入門教學(xué)（十三）：爬取高質(zhì)量超清壁紙
基本開發(fā)環(huán)境
相關(guān)模塊的使用
import requests
import os
安裝Python并添加到環(huán)境變量，pip安裝需要的相關(guān)模塊即可。
一、明確目標(biāo)
爬取免費的播放量最多的有聲書，如果你想要爬取付費的也是可以，那你得先開一個會員，
爬蟲是看得到才能爬。
二、網(wǎng)頁數(shù)據(jù)分析
點擊任意一個音頻章節(jié)點擊播放。在開發(fā)者工具中選擇 Media 會加載出一個數(shù)據(jù)
復(fù)制這個鏈接會自動下載一個可播放的音頻文件。
聽內(nèi)容是和網(wǎng)站上面的有聲小說是一樣的。所以這個就是音頻數(shù)據(jù)的真實url地址。
接下來就要分析找到這個數(shù)據(jù)來源。
在開發(fā)者工具中搜索 wKgJJ1eKo-3xGS0KAFIc8J_87NE024 框選的內(nèi)容就是音頻本身，所有查看第一個地址。
https://www.ximalaya.com/revision/play/v1/audio?id=18556416&ptype=1
這個數(shù)據(jù)里面包含了音頻地址。
其實這個 id=18556416 就是每個音頻的ID值了。同樣的在開發(fā)者工具中進行搜索。
有聲書名字，音頻ID，章節(jié)名字都有了。但是當(dāng)我查看第二頁數(shù)據(jù)的時候發(fā)現(xiàn)，并不是這個鏈接，而是另外一個鏈接。
https://www.ximalaya.com/revision/album/v1/getTracksList?albumId=4756811&pageNum=2
還是有一些區(qū)別的，所以我們應(yīng)該請求的是第二個鏈接
整體思路分析
1、通過 'https://www.ximalaya.com/revision/album/v1/getTracksList?albumId=4756811&pageNum=2'
url地址獲取每章音頻的ID以及章節(jié)名字
2、通過 'https://www.ximalaya.com/revision/play/v1/audio?id=18556416&ptype=1' url地址獲取
每章音頻的下載地址
3、請求音頻地址，進行本地保存
三、代碼實現(xiàn)
1、獲取獲取每章音頻的ID以及章節(jié)名字
def get_audio_info(html_url):
json_data = get_response(html_url).json()
audio_info = json_data['data']['tracks']
for index in audio_info:
# 音頻ID
audio_id = index['trackId']
# 章節(jié)名字
audio_title = index['title']
# 有聲書小說名字 《摸金天師》第001章 百辟刀
audio_name = audio_title.split('第')[0]
2、獲取音頻url
def get_audio_url(audio_id):
page_url = f'https://www.ximalaya.com/revision/play/v1/audio?id={audio_id}&ptype=1'
json_data = get_response(page_url).json()
audio_url = json_data['data']['src']
return audio_url
3、保存音頻
def save(name, title, audio_url):
path = f'{name}\\'
if not os.path.exists(path):
os.makedirs(path)
audio_content = get_response(audio_url).content
with open(path + title + '.m4a', mode='wb') as f:
f.write(audio_content)
print('正在保存：', title)
完整實現(xiàn)代碼
import requests
import os
def get_response(html_url):
header = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
response = requests.get(url=html_url, headers=header)
return response
def save(name, title, audio_url):
path = f'{name}\\'
if not os.path.exists(path):
os.makedirs(path)
audio_content = get_response(audio_url).content
with open(path + title + '.m4a', mode='wb') as f:
f.write(audio_content)
print('正在保存：', title)
def get_audio_url(audio_id):
page_url = f'https://www.ximalaya.com/revision/play/v1/audio?id={audio_id}&ptype=1'
json_data = get_response(page_url).json()
audio_url = json_data['data']['src']
return audio_url
def get_audio_info(html_url):
json_data = get_response(html_url).json()
audio_info = json_data['data']['tracks']
for index in audio_info:
# 音頻ID
audio_id = index['trackId']
# 章節(jié)名字
audio_title = index['title']
# 有聲書小說名字 《摸金天師》第001章 百辟刀
audio_name = audio_title.split('第')[0]
audio_url = get_audio_url(audio_id)
save(audio_name, audio_title, audio_url)
if __name__ == '__main__':
for page in range(1, 39):
url = f'https://www.ximalaya.com/revision/album/v1/getTracksList?albumId=4756811&pageNum={page}'
get_audio_info(url)
|
