前言

我們知道，不管是爬蟲還是自動(dòng)化測試，元素定位是最基本而且必須的一個(gè)步驟。今天我們就來講講怎么定位元素。

爬蟲中定位元素

爬蟲中怎么定位元素呢？常見的有以下幾種：

• BeautifulSoup find 定位

• BeautifulSoup css 定位

BeautifulSoup 是一個(gè)可以從 HTML 或 XML 文件中提取數(shù)據(jù)的 Python 庫，我們需要安裝并導(dǎo)入這個(gè)庫。

我們再把我們提取的 html 數(shù)據(jù)轉(zhuǎn)換成 lxml 格式，方便 BeautifulSoup 庫直接提取信息。

import requests
html = requests.get('ttps://www.pyzhishiquan.com/crawler')
soup = BeautifulSoup(html, 'lxml')

BeautifulSoup find查找元素

接下來我們就可以用 find 方法來查找元素了，比如查看所有 a 標(biāo)簽元素。

BeautifulSoup css 選擇器定位元素

BeautifulSoup 中我們也可以通過 css 選擇器查找定位元素，導(dǎo)包和格式轉(zhuǎn)換和上面一樣，格式如下。

soup.select('xxx')

select 方法中的字符串參數(shù)怎么獲取呢，以 Chrome 瀏覽器為例，F(xiàn)12 檢查元素中右鍵復(fù)制 seletor 就可以了。

我以前寫的很多爬蟲項(xiàng)目的文章都用過這種定位方法，比如 爬蟲喜馬拉雅音頻 文章中提取音頻文件信息。

在 爬取上海房租信息 文章中用 css 選擇器提取租房房源的信息。

當(dāng)然，在源代碼中無法獲取的元素的 Ajax 動(dòng)態(tài)加載的頁面，上面的定位方法就不管用了，我們可以通過分析 Network 中的請求，找到你需要提取的信息的規(guī)律，這個(gè)內(nèi)容本文不做講解。
還有一種方法是通過 selenium 庫來解決，selenium 庫是模擬人工操作瀏覽器的，優(yōu)點(diǎn)可見即可爬，就是只要他能看到的都能獲取信息爬取下來。

selenium 定位

selenium 庫定位元素有方法很多，今天分享下常見的的定位方法。

我們首先需要導(dǎo)入 selenium 庫，通過 webdriver 啟動(dòng) Chrome 瀏覽器。

ID 定位

ID 一般在頁面元素中是唯一的，可以準(zhǔn)確定位頁面元素。

driver.find_element_by_id('id')

有些頁面元素的 id 是每次刷新頁面都不一樣的，比如 163 郵箱的用戶名輸入框 id，每次刷新頁面，這個(gè) id 都會(huì)變。所以，對于這種每次不一樣的 id，我們都不能用 id 來定位了。

這種隨機(jī) id 的元素我們就通過其他屬性來定位或者通過父元素來找到子元素。

classname 定位

如果 classname 是唯一的話，我們就可以通過 classname 來定位元素。

Xpath 定位

Xpath 路徑獲取方法第一個(gè)方法和剛才獲取 selector 信息一樣，直接 copy。

第二個(gè)方法可以借助插件，Chrome 瀏覽器上的 Xpath Helper 插件和火狐插件 firepath，以 Xpath Helper 為例，打開后按住 Shift 鍵，移動(dòng)到想定位的元素，左邊就會(huì)顯示 Xpath 路徑。

這種方法缺點(diǎn)也很明顯，XPath 都是從根路徑開始的，導(dǎo)致 XPath 過長，不利于維護(hù)。

雙屬性定位

對于一個(gè)屬性不是唯一的，我們可以用 Xpath 的雙屬性來定位元素，這個(gè)方法對于定位網(wǎng)頁和 APP 都適用。

上圖是網(wǎng)易云 APP，我想定位簽到按鈕，我可以通過 class 屬性和 text 屬性同時(shí)定位元素。

driver.find_element_by_xpath('//*[@class='android.widget.TextView' and @text='簽到']')

這種方法適用于很多元素共用同一個(gè)屬性的情況，經(jīng)過我們的組合，就把元素唯一化了。

網(wǎng)頁元素同樣也可以用雙元素來定位，方法是一樣的。

以上是 pk 哥平時(shí)常用的定位元素的方法，如有其他好的定位方法，歡迎大家留言討論，共同進(jìn)步。