乡下人产国偷v产偷v自拍,国产午夜片在线观看,婷婷成人亚洲综合国产麻豆,久久综合给合久久狠狠狠9

<output id="e9wm2"></output>

<s id="e9wm2"><nobr id="e9wm2"><ins id="e9wm2"></ins></nobr></s>

<menu id="akmzy"><font id="akmzy"><dl id="akmzy"></dl></font></menu>

搜索

分享

QQ空間 QQ好友新浪微博微信

python3解析庫lxml

網(wǎng)海拾貝網(wǎng)絡(luò)豬 2020-03-16

展開全文

閱讀目錄

1、python庫lxml的安裝
2、XPath常用規(guī)則
（1）讀取文本解析節(jié)點
（2）讀取HTML文件進行解析
（3）獲取所有節(jié)點
（4）獲取子節(jié)點
（5）獲取父節(jié)點
（6）屬性匹配
（7）文本獲取
（8）屬性獲取
（9）屬性多值匹配
（10）多屬性匹配
（11）XPath中的運算符
（12）按序選擇
（13）節(jié)點軸選擇
（14）案例應(yīng)用：抓取TIOBE指數(shù)前20名排行開發(fā)語言

lxml是python的一個解析庫，支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高

XPath，全稱XML Path Language，即XML路徑語言，它是一門在XML文檔中查找信息的語言，它最初是用來搜尋XML文檔的，但是它同樣適用于HTML文檔的搜索

XPath的選擇功能十分強大，它提供了非常簡明的路徑選擇表達(dá)式，另外，它還提供了超過100個內(nèi)建函數(shù)，用于字符串、數(shù)值、時間的匹配以及節(jié)點、序列的處理等，幾乎所有我們想要定位的節(jié)點，都可以用XPath來選擇

XPath于1999年11月16日成為W3C標(biāo)準(zhǔn)，它被設(shè)計為供XSLT、XPointer以及其他XML解析軟件使用，更多的文檔可以訪問其官方網(wǎng)站：https://www./TR/xpath/

1、python庫lxml的安裝

windows系統(tǒng)下的安裝：

復(fù)制代碼

#pip安裝
pip3 install lxml

#wheel安裝
#下載對應(yīng)系統(tǒng)版本的wheel文件:http://www.lfd./~gohlke/pythonlibs/#lxml
pip3 install lxml-4.2.1-cp36-cp36m-win_amd64.whl

復(fù)制代碼

linux下安裝：

yum install -y epel-release libxslt-devel libxml2-devel openssl-devel

pip3 install lxml

驗證安裝：

$python3
>>>import lxml

2、XPath常用規(guī)則

表達(dá)式	描述
nodename	選取此節(jié)點的所有子節(jié)點
/	從當(dāng)前節(jié)點選取直接子節(jié)點
//	從當(dāng)前節(jié)點選取子孫節(jié)點
.	選取當(dāng)前節(jié)點
..	選取當(dāng)前節(jié)點的父節(jié)點
@	選取屬性
*	通配符，選擇所有元素節(jié)點與元素名
@*	選取所有屬性
[@attrib]	選取具有給定屬性的所有元素
[@attrib='value']	選取給定屬性具有給定值的所有元素
[tag]	選取所有具有指定元素的直接子節(jié)點
[tag='text']	選取所有具有指定元素并且文本內(nèi)容是text節(jié)點

（1）讀取文本解析節(jié)點

復(fù)制代碼

from lxml import etree

text='''
<div>
    <ul>
         <li class="item-0"><a href="link1.html">第一個</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0"><a href="link5.html">a屬性</a>
     </ul>
 </div>
'''
html=etree.HTML(text) #初始化生成一個XPath解析對象
result=etree.tostring(html,encoding='utf-8')   #解析對象輸出代碼
print(type(html))
print(type(result))
print(result.decode('utf-8'))

#etree會修復(fù)HTML文本節(jié)點
<class 'lxml.etree._Element'>
<class 'bytes'>
<html><body><div>
    <ul>
         <li class="item-0"><a href="link1.html">第一個</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0"><a href="link5.html">a屬性</a>
     </li></ul>
 </div>
</body></html>

復(fù)制代碼

（2）讀取HTML文件進行解析

復(fù)制代碼

from lxml import etree

html=etree.parse('test.html',etree.HTMLParser()) #指定解析器HTMLParser會根據(jù)文件修復(fù)HTML文件中缺失的如聲明信息
result=etree.tostring(html)   #解析成字節(jié)
#result=etree.tostringlist(html) #解析成列表
print(type(html))
print(type(result))
print(result)

#
<class 'lxml.etree._ElementTree'>
<class 'bytes'>
b'<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN" "http://www./TR/REC-html40/loose.dtd">\n<html><body><div>&#13;\n    <ul>&#13;\n         <li class="item-0"><a href="link1.html">first item</a></li>&#13;\n         <li class="item-1"><a href="link2.html">second item</a></li>&#13;\n         <li class="item-inactive"><a href="link3.html">third item</a></li>&#13;\n         <li class="item-1"><a href="link4.html">fourth item</a></li>&#13;\n         <li class="item-0"><a href="link5.html">fifth item</a>&#13;\n     </li></ul>&#13;\n </div>&#13;\n</body></html>'

復(fù)制代碼

（3）獲取所有節(jié)點

返回一個列表每個元素都是Element類型，所有節(jié)點都包含在其中

復(fù)制代碼

from lxml import etree

html=etree.parse('test',etree.HTMLParser())
result=html.xpath('//*')  #//代表獲取子孫節(jié)點，*代表獲取所有

print(type(html))
print(type(result))
print(result)

#
<class 'lxml.etree._ElementTree'>
<class 'list'>
[<Element html at 0x754b210048>, <Element body at 0x754b210108>, <Element div at 0x754b210148>, <Element ul at 0x754b210188>, <Element li at 0x754b2101c8>, <Element a at 0x754b210248>, <Element li at 0x754b210288>, <Element a at 0x754b2102c8>, <Element li at 0x754b210308>, <Element a at 0x754b210208>, <Element li at 0x754b210348>, <Element a at 0x754b210388>, <Element li at 0x754b2103c8>, <Element a at 0x754b210408>]

復(fù)制代碼

如要獲取li節(jié)點，可以使用//后面加上節(jié)點名稱，然后調(diào)用xpath()方法

html.xpath('//li')   #獲取所有子孫節(jié)點的li節(jié)點

（4）獲取子節(jié)點

通過/或者//即可查找元素的子節(jié)點或者子孫節(jié)點，如果想選擇li節(jié)點的所有直接a節(jié)點，可以這樣使用

result=html.xpath('//li/a')  #通過追加/a選擇所有l(wèi)i節(jié)點的所有直接a節(jié)點，因為//li用于選中所有l(wèi)i節(jié)點，/a用于選中l(wèi)i節(jié)點的所有直接子節(jié)點a

（5）獲取父節(jié)點

我們知道通過連續(xù)的/或者//可以查找子節(jié)點或子孫節(jié)點，那么要查找父節(jié)點可以使用..來實現(xiàn)也可以使用parent::來獲取父節(jié)點

復(fù)制代碼

from lxml import etree
from lxml.etree import HTMLParser
text='''
<div>
    <ul>
         <li class="item-0"><a href="link1.html">第一個</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
     </ul>
 </div>
'''

html=etree.HTML(text,etree.HTMLParser())
result=html.xpath('//a[@href="link2.html"]/../@class')
result1=html.xpath('//a[@href="link2.html"]/parent::*/@class')
print(result)
print(result1)


#
['item-1']
['item-1']

復(fù)制代碼

（6）屬性匹配

在選取的時候，我們還可以用@符號進行屬性過濾。比如，這里如果要選取class為item-1的li節(jié)點，可以這樣實現(xiàn):

復(fù)制代碼

from lxml import etree
from lxml.etree import HTMLParser
text='''
<div>
    <ul>
         <li class="item-0"><a href="link1.html">第一個</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
     </ul>
 </div>
'''

html=etree.HTML(text,etree.HTMLParser())
result=html.xpath('//li[@class="item-1"]')
print(result)

復(fù)制代碼

（7）文本獲取

我們用XPath中的text()方法獲取節(jié)點中的文本

復(fù)制代碼

from lxml import etree

text='''
<div>
    <ul>
         <li class="item-0"><a href="link1.html">第一個</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
     </ul>
 </div>
'''

html=etree.HTML(text,etree.HTMLParser())
result=html.xpath('//li[@class="item-1"]/a/text()') #獲取a節(jié)點下的內(nèi)容
result1=html.xpath('//li[@class="item-1"]//text()') #獲取li下所有子孫節(jié)點的內(nèi)容

print(result)
print(result1)

復(fù)制代碼

（8）屬性獲取

使用@符號即可獲取節(jié)點的屬性，如下：獲取所有l(wèi)i節(jié)點下所有a節(jié)點的href屬性

result=html.xpath('//li/a/@href')  #獲取a的href屬性
result=html.xpath('//li//@href')   #獲取所有l(wèi)i子孫節(jié)點的href屬性

（9）屬性多值匹配

如果某個屬性的值有多個時，我們可以使用contains()函數(shù)來獲取

復(fù)制代碼

from lxml import etree

text1='''
<div>
    <ul>
         <li class="aaa item-0"><a href="link1.html">第一個</a></li>
         <li class="bbb item-1"><a href="link2.html">second item</a></li>
     </ul>
 </div>
'''

html=etree.HTML(text1,etree.HTMLParser())
result=html.xpath('//li[@class="aaa"]/a/text()')
result1=html.xpath('//li[contains(@class,"aaa")]/a/text()')

print(result)
print(result1)

#通過第一種方法沒有取到值，通過contains（）就能精確匹配到節(jié)點了
[]
['第一個']

復(fù)制代碼

（10）多屬性匹配

另外我們還可能遇到一種情況，那就是根據(jù)多個屬性確定一個節(jié)點，這時就需要同時匹配多個屬性，此時可用運用and運算符來連接使用：

復(fù)制代碼

from lxml import etree

text1='''
<div>
    <ul>
         <li class="aaa" name="item"><a href="link1.html">第一個</a></li>
         <li class="aaa" name="fore"><a href="link2.html">second item</a></li>
     </ul>
 </div>
'''

html=etree.HTML(text1,etree.HTMLParser())
result=html.xpath('//li[@class="aaa" and @name="fore"]/a/text()')
result1=html.xpath('//li[contains(@class,"aaa") and @name="fore"]/a/text()')


print(result)
print(result1)


#
['second item']
['second item']

復(fù)制代碼

（11）XPath中的運算符

運算符	描述	實例	返回值
or	或	age=19 or age=20	如果age等于19或者等于20則返回true反正返回false
and	與	age>19 and age<21	如果age等于20則返回true，否則返回false
mod	取余	5 mod 2	1
\|	取兩個節(jié)點的集合	//book \| //cd	返回所有擁有book和cd元素的節(jié)點集合
+	加	6+4	10
-	減	6-4	2
*	乘	6*4	24
div	除法	8 div 4	2
=	等于	age=19	true
!=	不等于	age!=19	true
<	小于	age<19	true
<=	小于或等于	age<=19	true
>	大于	age>19	true
>=	大于或等于	age>=19	true

此表參考來源:http://www.w3school.com.cn/xpath/xpath_operators.asp

（12）按序選擇

有時候，我們在選擇的時候某些屬性可能同時匹配多個節(jié)點，但我們只想要其中的某個節(jié)點，如第二個節(jié)點或者最后一個節(jié)點，這時可以利用中括號引入索引的方法獲取特定次序的節(jié)點：

復(fù)制代碼

from lxml import etree

text1='''
<div>
    <ul>
         <li class="aaa" name="item"><a href="link1.html">第一個</a></li>
         <li class="aaa" name="item"><a href="link1.html">第二個</a></li>
         <li class="aaa" name="item"><a href="link1.html">第三個</a></li>
         <li class="aaa" name="item"><a href="link1.html">第四個</a></li> 
     </ul>
 </div>
'''

html=etree.HTML(text1,etree.HTMLParser())

result=html.xpath('//li[contains(@class,"aaa")]/a/text()') #獲取所有l(wèi)i節(jié)點下a節(jié)點的內(nèi)容
result1=html.xpath('//li[1][contains(@class,"aaa")]/a/text()') #獲取第一個
result2=html.xpath('//li[last()][contains(@class,"aaa")]/a/text()') #獲取最后一個
result3=html.xpath('//li[position()>2 and position()<4][contains(@class,"aaa")]/a/text()') #獲取第一個
result4=html.xpath('//li[last()-2][contains(@class,"aaa")]/a/text()') #獲取倒數(shù)第三個


print(result)
print(result1)
print(result2)
print(result3)
print(result4)


#
['第一個', '第二個', '第三個', '第四個']
['第一個']
['第四個']
['第三個']
['第二個']

復(fù)制代碼

這里使用了last()、position()函數(shù)，在XPath中，提供了100多個函數(shù)，包括存取、數(shù)值、字符串、邏輯、節(jié)點、序列等處理功能，它們的具體作用可參考：http://www.w3school.com.cn/xpath/xpath_functions.asp

（13）節(jié)點軸選擇

XPath提供了很多節(jié)點選擇方法，包括獲取子元素、兄弟元素、父元素、祖先元素等，示例如下：

復(fù)制代碼

from lxml import etree

text1='''
<div>
    <ul>
         <li class="aaa" name="item"><a href="link1.html">第一個</a></li>
         <li class="aaa" name="item"><a href="link1.html">第二個</a></li>
         <li class="aaa" name="item"><a href="link1.html">第三個</a></li>
         <li class="aaa" name="item"><a href="link1.html">第四個</a></li> 
     </ul>
 </div>
'''

html=etree.HTML(text1,etree.HTMLParser())
result=html.xpath('//li[1]/ancestor::*')  #獲取所有祖先節(jié)點
result1=html.xpath('//li[1]/ancestor::div')  #獲取div祖先節(jié)點
result2=html.xpath('//li[1]/attribute::*')  #獲取所有屬性值
result3=html.xpath('//li[1]/child::*')  #獲取所有直接子節(jié)點
result4=html.xpath('//li[1]/descendant::a')  #獲取所有子孫節(jié)點的a節(jié)點
result5=html.xpath('//li[1]/following::*')  #獲取當(dāng)前子節(jié)之后的所有節(jié)點
result6=html.xpath('//li[1]/following-sibling::*')  #獲取當(dāng)前節(jié)點的所有同級節(jié)點


#
[<Element html at 0x3ca6b960c8>, <Element body at 0x3ca6b96088>, <Element div at 0x3ca6b96188>, <Element ul at 0x3ca6b961c8>]
[<Element div at 0x3ca6b96188>]
['aaa', 'item']
[<Element a at 0x3ca6b96248>]
[<Element a at 0x3ca6b96248>]
[<Element li at 0x3ca6b96308>, <Element a at 0x3ca6b96348>, <Element li at 0x3ca6b96388>, <Element a at 0x3ca6b963c8>, <Element li at 0x3ca6b96408>, <Element a at 0x3ca6b96488>]
[<Element li at 0x3ca6b96308>, <Element li at 0x3ca6b96388>, <Element li at 0x3ca6b96408>]

復(fù)制代碼

以上使用的是XPath軸的用法，更多軸的用法可參考：http://www.w3school.com.cn/xpath/xpath_axes.asp

（14）案例應(yīng)用：抓取TIOBE指數(shù)前20名排行開發(fā)語言

復(fù)制代碼

#!/usr/bin/env python
#coding:utf-8
import requests
from requests.exceptions import RequestException
from lxml import etree
from lxml.etree import ParseError
import json

def one_to_page(html):
    headers={
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.62 Safari/537.36'
    }
    try:
        response=requests.get(html,headers=headers)
        body=response.text  #獲取網(wǎng)頁內(nèi)容
    except RequestException as e:
        print('request is error!',e)
    try:
        html=etree.HTML(body,etree.HTMLParser())  #解析HTML文本內(nèi)容
        result=html.xpath('//table[contains(@class,"table-top20")]/tbody/tr//text()') #獲取列表數(shù)據(jù)
        pos = 0
        for i in range(20):
            if i == 0:
                yield result[i:5]
            else:
                yield result[pos:pos+5]  #返回排名生成器數(shù)據(jù)
            pos+=5
    except ParseError as e:
         print(e.position)


def write_file(data):   #將數(shù)據(jù)重新組合成字典寫入文件并輸出
    for i in data:
        sul={
            '2018年6月排行':i[0],
            '2017年6排行':i[1],
            '開發(fā)語言':i[2],
            '評級':i[3],
            '變化率':i[4]
        }
        with open('test.txt','a',encoding='utf-8') as f:
            f.write(json.dumps(sul,ensure_ascii=False) + '\n') #必須格式化數(shù)據(jù)
            f.close()
        print(sul)
    return None


def main():
    url='https://www./tiobe-index/'
    data=one_to_page(url)
    revaule=write_file(data)
    if revaule == None:
        print('ok')
        
 
 
        
if __name__ == '__main__':
    main()



#
{'2018年6月排行': '1', '2017年6排行': '1', '開發(fā)語言': 'Java', '評級': '15.368%', '變化率': '+0.88%'}
{'2018年6月排行': '2', '2017年6排行': '2', '開發(fā)語言': 'C', '評級': '14.936%', '變化率': '+8.09%'}
{'2018年6月排行': '3', '2017年6排行': '3', '開發(fā)語言': 'C++', '評級': '8.337%', '變化率': '+2.61%'}
{'2018年6月排行': '4', '2017年6排行': '4', '開發(fā)語言': 'Python', '評級': '5.761%', '變化率': '+1.43%'}
{'2018年6月排行': '5', '2017年6排行': '5', '開發(fā)語言': 'C#', '評級': '4.314%', '變化率': '+0.78%'}
{'2018年6月排行': '6', '2017年6排行': '6', '開發(fā)語言': 'Visual Basic .NET', '評級': '3.762%', '變化率': '+0.65%'}
{'2018年6月排行': '7', '2017年6排行': '8', '開發(fā)語言': 'PHP', '評級': '2.881%', '變化率': '+0.11%'}
{'2018年6月排行': '8', '2017年6排行': '7', '開發(fā)語言': 'JavaScript', '評級': '2.495%', '變化率': '-0.53%'}
{'2018年6月排行': '9', '2017年6排行': '-', '開發(fā)語言': 'SQL', '評級': '2.339%', '變化率': '+2.34%'}
{'2018年6月排行': '10', '2017年6排行': '14', '開發(fā)語言': 'R', '評級': '1.452%', '變化率': '-0.70%'}
{'2018年6月排行': '11', '2017年6排行': '11', '開發(fā)語言': 'Ruby', '評級': '1.253%', '變化率': '-0.97%'}
{'2018年6月排行': '12', '2017年6排行': '18', '開發(fā)語言': 'Objective-C', '評級': '1.181%', '變化率': '-0.78%'}
{'2018年6月排行': '13', '2017年6排行': '16', '開發(fā)語言': 'Visual Basic', '評級': '1.154%', '變化率': '-0.86%'}
{'2018年6月排行': '14', '2017年6排行': '9', '開發(fā)語言': 'Perl', '評級': '1.147%', '變化率': '-1.16%'}
{'2018年6月排行': '15', '2017年6排行': '12', '開發(fā)語言': 'Swift', '評級': '1.145%', '變化率': '-1.06%'}
{'2018年6月排行': '16', '2017年6排行': '10', '開發(fā)語言': 'Assembly language', '評級': '0.915%', '變化率': '-1.34%'}
{'2018年6月排行': '17', '2017年6排行': '17', '開發(fā)語言': 'MATLAB', '評級': '0.894%', '變化率': '-1.10%'}
{'2018年6月排行': '18', '2017年6排行': '15', '開發(fā)語言': 'Go', '評級': '0.879%', '變化率': '-1.17%'}
{'2018年6月排行': '19', '2017年6排行': '13', '開發(fā)語言': 'Delphi/Object Pascal', '評級': '0.875%', '變化率': '-1.28%'}
{'2018年6月排行': '20', '2017年6排行': '20', '開發(fā)語言': 'PL/SQL', '評級': '0.848%', '變化率': '-0.72%'}

復(fù)制代碼

XPath的更多用法參考：http://www.w3school.com.cn/xpath/index.asp

python lxml庫的更多用法參考：http:///

本站是提供個人知識管理的網(wǎng)絡(luò)存儲空間，所有內(nèi)容均由用戶發(fā)布，不代表本站觀點。請注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息，謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請點擊一鍵舉報。

轉(zhuǎn)藏 分享

QQ空間 QQ好友新浪微博微信

獻花（0） +1

來自：網(wǎng)海拾貝網(wǎng)絡(luò)豬 > 《爬蟲》

舉報/認(rèn)領(lǐng)

0條評論

請遵守用戶評論公約

類似文章 更多

網(wǎng)海拾貝網(wǎng)絡(luò)豬

關(guān)注對話

TA的最新館藏

【一中動態(tài)】寶坻一中開展校園網(wǎng)絡(luò)安全周活動
【一中動態(tài)】堅持育人文本打造繽紛社團 ----寶坻一中社團工作簡介暨2016-2017學(xué)年第一次社團工作會議
python3.6 +tkinter GUI編程實現(xiàn)界面化的文本處理工具
Python tkinter和exe打包的方法
8.1 系統(tǒng)化學(xué)習(xí) tkinter 之布局篇
8.1 系統(tǒng)化學(xué)習(xí) tkinter 之布局篇

喜歡該文的人也喜歡更多

熱門閱讀換一換