R語言網絡爬蟲經驗

生物_醫(yī)藥_科研 2019-02-18

展開全文

讀取

1#假設url為網頁
2library(rvest)
3read_html(rul)->website
4#該方法對于html/shtml都好用
5
6#可是網頁為.aspx時候這個方法不行，改為
7library(httr)
8GET(url,handle=handle(url)) %>%
9 content(at='parse') ->website

進度條設置

在爬蟲的時候經常爬到一個時候就自己斷了，問題是我們還看不出來是斷了還是沒有斷，

因此需要往里面加入進度條，當進度條卡住的時候，就可以停止自己的程序在斷點重新跑

 1 library(tcltk)  
 2u <- 1:2000  
 3
 4#開啟進度條  
 5
 6pb <- tkProgressBar('進度','已完成 %', 0, 100)  
 7
 8for(i in u) {  
 9   info<- sprintf('已完成 %d%%', round(i*100/length(u)))  
10   setTkProgressBar(pb, i*100/length(u), sprintf('進度 (%s)', info),info)  
11}     
12#關閉進度條  
13close(pb)

時間間隔設置

就算有進度條，程序隔一段時間還是會自動退出，有的網站設置了最長訪問時間，有的會拒絕請求。為了打破這種機制，在循環(huán)中插入人工時滯，雖然時間會長一點，但是從自動化角度上看，其實還是節(jié)省了時間。時間的設置需要多試幾次，直到最后跑很久都不會斷掉為止。

1 System.time() #中間放進去的時間單位為秒

CSS vs Xpath

使用rvest包的時候，html_nodes函數可以使用CSS選擇器和Xpath兩種方式選擇節(jié)點。

大部分情況下，CSS選擇器方便快捷，實在是利器；但是在解決復雜性問題的時候（比如我需要找到包含符合一定規(guī)律的節(jié)點的父節(jié)點的父節(jié)點的最后一個節(jié)點的某個元素的時候），只能使用Xpath進行設置尋找。注意CSS和Xpath雖然可以混用，但是Xpath一定要在CSS之前使用，因為Xpath才能夠得到一系列的節(jié)點及其相互關系，而CSS則直接給你一些節(jié)點，無法進一步進行更多的操作。

正則表達式

實在找不到什么好的關系的時候，不要忘了用正則表達式。stringr包的str_extract配合str_sub函數可以找到大部分問題。

斷點繼續(xù)的辦法

用data.frame數據結構不斷進行rbind，循環(huán)中的i,j,k注意要分開標，因為都是全局變量。一般來講以i作為標準比較好，也要看解決問題的層次。重復使用上層循環(huán)得到的數據是會有重復的，沒關系，我們有unique