這篇百度蜘蛛和Google蜘蛛詳解的技術文章源于我本人的多個站點，經(jīng)過約一周的詳細觀察和分析，所有蜘蛛的數(shù)據(jù)均真實有效，當然并不排除誤差現(xiàn)象，寫出來，一則是自己整理，二則與大家分享，希望對大家了解搜索引擎蜘蛛有所幫助。

 

分析來源：www. 等多個站。

　　首先來看下百度和Google對蜘蛛的官方解釋：(點擊訪問官方說明)

　　百度蜘蛛：Baiduspider Google蜘蛛：Googlebot

　　以下是我各個站點每日來訪的百度蜘蛛和Google蜘蛛的ip段，對應每個站點的成熟度各有不同，我們試著在其中找到規(guī)律：

　　(蜘蛛的來訪數(shù)量與外鏈的數(shù)量，站點的更新頻率，權重都息息相關，此處的數(shù)據(jù)僅代表我個人的站點)

　　百度蜘蛛分析：

　　A站.B站.F站均為一年至四個月的半成熟站點，百度蜘蛛( Baiduspider)每日來訪次數(shù)均在5000-8000+次左右

　　E站.G站均為二個月至四個月的新站，百度蜘蛛( Baiduspider)每日來訪次數(shù)均在2000-3000+次左右

　　C站在上周因服務器問題無法訪問一天，正常的爬行次數(shù)在3000+

　　D站為特殊情況，尚待研究。H站上線50天，爬行次數(shù)1000+

　　從以上的列表中可看到：

　　123.125.64.*123.125.66.* 這兩個ip段為最常規(guī)出現(xiàn)的百度蜘蛛，應該是正常抓取和站點狀態(tài)正常時百度的例行巡邏兵

　　119.63.193.* 119.63.198.*這兩個ip段出現(xiàn)的站點均有更換ip，無法訪問，新站初始的情況，我們理解為：新站考察期蜘蛛段

　　121.14.89.* 這個ip段作為度過新站考察期，來的更高等級的常駐蜘蛛，作為更深一級的爬行蜘蛛

　　Google蜘蛛分析：

　　從以上的列表中可看到：

　　202.101.43.*222.73.247.*66.249.65.* 這三個ip段是最為常規(guī)出現(xiàn)的

　　66.249.16.*出現(xiàn)的站點均為新站或站點出現(xiàn)無法訪問情況后再次出現(xiàn)的ip段

　　210.72.225.*這個ip段不間斷巡邏各站

　　203.208.60.*這個ip段出現(xiàn)在新站及站點有不正?，F(xiàn)象后

　　綜合以上數(shù)據(jù)可看出些許百度蜘蛛和Google蜘蛛的不同：

　　1. 百度的蜘蛛訪問及抓取量遠大于Google蜘蛛

　　2. 百度的蜘蛛ip段較固定且有規(guī)律，Google可能因蜘蛛的分級及不同服務器過來抓取的頻率不同而顯得多樣化

　　3. 除非你的站點完全被Google懲罰，否則來訪的蜘蛛數(shù)量不會有太大的差別，但百度則可能封殺你之后就很難恢復，或?qū)δ愕恼军c極少爬行。

　　可能這張表單里的數(shù)據(jù)也有我沒有完全理解的可能性，發(fā)出來就是與大家一起共同討論，希望有研究的朋友可以多多留言，我更希望能有不同的看法出現(xiàn)，希望這篇文章對大家在seo方面的研究有所幫助。