爬蟲的具體操作流程是，打開 StackOverflow 主頁，在 questions 頁面下選擇按 vote 排序，爬取前 20000 頁，每頁將問題數(shù)量設(shè)置為 50，共 100 萬條，實際上用數(shù)據(jù)庫去重后只有 999654 條問答信息。

他分別對votes、answers、views進(jìn)行了分析，咱們來看一下他的分析結(jié)果吧。

一、votes 分析

降序排列了 votes 數(shù)，生成折線圖

2k 后的問題的 votes 數(shù)基本上就已經(jīng)在 400 以下了，接著后面的就基本上是貼地飛行了。

votes 數(shù)最多 : Why is it faster to process a sorted array than an unsorted array?

可見最多的還是集中在 1-2K 之間,從 6k 開始基本上就斷層了

如果以 100 為分界線的話，會得到這樣的一個餅圖。

大于 100 的連 %2 都不到。

再來看看底層的數(shù)據(jù)。

可見 votes 小于 20 的，數(shù)量高達(dá) 84m。看看總體的比例吧。

降序排列了 answers 數(shù)，生成折線圖。

很明顯 3k 之后的 answers 數(shù)基本上就小于 20 了。

answers 數(shù)最多: What is the best comment in source code you have ever encountered? 

150 后也就斷層了，實際上能達(dá)到這樣的回答數(shù)極少。

具體數(shù)據(jù)。

大于 30 的確實少的可憐，看看總體情況。

降序排列了 views 數(shù)，生成折線圖。

最高達(dá)到了 4.5m，100000 以后的基本上就不足 28000 了。

views 數(shù)最多: How to undo last commit(s) in Git?

具體數(shù)據(jù)。

大部分問答的 views 數(shù)還是集中在 20000 以內(nèi)。還是得看看總體分布。

四、綜合分析

再看看 votes，views，answers 三者的散點圖對應(yīng)情況。

votes - views

votes - answers

views - answers

views-answers散點圖

總的來說，這三者對應(yīng)關(guān)系類似于一個金字塔。三個圖基本上都是左下角靠近原點的區(qū)域被填滿，也就是說絕對大部分的問題的 votes，answers 和 views 都是屬于最下層的。高質(zhì)量活躍的問題是處于金字塔頂端的。三者的最高數(shù)好像也沒特別明顯的對應(yīng)關(guān)系，且三者的最高數(shù)都不是同一個問題。

根據(jù)所有問題的 tags 提取出總量前 200 的關(guān)鍵詞（前 50 條如下），java 排在第 2 名。

這樣看好像不太直觀，所以就把它根據(jù)詞頻生成了詞云。