你以為的萬能爬蟲方法，其實一行代碼就能識別！

風聲之家 2022-06-15 發(fā)布于江蘇

展開全文

Python綠色通道 2022-06-09 08:30 發(fā)表于廣東

以下文章來源于未聞Code ，作者kingname

未聞Code

博主喜歡Python和爬蟲，已經出了兩本書。這里是他靈感的發(fā)源地。關注這個公眾號，你的生產效率在三天內就會得到提高。P.S.: 這個公眾號日更。

↑ 關注 + 星標 ，每天學Python新技能
后臺回復【大禮包】送你Python自學大禮包

Selenium/Puppeteer/Pyppeteer有很多特征可以被網站檢測到。于是，有些同學想到了另一個方法，就是自己寫一個Chrome插件，在網站打開的時候，注入到頁面中，然后通過這個注入的JavaScript代碼來操作頁面，獲取數據。

這個方法理論上說是萬能的，因為注入的JavaScript能夠獲取當前Dom樹，任何接口簽名都無法攔截到自己注入的JavaScript代碼，如下圖所示：

而Chrome插件訪問自己的服務器后端是沒有跨域問題的，完全可以讓插件獲取到數據以后，發(fā)送給自己的服務器，這樣就可以把數據收入囊中了。

你還可以通過JavaScript自動點擊按鈕，實現自動翻頁。所以你只需要把網頁打開，啟動插件，然后他就能自動刷新，自動獲取數據了。

這個方法看起來非常萬能，而且無法被防御……

事實真的是這樣嗎？我寫了一個Demo來做測試。Demo頁面長下面這樣：

當我手動點擊點擊我按鈕的時候，會彈出一個框：

現在，我使用JavaScript來選擇這個按鈕，然后點擊它：

為什么網站知道我在用JavaScript點擊了按鈕呢？其實只要我給你看這個頁面的HTML，你就知道了：

<!DOCTYPE html>
<html>
    <head>
        <meta charset="utf-8">
        <title>Test Event</title>
    </head>
    <body>
        <div id="app">
            <template v-if="spider">
                <div>你這個狗爬蟲</div>
            </template>
            <template v-else>
                <button v-on:click="check">點擊我</button>
            </template>
          </div>
        <script src="./vue.min.js"></script>
        <script>
            var example2 = new Vue({
            el: '#app',
            data: {
                spider: false
            },
            methods: {
                check: function (event) {
                    if (event.isTrusted) {
                        alert('主人你好，歡迎回家！')
                    } else {
                        this.spider = true
                    }
                }
            }
            })
        </script>
    </body>
</html>

關鍵的點就是這個event.isTrusted。它是瀏覽器的一個功能，如果這個事件是人通過鼠標點擊的，那么它是true。如果事件是通過JavaScript觸發(fā)的，那么它是false。

關于這個屬性，你可以查看Event.isTrusted - Web API 接口參考 | MDN[1]。這個例子里面，我用的是Vue來操作頁面，但實際上event是瀏覽器的特性，使用原生JavaScript也可以實現：

  document.querySelector("button").addEventListener("click", function( event ) {
    if (event.isTrusted) {
        alert('主人你好，歡迎回家！')
     } else {
        this.spider = true
     }
  }, false);