講解對象：Robots 協(xié)議

作者：融水公子 rsgz

實質(zhì)：網(wǎng)站與搜索引擎蜘蛛的君子協(xié)議

位置：在站點根目錄創(chuàng)建 robots.txt 

作用：告訴搜索引擎網(wǎng)站的哪些路徑和內(nèi)容是否允許或者不允許被搜索引擎抓取

升級：百度搜索對 robots 協(xié)議的支持有了權(quán)限的升級

目的：為了優(yōu)化對網(wǎng)站視頻 URL 的收錄抓取

規(guī)則：

1 網(wǎng)站包含不希望被視頻搜索引擎收錄的內(nèi)容時，才需要使用 robots.txt 文件

2 希望搜索引擎收錄網(wǎng)站上所有內(nèi)容，請勿建立 robots.txt 文件

百度建議：勿建立 robots.txt 文件
個人建議：建立 robots.txt 文件

原因：很多的開源程序都是有后臺目錄或路徑，以及緩存、圖片、視頻、api 等接口目錄等等，這些不希望百度抓取吧