【廣州網站優化】什么是robots文件，有什么作用-行業動態-華企網絡推廣公司

【廣州網站優化】什么是robots文件，有什么作用

發布時間：2019-11-09 發布者：華企網絡

robots是網站跟爬蟲間的協議，用簡單直接的txt格式文本方式告訴對應的爬蟲被允許的權限，也就是說robots.txt是搜索引擎中訪問網站的時候要查看的第一個文件。當一個搜索蜘蛛訪問一個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，如果存在，搜索機器人就會按照該文件中的內容來確定訪問的范圍；如果該文件不存在，所有的搜索蜘蛛將能夠訪問網站上所有沒有被口令保護的頁面。

Robots.txt協議并不是一個規范，而只是約定俗成的，所以并不能保證網站的隱私。注意Robots.txt是用字符串比較來確定是否獲取URL，所以目錄末尾有和沒有斜杠“/”這兩種表示是不同的URL，也不能用"Disallow: *.gif"這樣的通配符。

廣州網站優化

robot.txt在SEO中的作用
搜索引擎通過一種爬蟲spider程序（又稱搜索蜘蛛、robot、搜索機器人等），自動搜集互聯網上的網頁并獲取相關信息。
鑒于網絡安全與隱私的考慮，搜索引擎遵循robots.txt協議。通過根目錄中創建的純文本文件robots.txt，網站可以聲明不想被robots訪問的部分。每個網站都可以自主控制網站是否愿意被搜索引擎收錄，或者指定搜索引擎只收錄指定的內容。當一個搜索引擎的爬蟲訪問一個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，如果該文件不存在，那么爬蟲就沿著鏈接抓取，如果存在，爬蟲就會按照該文件中的內容來確定訪問的范圍。

News

【廣州網站優化】什么是robots文件，有什么作用