什么是 Robots.txt 文件？
robots.txt 文件是一組指令，告訴搜索引擎要抓取哪些頁面以及要避免哪些頁面，指導(dǎo)抓取工具訪問但不一定會將頁面排除在百度索引之外。此文件位于網(wǎng)站的根目錄中，為搜索引擎爬蟲提供網(wǎng)站范圍內(nèi)的指令，說明它們應(yīng)該和不應(yīng)該爬取網(wǎng)站的哪些區(qū)域
robots.txt 文件如下所示：
為什么Robots.txt對SEO很重要？
robots.txt 文件對于 SEO 很重要，因?yàn)樗兄诠芾砭W(wǎng)絡(luò)爬蟲活動，以防止它們使您的網(wǎng)站超載并抓取不供公眾訪問的頁面。
以下是使用 robots.txt 文件的一些原因：
1.優(yōu)化抓取預(yù)算
使用 robots.txt 阻止不必要的頁面可讓百度的網(wǎng)絡(luò)爬蟲將更多的抓取預(yù)算（百度在一定時間范圍內(nèi)將抓取您網(wǎng)站上的多少頁面）花在重要的頁面上。
抓取預(yù)算會根據(jù)您網(wǎng)站的大小、健康狀況和反向鏈接的數(shù)量而有所不同。
如果您的網(wǎng)站的頁面數(shù)量超出其抓取預(yù)算，重要頁面可能無法被編入索引。
未編入索引的頁面不會排名，這意味著您浪費(fèi)了時間創(chuàng)建用戶在搜索結(jié)果中永遠(yuǎn)看不到的頁面。
2. 屏蔽重復(fù)和非公開頁面
并非所有頁面都適合包含在搜索引擎結(jié)果頁面 (SERP) 中，而 robots.txt 文件可讓您阻止爬蟲程序訪問那些非公開頁面。
考慮暫存網(wǎng)站、內(nèi)部搜索結(jié)果頁面、重復(fù)頁面或登錄頁面。一些內(nèi)容管理系統(tǒng)會自動處理這些內(nèi)部頁面。
例如，WordPress 禁止所有爬蟲訪問登錄頁面“/wp-admin/”。
3.隱藏資源
如果您希望將 PDF、視頻和圖像等資源保密，或者讓百度專注于更重要的內(nèi)容，Robots.txt 可讓您將其排除在抓取范圍之外。
Robots.txt 文件如何工作？
robots.txt 文件告訴搜索引擎機(jī)器人要抓取哪些 URL 以及（更重要的是）要避免抓取哪些 URL。
當(dāng)搜索引擎機(jī)器人抓取網(wǎng)頁時，它們會發(fā)現(xiàn)并跟蹤鏈接。這個過程會引導(dǎo)它們從一個網(wǎng)站到另一個網(wǎng)站的不同頁面。
如果機(jī)器人找到 robots.txt 文件，它會在抓取任何頁面之前讀取該文件。
如何查找 robots.txt 文件
您的 robots.txt 文件托管在您的服務(wù)器上，就像您網(wǎng)站上的其他文件一樣。
您可以在瀏覽器中輸入網(wǎng)站主頁 URL 并在末尾添加“/robots.txt”來查看任何網(wǎng)站的 robots.txt 文件。
例如：“http://www.tbwwir.cn/robots.txt”。
