網站 robots.txt 文件配置方法，如何禁止搜索引擎收錄指定網站某一篇超鏈接地址呢，今天跟著家興網絡一起學學吧。

搜索引擎通過網絡蜘蛛抓取網頁的內容，并展示在相關的搜索結果中。但是有些網頁內容我們可能并不想被搜索引擎收錄和索引，如管理員后臺等。

我們就可以通過 robots.txt 文件來聲明允許/禁止搜索引擎的蜘蛛抓取某些目錄或網頁，從而限制搜索引擎的收錄范圍。

什么是robots.txt

Robots是站點與spider溝通的重要渠道，站點通過robots文件聲明本網站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。

Robots.txt用法：

User-agent：用于指定指令所作用于的目標抓取工具（網絡蜘蛛），后接抓取工具名稱；

Disallow：指定不允許抓取的目錄或網頁，后面為空則表示允許抓取一切頁面；

Allow：指定允許抓取的目錄或網頁；

Sitemap：站點地圖的位置，必須是絕對路徑；

*：表示通配符；

$：表示網址結束；

/：匹配根目錄以及任何下級網址。

禁止抓取某一個超鏈接：

Disallow: /news/hangyejishu/43.html

robots.txt文件用法舉例

分享讓更多人看到