点评：这篇文章将向你介绍四种最常用的robots.txt文件格式。

1。允许所有搜索引擎访问站点的任何部分

*用户代理：
不允许：

（也可以构建一个空文件

2。禁止所有搜索引擎访问站点的任何部分
*用户代理：
Disallow: /

三.禁止所有搜索引擎访问




本文将向您介绍四种最常用的robots.txt文件格式。

1。允许所有搜索引擎访问站点的任何部分

*用户代理：
不允许：

（也可以构建一个空文件

2。禁止所有搜索引擎访问站点的任何部分

*用户代理：
Disallow: /

三.禁止所有搜索引擎访问Web站点中的所有动态页面

*用户代理：
禁止： / * *

4。禁止站点上的程序文件由搜索引擎蜘蛛索引，可以节省服务器资源。

在一般的网站，蜘蛛不需要抓取的文件，如后台管理文件、程序脚本、附件、数据库文件、文件编码，样式表文件，模板文件、导航图片和背景图片等。

*用户代理：
禁止： / /管理员后台管理文件
禁止： / /程序文件要求
禁止： / /附件附件
Disallow: /图像/图片
Disallow: /数据/数据库文件
Disallow: /模板/模板文件
禁止： / / CSS样式表文件
禁止： / /郎编码文件
禁止： / /脚本文件脚本
注：每个网站的名称可能不同。