了解哪些目录应该屏蔽在robots.txt文件

点评：一个合格的网站，必须在根目录下的robots.txt文件。这个文件的作用对操作网站的所有朋友来说并不陌生。互联网也提供了很多方法和软件制作robots.txt文件，这是很方便的。




但你真的知道你的网站的robots.txt文件设置是合理的，这就需要一个文件或目录，这是很好的屏蔽方法，这些问题在网站运营之后，笔者将对其进行详细的解答，希望对新手站长朋友有帮助，老鸟勿喷。

一、robots.txt是什么
我引用百度站长工具在回来的话来解释。搜索引擎使用蜘蛛程序自动访问互联网上的网页并获取网页信息，访问一个网站时，蜘蛛会先检查是否有一个文本文件在网站的根区名为robots.txt。此文件用于指定的蜘蛛在你的网站上爬行的范围，你可以创建你的网站的robots.txt文件，宣布在网站的一部分不想被搜索引擎收录或者指定搜索引擎只包含一个特定的部分。

二，的robots.txt文件对网站有什么好处
1，快速增加网站的权重和访问量。
2。禁止某些文件被搜索引擎索引，这样可以节省服务器的带宽和网站访问的速度。
三.为搜索引擎提供简单、简洁的索引环境

三、哪些网站需要使用robots.txt文件禁止抓取
1）图片目录
图片是一个网站的主要组成部分。现在随着越来越方便的建立，大量的CMS的出现，真正建设网站会打字，但因为它是如此方便，网上出现了大量的同质化模板网站，网络搜索引擎是重复使用，这是肯定的不爱，即使你的站点被收录，那么你的效果也很差。如果你不想使用这个网站，建议你应该屏蔽在robots.txt文件，通常的网站图片目录：图像或图片；
2），网站模板目录
如上图在CMS目录中所提到的，强大和灵活，也导致了很多的网站模板同质化和滥用的出现，重复的形式高度的形式在搜索引擎的一种冗余，和模板文件生成的文件，通常是高度相似的，出现相同的原因相同的内容。搜索引擎是不友好的，被打入冷宫的搜索引擎直接严重，转不过去，很多CMS都有独立的模板目录，因此，应该屏蔽模板目录。通常模板目录的文件目录是：模板
3），屏蔽css，js目录
The CSS directory file is not useful in the search engine and can not provide valuable information.So it is strongly suggested that the stationmaster friends shield them in the Robots.txt file to improve the index quality of the search engine.It is easier to improve the friendliness of the web site by providing a simple and concise index environment for search engines.The CSS style directories are usually CSS or style
js文件在搜索引擎中无法识别。这里有一个建议，可以保护他们。这有一个很好的优势：它为搜索引擎提供了一个简洁的索引环境。
4）屏蔽两页内容
这里以DEDECMS为例，我们都知道，dedecms可以使用静态和动态URL访问相同的内容。如果你生成静态站，你必须阻止动态地址的URL链接。有两个优点：1、搜索引擎更加友好、容易收集静态URL比动态URL；2、防止静态和动态的URL访问相同的文章，和被搜索引擎重复的内容，是对搜索引擎友好无害。
5），模板缓存目录
许多CMS程序都有缓存目录。此缓存目录的好处不需要明确。可以看出，它可以有效地提高网站的访问速度，降低网站的带宽和用户体验，但是这样的缓存目录也有一些不足之处，也就是说，它会使搜索引擎重复爬行。网站内容的重复也是一个巨大的牺牲。很多网站使用CMS站的朋友都没有注意到这一点。
6）已删除目录
太多的链接，搜索引擎优化，是致命的。不引起站长的高度重视。在网站的发展过程中，目录的删除和调整是不可避免的，如果你的网站不在当前目录下的目录必须存在，robots屏蔽，并返回404错误页面的右侧（注意：在IIS中设置404错误，一些朋友当设置自定义错误页的问题，正确设置404错误应选择：默认值或文件，而不应的URL，以防止搜索引擎返回200状态代码。至于如何设置，网上很多教程，你想搜索）
有一个关于网站管理目录需要屏蔽或没有争议的问题。在的情况下能保证网站的安全，如果你的网站运营规模较小，即使网站管理目录出现在robots.txt文件，没有大问题，我见过很多网站如设置；但如果你的网站运营规模较大，竞争从一方面太多，没有任何强烈的建议你的网站后台管理目录信息，为了防止你别有用心，损坏的使用利益；事实上，搜索引擎越来越智能化，对于网站或目录的管理可以很好地识别，并放弃指标。此外当您完成Web站点的后台时，还可以添加页面元素标签：搜索搜索引擎。

最后，应该指出的是，很多站长朋友喜欢的网站地址在robots.txt文件，当然，这是不被搜索引擎收录，而是让搜索引擎在第一索引网站可以通过抓取网站地图快。
这里要注意：1、站点地图制作必须规范化；2、网站必须具备高质量的内容；