如何正确设置robots.txt文件

如何正确设置robots.txt文件？对于合格的SEO网站，有必要在根目录中包含robots.txt文件。操作网站的朋友对此文件的效果并不陌生。在Internet上制作robots.txt文件的方法和软件也很多。这是一个适当的午餐。但青岛网站优化，你真的知道网站的robots.txt文件设置是否合理，需要阻止哪些文件或目录，以及哪些设置方法对网站运营有好处？

然后带着这些问题，笔者将给出具体的答案，希望能帮助青岛网站建设朋友，老鸟不要喷。

首先，这是robots.txt

作者引用百度站长在后面的段落中的话来澄清。查找引擎使用蜘蛛程序自动访问Internet上的页面并获取页面信息。当蜘蛛访问网站时，它首先检查网站的根域下是否有名为robots.txt的纯文本文件。此文件用于指定网站上蜘蛛的爬网计划。您可以在您的网站上创建robots.txt，在文件中说明您不希望搜索引擎输入的某些网站可能会指定搜索引擎只输入某些网站。

其次，robots.txt文件对网站有好处

1.快速添加网站权重和访问;

2，阻止某些被搜索引擎索引的文件，可以节省服务器带宽和网站访问速度;

3.为搜索引擎提供简洁明了的索引环境

第三，哪些网站目录需要使用robots.txt文件来阻止抓取

1），图片目录

图片是网站的主要组成部分。随着时下的事实，它越来越方便，并且出现了许多CMS。真的，他们会在打字时建立网站。正因为如此，互联网上有很多同质化的模板网站，它们被重复使用。引擎肯定不喜欢，即使你的网站输入，你的效果也很差。假设您必须使用此类网站，建议您阻止该网站的主页在robots.txt文件中降级。通常的网站图片目录是：imags或img;

2），网站模板目录

如上图所示，CMS的功能和活动也导致许多同质网站模板的出现和滥用。高度重复的模板在搜索引擎中构成一种冗余，并且模板文件经常是生成的文件高度相似，并且很容易形成相同的内容。它对搜索引擎不友好。 SEO被搜索引擎严格直接搜索，无法翻转。许多CMS具有单独的模板存储目录。因此，模板目录应该被屏蔽。通常模板目录的文件目录是：temples

3），CSS，JS目录屏蔽

CSS目录文件在查找引擎的爬网中无用，并且不提供有价值的信息。因此，强烈建议网站管理员朋友在Robots.txt文件中阻止它们以跟踪搜索引擎的索引质量。为搜索引擎提供简洁明了的索引环境，可以更轻松地访问网站的友好性。 CSS样式的目录通常是：CSS或样式

无法在搜索引擎中识别JS文件。这只是一个建议。你可以阻止他们。这样做还有一个好处：为搜索引擎提供简洁明了的索引环境;

4），屏蔽双页内容

我们以DEDECMS为例。我们都知道DEDECMS可以使用静态和动态URL来访问相同的内容。如果生成静态全站点，则需要阻止动态地址的URL连接。这里有两个好处：1。搜索引擎比静态URL更友好，更简单; 2.避免可以访问同一篇文章并被搜索引擎拒绝为重复内容的静态动态URL。这样做有助于找到引擎友好性。

5），模板缓存目录

许多CMS程序都有缓存目录。我不想让我们知道这个缓存目录的好处。它对于访问网站的速度和减少网站带宽非常有用。对用户来说也很好。但是，这样的缓存目录也存在一定的缺点，即搜索引擎会被反复爬行，而网站的内容也是一大牺牲，这对网站没有好处。许多使用CMS站起来的朋友都不知道，并且有必要注意。

6）删除目录

太多的死链对于搜索引擎优化来说是毁灭性的。不能不失去站长的注意力。在打开网站的过程中，不能避免删除和调整目录。如果您的网站当时不存在，则需要屏蔽目录并返回确切的404错误页面（注意：在IIS中，有些朋友在自定义故障页面项中设置了404错误时间，设置有疑问，应该选择404故障的确切设置：默认值或文件，而不是：URL，以避免查找引擎返回200的状态代码。至于如何设置，有很多在线教程，让我们找到它）

这里有一个有争议的问题，网站后台处理目录是否需要屏蔽，原始是可选的。在确保网站安全的情况下，假设您的网站有一个小的运营计划，即使网站处理目录出现在robots.txt文件中，也没有太大疑问。我见过很多这样的网站;但假设你的网站运营计划很大，竞争太过分了。强烈建议您在网站的后端处理目录中没有任何信息，以防有意图的人使用，这会损害您的兴趣。原始搜索引擎越来越智能化。网站的处理目录仍然很好地识别和丢弃索引。其他人，我们可以在网站的后台添加，你也可以在页面元标记中添加：搜索引擎的屏蔽抓取。

青岛网站优化需要澄清，许多网站管理员朋友喜欢将网站地图地址放在robots.txt文件中。当然，这不是为了阻止搜索引擎，而是为了使搜索引擎能够在索引网站时快速传递站点地图。抓取网站内容。在这里你需要注意：1，必须制作网站地图; 2，网站必须拥有高质量的内容。