robots协议知道它是用来禁止搜索引擎爬行或爬行文件的。例如，淘宝正在建立robots协议。我们在搜索淘宝的时候除了标题以外是没有任何网站内的信息显示的，这个就是robots协议的作用了。

  　　robots.txt的角色

  　　为什么你需要使用robots.txt文件来告诉搜索机器人不要爬行我们的一些网页，比如后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图像、背景图像等等。毕竟，这些页面或文件包含在搜索引擎中，用户无法看到。他们中的大多数需要输入或数据文件的密码。在这种情况下，如果搜索机器人爬行，就会浪费服务器资源，增加服务器上的压力。因此，我们可以使用robots.txt来告诉机器人专注于包括我们的文章页面。增强用户体验。

  　　五个robots实用技巧与用法

  　　1。用robots阻止网站重复页面

  　　许多网站提供一个内容的多个浏览版本。虽然对用户来说是非常方便的，但是对于蜘蛛来说是很困难的，因为它不能分辨出哪个是主人。那是时候了。一旦你让它认为你在恶意重复，你就惨了。

  　　User-agent： *

  　　Disallow： /sitemap/ 《禁止蜘蛛抓取 文本网页》

  　　2。使用robots保护网站安全

  　　许多人想知道为什么robots仍然与网站安全有关。事实上，这种关系仍然非常大。许多低级黑客搜索默认的后台登录，以达到入侵网站的目的。

  　　User-agent： *

  　　Disallow： /admin/ 《禁止蜘蛛抓取admin目录下所有文件》

  　　3。防止盗链

  　　一般来说，有一些人在这个链条上，可是一旦被搜索引擎“盗链”，100M宽带也负担不起。，如果你做的不是图片网站，又不想被搜索引擎“盗链”你的网站图片

  　　User-agent： *

  　　Disallow： .jpg$

  　　4。提交网站地图

  　　现在我知道如何做站点地图，但很少会提交。大多数人只是添加到页面的链接。事实上，机器人支持这一特性。

  　　Sitemap： http:-www-***-com/sitemaps/sitemaps.xml

  　　5。禁止某二级域名爬行

  　　有些网站为VIP会员提供一些特殊服务，但他们不希望通过搜索引擎检索这项服务。

  　　User-agent： *

  　　Disallow： /

  　　以上五招的机器人足以给你很多控制搜索引擎蜘蛛，就像百度说：我们和搜索引擎应该是朋友，添加一些沟通，以消除一些障碍。

seo网站优化策略中robots.txt的写法与作用   https://cdnanqi.cn/seoyouhuapaiming/20861.html