搜索

帮助中心

Robot文件

发表时间: 2018-12-17 17:56:40

浏览: 1013


Robot文件


功能作用


  • Robot文件是告诉搜索引擎的蜘蛛,网站的哪些文件目录可以爬获取,哪些目录不要获取。



一、Robot的设置


注意:

  • 遵守Robots限制协议,如输入内容"/",那么所有文件都不允许访问;多个目录或文件请用回车换行。
  • 建议选择全部开放,默认数据 “Disallow: /目录”请不要删除,是不让Robots抓取的目录,保护不想公开的内容。
  • robots.txt可以告诉百度及其它搜素引擎您网站的哪些页面可以被抓取,哪些页面不可以被抓取。
  • 您可以通过Robots工具来创建、校验、更新您的robots.txt文件,让你的站点在有更好的表现。


  • 1.2 设置路径:登录后台—SEO—Robot文件


  • 一般用户默认选择全部开放即可,有SEO技术基础的用户可以自定义设置。





Robot文件
长按图片保存/分享

没找到想要的答案

联系我们获取更多信息,请描述一下您所遇到的问题。