又名丹江口站长网:Robots.txt文件协议怎么写?

来源: 用户投稿 浏览: 0 收藏

  怎么使用robots协议?对于不知道怎么优化网站的人来说,是非常蒙的,知道了所谓的robots协议,但是不会用,下面主题网小编就带大家看看如何使用robots协议和注意一些robots协议。

robots.txt协议语法:


  1.基本语法:


  User-agent定义协议的搜索引擎。


  Disallow不允许抓取


  Allow允许抓取


  *通配符,代表所有


  $结束符


  2.robots.txt文件协议怎么写:


  User-agent:*所有的搜索引擎都要遵守


  PS:1.英文的首字母一定要大写。下同。2.问号一定是英文状态下的。下同。3.问号之后一定要有一个空格。下同。


  User-agent:Baiduspider针对百度的协议


  Disallow:/屏蔽全站


  Disallow:/can/屏蔽can文件下的所有文件


  Allow:/can/123屏蔽can文件下的所有文件,但是允许收录123


  Disallow:/*.jpg$屏蔽所有的图片文件。


  PS:使用通配符,一定要有结束符。不然可能导致正常的路径被屏蔽。


Robots.txt文件协议怎么写?

  

1、robots使用注意事项:


  1.基础语法中PS的点。


  2.生效时间


  robots是我们和搜索引擎之间的一个单方面的协议,不是我们今天写上,明天百度就会遵守。想让百度遵守是需要一个过程的,一般情况下是两个月。但是也不排除当天写,当天生效。所以在更改robots的时候,一定要小心小心再小心。一旦你的robots错了,对整个网站的影响是巨大的。


  3.不要随便的屏蔽整站


  一些新手在做网站的时候,没有规划,随搭随建,网站不能一下子做好,经常做个半截,所以很多新手就会将我们的网站全部屏蔽掉。如果你真的这么做了,那么我要恭喜你,蜘蛛可能在未来的两个月中不来访问你的网站。即便是你去请蜘蛛也不会来。所以这里给新手的建议就是一定要对网站规划好,一次性搭建完成。等待收录。



作者:佚名 打赏作者 我要举报

免责声明:1.凡本站注明“来源:XXX(非我的主题网)”的作品,均转载自其它媒体,所载的文章、图片、音频视频文件等资料的版权归版权所有人所有,如有侵权,请联系admin#mytheme.cn处理;2.凡本站转载内容仅代表作者本人观点,与我的主题网无关。
0 条评论

网友留言