网站不收录怎么办,robots文件怎么写

京坤 2017-11-15 177人围观 ,发现0个评论 robots文件

  网站不收录怎么办,robots文件怎么写,之前我们了解了什么是seo,也提到了seo做的好也需要网站收录好,那么网站不收录怎么办,为什么网站不收录呢,具体原因有很多,今天我们就讲一下网站不收录的第一个原因,检查robots写法是否正确。

robots文件.jpg

  什么是robots?

  我们的网站就相当于一个超市,页面就相当于商品,robots就相当于超市门口的公告,每当蜘蛛抓取我们网站的页面的时候,他都会先看一下公告,也就是robots文件,如果robots写法不正确,蜘蛛就会看不懂,也就不明白要不要来抓取网站页面了。

  robots文件怎么写?

  在桌面新建一个txt文件,命名为robots.txt,打开文件;

  第一行User-agent:*,User-agent的意思是哪些抓住来抓取,搜索引擎蜘蛛有很多,比如百度蜘蛛,谷歌蜘蛛,360蜘蛛,搜狗蜘蛛等等,*是个通配符,代表所有蜘蛛,这句话的意思是允许所有蜘蛛来抓取,那么蜘蛛来了,能够抓取哪些页面呢?就需要第二行设置了

  第二行Disallow:后面什么也不接,就表示能够抓取所有页面,Disallow:/,表示所有页面都不能抓取,如果说我们有些文件不让抓取,比如网站后台admin,就可以写成Disallow:/admin/,蜘蛛就不会抓取这个页面啦。

  robots文件需要注意哪些地方

  1.文件名不能写错,必须是robots.txt,必须是小写,必须是.txt后缀;

  2.文件必须放在网站的根目录,比如:http://www.jingkun.org/robots.txt,要可以打开;

  3.文件格式必须正确,需要包含User-agent和Disallow:

  robots疑问解答

  问:别人网站没有robots文件,我的网站是不是可以不写robots文件?

  答:别人的网站和您没有关系,影响网站收录的因素有很多,最好写上robots文件,来告诉蜘蛛,减轻蜘蛛的工作量。

  问:robots生效要多久?

  答:不同网站旅游不同,差不多几天就能生效了,也和蜘蛛来您网站的频率有关系。

  问:在robots文件中怎么加入网站地图sitemap?

  答:在robots文件的第一行写上“Sitemap: http://www.jingkun.org/sitemap.xml” 建议加入xml格式的文件,这个是标准的网站地图格式。

  今天我们学习seo诊断中的网站不收录的问题,第一点robots的重要性,robots文件怎么写,如有疑问可以通过下方的QQ联系我,下一节我们将学习第二点服务器的稳定性!


谢谢打赏
支付宝 支付宝
微信 微信
请发表您的评论
请关注微信公众号
微信二维码
不容错过
Powered By Z-BlogPHP