廊坊SEO外包

关于robots禁止抓取,但并不禁止索引的说明

  关于robots禁止抓取,但并不禁止索引的说明,robots.txt写明了某个页面不让搜索引擎去抓取,搜索引擎就一定会支持协议,不去抓取,但这并不代表搜索引擎不索引这个页面。也就是说,搜索引擎不知道这个页面上的内容(因为有协议),但因为这个页面可能存在有外链是指向这个页面的,那么,搜索引擎就会知道这个页面的存在。廊坊高端seo外包公司在搜索引擎的数据库里也有这个文件的数据,但搜索引擎并不知道页面上有什么内容。于是就会出现这样的怪事,你在搜索引擎上搜索时,依然可以搜出这个页面,但不显示这个页面的内容,比如,title可能是外链给它指明的锚文本,说明也是其他的说明文字。当然,也就没有快照。

  举个例子,淘宝网用robots.txt禁止百度的抓取,但是你搜淘宝,依然会有显示。不抓取,但是有索引。

  因此,我们理解robots.txt时,一定要理解清楚,它是禁止抓取,但并不禁止索引。


发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

最近发表
最新留言
网站分类
友情链接

廊坊seo外包公司主要提供廊坊关键词排名优化廊坊seo顾问等一系列seo服务

廊坊seo外包服务公司是一家专业的高端的seo外包公司,承接廊坊seo顾问服务,廊坊关键词排名优化,等一系列廊坊seo外包服务,联系电话:15131890128.