当前位置:搜启云 > 网站建设 > [robots协议]为什么网站添加了robots禁止协议还能被收录?

[robots协议]为什么网站添加了robots禁止协议还能被收录?

发表日期:2019-10-23

  SEO的一些基础上的东西总是简单被人忽略,比方说robots文件。喜子之前的文章有屡次提到过这份文件的重要性,网站优化确诊的其中一项便是查看有无做这份文件,是否标准。之前的文章有提到过这么一句:假如网站的robots协议文件制止了搜索引擎蜘蛛,那么无论你怎样优化都不会被录入。
 
  趁着写这篇文章,给这句话做个纠正,请我们认真阅读而且了解。如下:
 
  假如你的网站添加了robots协议文件,而且设置了制止搜索引擎蜘蛛的指令,那么你的网站内容将不会被抓取,但有或许会被录入(索引)。
 
  有些人或许会有疑问,搜索引擎蜘蛛匍匐url页面,页面需求有内容出现出来反馈给到蜘蛛,才有或许会被录入。那么,假如内容都被制止了还会被录入吗?这是什么意思呢?这个问题这里喜子先不解释,我们先看看下面的图片吧。
  如图所示,以上是site某宝域名出现被录入的成果。从site成果里面能够清楚地看到,这里录入了很多淘宝网站的页面,显现录入成果为2亿6159万个页面。可是我们不知道有没有发现一个问题,这些页面抓取的描述内容都是提示了这样一段文字:因为该网站的robots.txt文件存在约束指令(约束搜索引擎抓取),系统无法提供该页面的内容描述。以下是截图:
 
  robots制止搜索引擎蜘蛛后为什么会被录入呢?
 
  这里有个认知上的错误,也或许是惯性逻辑思想的错误考虑。我们都认为蜘蛛不能抓取内容就不会录入,实际上匍匐、抓取、索引(录入)是不同的概念。很多人学习SEO的时候,经常性的对一些SEO的概念混肴不清,导致在后面的SEO优化进程当中并不能发挥出很好的作用。
 
  仍是先来说说robots协议到底是在做什么?既然是协议,那肯定是双方同意、认可的规矩。这个甲乙天然便是网站和搜索引擎(或者说搜索引擎蜘蛛)之间的协议。robots文件会放在根目录下,蜘蛛进入网站会第一时间访问这个文件,然后看看协议里面有没有制止了哪些页面不能抓取,假如制止了就不会再去抓取。
 
  一个页面想要去搜索引擎索引(录入),录入要有蜘蛛匍匐和抓取,既然不抓取,天经地义的就会被认为这个页面是不会被录入。这样的思想是错误的,不抓取也是能够被索引(录入)。如淘宝便是一个典型的案例,网站添加了制止协议,最后仍是被录入。原因在于,百度从其它途径平台推荐的外部链接了解到这个网站,尽管被制止抓取,但从标题和推荐链接的数据里仍是能够判断出与该页面相应的内容信息。

相关网站设计案例

相关新闻

[热门关键词]如何将一个热门关键词瞬间做上首页排名

标题十分重要的,比方上篇文章的关键词是“百度金矿”,我们都知道百度金矿...

日期:2019-12-27

[低价网站建设]谈谈企业应如何避免低价网站建设制作猫腻?

为节约成本的需要,贱价的模板网站是不会帮你设置查找关键字,乃至会直接选...

日期:2019-12-27

[百度seo排名软件]学SEO:百度seo排名点击软件能提升排名?

优质IP不是电影、电视剧优质内容的开发,创作;优质IP即契合用户正常查找的...

日期:2019-12-27

[推广平台有哪些]网络营销推广平台有哪些?

在写之前先不要急着下手,你能够经过产品订单反应、用户留言、用户人群画像...

日期:2019-12-27

[排名优化公司]网站排名优化SEO公司

企业只需供给高质量的产品,富士4在中国的售前票房已成功超越1亿元,创下SE...

日期:2019-12-27

[怎么样网络推广]网络推广怎么样做能有效提升效果?

在咱们公司注册入驻百度爱收购渠道之后,你能够有两个挑 R桓鍪亲约杭以惫...

日期:2019-12-27

[惊雷算法]惊雷算法:快速排名的原理与弊端

3.补位算法操作。使用体系查找点击很多长尾词,来带动分词、主词和目标关键...

日期:2019-12-27

[推广平台有那些]企业网站有哪些优化推广方法

主要经过微博、QQ空间来找到自己的客户,比方咱们打开竞争对手的QQ空间,即...

日期:2019-12-27

[网络营销论坛]网络营销活动之论坛营销

在网络营销阶段中,客户才是真实的核心。只有做好充沛的调研预备,依据行...

日期:2019-12-27

[关键字的优化教程]SEOSEO关键字的优化教程

3、页面的文本里,多次呈现这个要害字,并在第一次呈现时,加粗;这是一个...

日期:2019-12-27

收缩
  • 电话咨询

  • 18520102000