为什么搜索链接可以搜到网站,但搜索网站名称却找不到?

2023-07-28 作者: 林夕

搜索引擎通过爬虫定期爬取网络上的网页并建立索引,才能够让用户搜索到相应的内容。但是一些网站可能只有部分链接被收录,而整个网站还未完全被索引覆盖到。这就导致了搜索链接可以找到网站页面,但直接搜索网站名称无法得到预期结果的情况。

为什么搜索链接可以搜到网站,但搜索网站名称却找不到?

一、导致整站无法被收录的原因

1. 网站robots.txt限制了爬虫

很多网站为了保护某些页面的隐私或权益,会在robots.txt文件中添加爬虫访问限制。这会导致搜索引擎爬虫无法正常抓取网站中的部分或全部页面。

2. 网站技术错误阻止了爬虫

一些网站存在网页错误导致爬虫无法访问、网站速度过慢等技术问题。这使爬虫爬取过程中出现故障,无法完整抓取网站页面。

  1. 网站太新的未被完整收录

新建立的网站需要一段时间才能被搜索引擎完整收录。在立网站后到被收录前的这段时间,也会出现只有部分页面可以被搜到的情况。


二、提高整站收录率的方法

1. 清除robots.txt不必要的限制

站长应检查robots.txt文件,确保没有过于严格的限制爬虫访问页面,可适当放开部分访问限制。

2. 解决网站技术错误

检测网站是否存在导致爬虫无法访问的错误,并及时解决这些问题,确保爬虫可以顺利抓取。

3. 主动提交给搜索引擎收录

可以在各大搜索引擎中提交网站地址,要求搜索引擎收录网站。还可以定期生成sitemap提交给搜索引擎。

4. 建立积极的外链

增加其他网站对该网站的链接,可以加速搜索引擎对新网站的关注和收录爬取。


搜索引擎收录一个网站需要时间,它要一个一个页面都爬过来,全都看过才行。如果半道上出问题了,比如网站自己设置了限制,或者网址错误网页打不开之类的,它就只能收录收录到那么多咯。这个时候你搜索网址还可以找着几页,可你搜索网站名称啥也搜索不到,因为它没爬全嘛。网站主要做的是把这些问题都解决掉,让搜索引擎顺顺利利把全站爬完,建好索引,这样就可以直接搜到整个网站咯。

搜索引擎优化