网站网页被Google等搜索引擎收录是非常必要的,一个没有被收录的网页是无法获取排名的。
如何查看网站的收录量呢?
你可以使用Google Search Console检查XML Sitemap的提交状态和网站的总体索引状态。每个工具查询的结果会有所不同,不同的原因则是另一话题。现在我们先来讨论分析Google索引量下降的原因。
如果你的网页没有被收录、索引,这可能是Google不喜欢或无法轻松地抓取你的网页内容。因此,如果你的网页索引量出现下降,可能是以下几点原因:网站由于某种原因被Google处罚了;Google认为网页内容相关性差;Google无法抓取网页内容等等。
以下是一些诊断和恢复网页索引量的小技巧:
1、页面是否加载正常?
确保网页Http头信息状态码为200。
网站服务器是否经常或长时间停机?网站域名最近是否逾期或更新延迟?
解决方案:您可以使用一个免费的Http头状态检测工具来确定是否是正确的状态。对于大型网站,用于测试的常见工具有Xenu, DeepCrawl, Screaming Frog, or Botify。
正确的Http头信息状态码为200。有时会出现一些3xx(301除外),4xx,5xx等错误提示-这对于你希望被索引的URL来说,都不是好消息。
2、网页的URL最近是否发生改变?
有时候CMS(网站管理系统)、后端编程或是服务器设置的更改可能会导致域名、子域或文件夹的更改,从而可能会更改站点的URL。搜索引擎可能已经记住旧的URL,如果它们不能正确的重定向,许多页面可能就不会被编入索引了。
解决方案:为旧的URL建立副本使其能够以某种方式正常访问,从而你可以利用301重定向到相应的新的URL。
3、你是否解决了内容重复问题?
内容重复问题可以通过使用Canonical标签、301重定向、noindex标签,或者使用robots.txt文件来阻止内容重复的页面被抓取。这些措施都会导致网页索引量的下降。
这是一个索引量减少可能是件好事的典型例子。
解决方案:因为这对你的站点是有很大好处的,所以你唯一需要做的事情就是再次检查确定索引页面减少是这一原因而不是其他原因造成的。
4、网页是否加载超时?
由于高带宽高成本,因此一些服务器存在带宽限制,这些服务器可能需要升级。有时候问题与硬件有关,那么可以通过升级硬件处理器或是内存来解决。
当访客以一定速度访问的页面过多时,有些网站会屏蔽该访客的IP地址。这种设置是一种避免任何DDOS攻击的严格方法,但它也可能对你的站点产生负面影响。通常,当创建网站监控设置阈值太低,正常的搜索引擎机器人爬行可能会达到阈值,那么Googlebot将无法正确地爬行站点。
解决方案:如果是因为服务器带宽限制,那么可能你应该适当的升级服务器了;如果是服务器处理器或内存问题,除了升级硬件之外,还要检查是否可以通过一些服务器缓存技术来减少服务器的压力;如果有反DDOS软件,可以放松设置,或者不屏蔽Googlebot白名单。但是要注意一些虚假的Googlebot,要确保正确检测Googlebot。检测Bingbot也是类似的。