一、页面更新度。
蜘蛛每次爬行都会把页面数据存储起来。如果第二次爬行发现页面与第一次收录的完全一样,说明页面没有更新,多次抓取后,蜘蛛会对页面更新频率有所了解,不经常更新的页面,蜘蛛也就没有必要经常抓取了。像我的网站爱起航登报网有个栏目经常每天更新1-3篇文字,蜘蛛就对这个栏目抓取的很快,几乎是第二天就放出来快照了,而有的栏目更新的比较慢,就算更新了,蜘蛛也不会很快的给抓取了。
二、导入链接。
无论是外部链接还是同一个网站的内部链接,要是被蜘蛛抓取,就必须要有导入链接进入页面,否则蜘蛛根本没有机会知道这个页面的存在。高质量的导入链接也经常会使导出链接被爬行深度增加。下面的文章发布了,几乎很少有蜘蛛爬去,我就给从外部导入几个链接,让蜘蛛有个渠道可以爬取。
三、与首页的点击距离。
一般来说网站权重最高的是首页,大部分链接是指向网站首页,蜘蛛爬的最快的也是首页,所以我首页的文章更新的就比较快,而蜘蛛抓取的也快。