用户提问:我们有一个网页3000多行中文+英文,快照显示不完整,通过站长平台模拟抓取(注:这位同学指的是抓取诊断工具:http://zhanzhang.baidu.com/crawltools/index),文字也显示不完整,对网站影响会不会很大?
百度工程师进问答:
第一个问题:百度对网页内容多少大小有限制吗?
答:对内容文字多少没有限制,但源码大小上有一定的防制,过长的话,会取前面一部分,所以,源码还是越简洁越好
第二个问题:如果快照显示网页不完整,是不是说明BaiduSpider没有完整收录网页?
答:不是的,快照的成生涉及很多环节,显示不完整的原因会很多,不能简单地认为没有收录完整。
第三个问题:使用平台抓取断工具也不能完整显示,是不是就可以认为没有收录完整了?
答:不是的,工具只展示前200K。我们设计工具的时候对网页做过调研,一般来说展示前100K就够用了。
第四个问题:百度是否要求网页上不能有什么特殊字符?
答:没有这个限制。