网站上线后首先要做的就是提交网址给搜索引擎,搜索引擎收到网址的请求后,并会安排蜘蛛对网站进行抓取,但是不尽人意的是蜘蛛总是不能对网站进行充分收录,网站的实际收录率非常低,到底是什么原因导致网站不能被充分收录,是网站结构问题、是网站权重问题、还是网站优化问题?以下是个人对此原因的一些见解。

第一:robots.txt文件屏蔽。在分析网站日志时发现蜘蛛每天都会在网站抓取,但是网站依然是收录不充分,这时我们很有必要检测网站的robots文件,站长们都知道蜘蛛来网站抓取时,首先会检索网站是否存在robots文件,查看网站是否已经存在不需要抓取的页面,看文件中是否阻止了网站中某部分内容,很多站长因为不会正确的写robots文件,导致网站不能被充分的收录。

对于很多新手站长不知道如何写文件,可以利用百度站长工具robots文件功能,可以检测你的文件写法是否正确,或者可以直接帮你生成文件,需要你填写屏蔽的文件路径即可。如下面的例子:

User-agent: *

Disallow: /news / 不允许所有的搜索引擎抓取news路径下的内容

如果某网站上添加了上面的文件,蜘蛛并不会抓取网站上在news路径下的内容,网站在news目录下更新的文章永远不会被收录,网站更新再多的文章,访问日志中蜘蛛每天都来抓取,但是对于这些内容还是不会给予收录。

对于网站来说news下的内容是很重要的,这样错误的robots文件便是网站不能被充分收录的幕后黑手。

第二: robots meta标签禁止,网站在诊断的过程中,发现网站的实际收录率很低,网站有的栏目页可以被收录完整,但是有的栏目页更新原创的文章,也不会被收录,之后在检查网站代码时才发现,页面上使用了noindex标签告诉蜘蛛不允许索引这个页面,显然保护这段代码的栏目页不会被收录,更新的内容即使质量再高也不会被抓取。

同时,nofollow标签告诉蜘蛛此页面上的链接不传递权重,如果网站上的页面链接都带有nofollow,那这就是明显的告诉搜索引擎此页面没有任何价值。如果你的站遇到不能被充分收录,检查下meta标签,是否存在错误的标签。