前段时间,我在一个网站上,通过采集方式,发布了几百篇文章,最开始几天,百度蜘蛛抓取次数并不高,但今天查看数据,昨天的百度蜘蛛抓取次数飙升:
从平时的100多次(有时候100次都不到)直接飙升到572次抓取,直接是以前的3-5倍。
而这个时间段,我并没有给网站发过任何外链,或者提交过什么网站链接。百度也从来没有如此频繁的抓取过我的这个网站。
由此可见,导致百度蜘蛛抓取频繁的原因,就是百度突然发现了网站的大量新链接,从而调配了大量的蜘蛛来抓取。
虽然如此,9月17号这天的索引记录并没有增加很多。我个人观察,索引记录数据比较缓慢,明天再次观察看看索引记录是不是暴增:
值得注意的是:网站文章增加了,但是蜘蛛可能并不能马上发现,可能要过几天,比如我一个网站平时只有3次左右抓取(这个网站就几篇文章),我12号一天增加了9篇文章,但是蜘蛛到15号才增加抓取量,增加到了12次,16号是10次,17号是6次。索引量在15号增加了4篇,16号增加了3篇。
9月19号补充:今天可以查看昨天也就是9月18号的百度索引等记录,发现昨天索引增加了14条,并没有因为17号的疯狂抓取而导致索引量剧增。但还是增加了,说明只要蜘蛛抓的多,收录的可能性还是会更大的。
与此同时,我还在另外一个网站增加了自动推送到百度搜索引擎的JS代码,这个代码在百度站长平台可以看到,增加到网站源码里面以后,当有用户访问点开这个页面时,这个JS代码就会自动把这个网站的链接推送给百度搜索引擎。但是没有见到抓取量增加什么。可以说基本没变化。
可见,虽然有提交链接的方式,但这种方式,百度蜘蛛基本不怎么搭理的。