要查看日志上的IP是不是蜘蛛的抓取IP很容易,看日志后面的记录中有没有:spider字样。不过有时候是云锁、百度CDN等拦截的,你看不到这个IP的具体访问行为,这个时候,就想看看这个IP到底是不是真正的蜘蛛IP,有如下办法:
一,打开命令处理器,一般就是在电脑左下角“运行”中输入“cmd”:
二,输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip,比如我查询IP:220.181.108.187,那么输入nslookup 220.181.108.187即可:
可以看到出现了 baiduspider字样,说明这个IP是百度蜘蛛的IP。
补充:实际测试过程中发现,这个方法对百度蜘蛛比较有效,对谷歌蜘蛛就不怎么有效了,在文章中:百度CDN拦截到经常性CC攻击的IP用这个命令测试过!所以这个方法并不是通用有效的!