网站日志中真假蜘蛛判断

网站日志中真假蜘蛛判断

作者:max |  时间:2015-04-17 |  浏览:1001 |  0 条评论

seo网站优化工作中分析网站日志是必不可少的,网站日志可以帮助我们分析出蜘蛛的爬行的情况,更深一步的说可以分析蜘蛛对我们网站内容的喜好程度,以帮助我们日后对于网站内容的更新。

在分析网站日志的时候会经常看到Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)来爬行抓取我们的网页,相信很多站长都以为是百度蜘蛛来到了我们的网站。

其实不然,诸如站长工具或者一些采集程序,会冒充百度蜘蛛来爬行我们的网站,例如你每天在通过站长工具查询网站数据时的模拟蜘蛛,也就是我们所说的“假蜘蛛”,网站日志上不难发现BaiDu Spider 停留时间为0,极有可能就是“假蜘蛛”所造成的。

那么我们在做网站seo优化时怎么判断爬行我们网站的是不是真正的百度蜘蛛呢?下面武汉seo阿杰简要总结一下判断真假蜘蛛方法:

我们可以用Windows自带的命令行命令tracert(路由跟踪实用命令,用于确定ip数据包访问目标)来判断是否只真正的百度蜘蛛。

首先查看日志里百度蜘蛛的ip(例如123.125.71.32)记录下来,点击开始运行,输入cmd,打开命令行,然后输入tracert 123.125.71.32,得到以下结果:

网站日志真假蜘蛛判断

如果里面有类似于crawl.baidu.com的内容,那么说明就是真正的百度蜘蛛BaiDu Spider。

武汉seo阿杰经过查询总结发现,ip范围在220.181.108.11 ~ 220.181.108.210 和123.125.71.11 ~ 123.125.71.161之间的都是真正的百度蜘蛛IP。

这样记录下常见的百度蜘蛛ip,方便我们在做网站seo优化分析日志里的是否真正的百度蜘蛛。

相关推荐
更多

关键字排名查询工具
Posted on 05月27日
搜索引擎蜘蛛的优先抓取策略
Posted on 07月03日
seo技巧之内链优化技巧
Posted on 04月23日
seo策略之时间策略
Posted on 04月03日