第1个回答 2010-01-04
现在的百度蜘蛛机器人决非以前的机器人了，貌似更聪明，爬行也更灵活多变，今天我们就用实例给大家谈谈。 一、爆发式爬行 不知百度蜘蛛是不是喜欢高效率的爬行，有时百度蜘蛛能在一两分钟内爬行几百次。比如我的站，天天基本上百度蜘蛛都会爆发式爬行几次，早上6点钟有一次大约爬行300次;上午9点钟的时候有一次也是爬行300多次;13点的时候也有一次，不过要少一点，只有200多次;18点的时候也有一次，大约会爬行400多次，23点的时候也有一次，大约只有250次。有时候，我查看具体爬行记录时，这些爆发式爬行基本上不会超过五分钟。有一次，我的站不知是哪个会事，百度蜘蛛在两分钟内爬行了1800多次，我当时就有点纳闷，百度蜘蛛机器人的运算速度可真是惊人。不过我现在基本上知是哪个会事了，由于蜘蛛机器人，它爬行一段时间过后，蜘蛛机器人在去运算程序，看是否是原来收录过的，是否是原创什么的，是否应该收录等等。 二、 确认式爬行 确认式爬行方式百度也是在9月底才开始试行，那么什么是确认式爬行呢，就是指你网站更新一个内容过后，百度第一次爬行过后，一定不会给你放出收录来，百度蜘蛛还要进行第二次爬行在运算、比较计算的，假如以为你这个更新内容有必要收录，百度蜘蛛会进行第三次爬行，正常情况下百度蜘蛛不会进行第四次爬行。第三次确认过后，百度蜘蛛就会慢慢的给你放出收录。 这种确认式爬行方式，就有点类似与谷歌的爬行方式。百度蜘蛛机器人爬行首页的方式还是同原来一样，一天不知要爬行多少次首页，其它页面，假如百度以为有必要进行计算的话，就会进行第二次确认爬行。比如我的站吧，我天天更新的内容，只要是百度蜘蛛机器人爬行了三次的，基本上都会放出收录来。爬行两次了的，都不会放出来。爬行四次的基本上没有看到过。 三、稳定式爬行 稳定式爬行，指的是天天24小时，每一个小时的爬行量相差不大。稳定式爬行往往是对新站才会出现，对于百度以为你站是成熟期的，假如出现了这种爬行方式，你可一定要小心了，这种爬行方式，你的站多半会被降权。第二天就能看出来，首页的快照日期，一定不会给你更新的。比如我的站aabc.cn，每一个小时内的爬行量，从图表中看出来都相差无几。所以这个站的首页基本上不会出现24小时快照。天天我更新的内容一样会收录一些。就比如一个人做任何事式的，没有了激情，也就没有了爆发力，当然不会卖力干事的，不卖力干事，你说效果会有多好。 以上说了这么多，大家可能有疑问了，百度蜘蛛来没有，我怎么知道，这个很简单你可以去查看服务器的记录日志。你假如查看不了记录日志的话，看一下网站后台有没有记录蜘蛛爬行记录的。给大家推荐一款源码露珠CMS，这个建站源码后台能比较清楚的记录各大搜索机器人的痕迹，有各个机器人来访的时间，来访的页面，对来访的具体数据作了分析，进行24小时时间段分析，对各个频道的分析，对你所加的内容的版块进行分析。对各大搜索机器人喜欢你网站的哪个频道，哪个版块都进行了分析，同时也给你提出了补救其它频道和版块的建议，哪个时间加内容收录最快等等。 综上所述，百度蜘蛛对每一个网站的爬行规律是不一样的，只有我们自己认真的比对分析，才能总结出更加完美的更新网站的方式，只有我们把握了百度蜘蛛的一些规律，我们更新内容才能有的放矢。
第2个回答 2015-12-03
现在的百度蜘蛛机器人决非以前的机器人了，貌似更聪明，爬行也更灵活多变，今天我们就用实例给大家谈谈。 一、爆发式爬行 不知百度蜘蛛是不是喜欢高效率的爬行，有时百度蜘蛛能在一两分钟内爬行几百次。比如我的站，天天基本上百度蜘蛛都会爆发式爬行几次，早上6点钟有一次大约爬行300次;上午9点钟的时候有一次也是爬行300多次;13点的时候也有一次，不过要少一点，只有200多次;18点的时候也有一次，大约会爬行400多次，23点的时候也有一次，大约只有250次。有时候，我查看具体爬行记录时，这些爆发式爬行基本上不会超过五分钟。有一次，我的站不知是哪个会事，百度蜘蛛在两分钟内爬行了1800多次，我当时就有点纳闷，百度蜘蛛机器人的运算速度可真是惊人。不过我现在基本上知是哪个会事了，由于蜘蛛机器人，它爬行一段时间过后，蜘蛛机器人在去运算程序，看是否是原来收录过的，是否是原创什么的，是否应该收录等等。 二、 确认式爬行 确认式爬行方式百度也是在9月底才开始试行，那么什么是确认式爬行呢，就是指你网站更新一个内容过后，百度第一次爬行过后，一定不会给你放出收录来，百度蜘蛛还要进行第二次爬行在运算、比较计算的，假如以为你这个更新内容有必要收录，百度蜘蛛会进行第三次爬行，正常情况下百度蜘蛛不会进行第四次爬行。第三次确认过后，百度蜘蛛就会慢慢的给你放出收录。 这种确认式爬行方式，就有点类似与谷歌的爬行方式。百度蜘蛛机器人爬行首页的方式还是同原来一样，一天不知要爬行多少次首页，其它页面，假如百度以为有必要进行计算的话，就会进行第二次确认爬行。比如我的站吧，我天天更新的内容，只要是百度蜘蛛机器人爬行了三次的，基本上都会放出收录来。爬行两次了的，都不会放出来。爬行四次的基本上没有看到过。 三、稳定式爬行 稳定式爬行，指的是天天24小时，每一个小时的爬行量相差不大。稳定式爬行往往是对新站才会出现，对于百度以为你站是成熟期的，假如出现了这种爬行方式，你可一定要小心了，这种爬行方式，你的站多半会被降权。第二天就能看出来，首页的快照日期，一定不会给你更新的。比如我的站aabc.cn，每一个小时内的爬行量，从图表中看出来都相差无几。所以这个站的首页基本上不会出现24小时快照。天天我更新的内容一样会收录一些。就比如一个人做任何事式的，没有了激情，也就没有了爆发力，当然不会卖力干事的，不卖力干事，你说效果会有多好。 以上说了这么多，大家可能有疑问了，百度蜘蛛来没有，我怎么知道，这个很简单你可以去查看服务器的记录日志。你假如查看不了记录日志的话，看一下网站后台有没有记录蜘蛛爬行记录的。给大家推荐一款源码露珠CMS，这个建站源码后台能比较清楚的记录各大搜索机器人的痕迹，有各个机器人来访的时间，来访的页面，对来访的具体数据作了分析，进行24小时时间段分析，对各个频道的分析，对你所加的内容的版块进行分析。对各大搜索机器人喜欢你网站的哪个频道，哪个版块都进行了分析，同时也给你提出了补救其它频道和版块的建议，哪个时间加内容收录最快等等。 综上所述，百度蜘蛛对每一个网站的爬行规律是不一样的，只有我们自己认真的比对分析，才能总结出更加完美的更新网站的方式，只有我们把握了百度蜘蛛的一些规律，我们更新内容才能有的放矢。
第3个回答 2016-12-13
主机的IIS日志里面可以查看。1. Google爬虫名称 1） Googlebot：从Google的网站索引和新闻索引中抓取网页 2） Googlebot-Mobile针对Google的移动索引抓取网页 3） Googlebot-Image：针对Google的图片索引抓取网页 4） Mediapartners-Google：抓取网页确定 AdSense 的内容。只有在你的网站上展示 AdSense广告的情况下，Google才会使用此漫游器来抓取您的网站。 5） Adsbot-Google：抓取网页来衡量 AdWords 目标网页的质量。只有在你使用 Google AdWords为你的网站做广告的情况下，Google才会使用此漫游器。 2. 百度（Baidu）爬虫名称：Baiduspider 3. 雅虎（Yahoo）爬虫名称：Yahoo Slurp 4. 有道（Yodao）蜘蛛名称：YodaoBot 5. 搜狗（sogou）蜘蛛名称：sogou spider因为咱们国内比较关注百度所以我们来分下百度的蜘蛛，从刚刚记录的日志搜索“Baiduspider+“选取一段00:00:06 GET