在企业网站建设推广的过程中，会出现这样的问题：有些小型企业网站，流量固定，但是百度蜘蛛爬去的很频繁，造成N多流量被蜘蛛占用，怎么限制它？或者用别的什么标签语句限制？

我们查证了很多网站资料，分析得出以下结论：正常情况下，百度蜘蛛Baiduspider对一个网站的抓取频率决定于这个网站产出新内容的速度。一个小型的企业网站的抓取频率远高于新内容产出速度，通常会是下面这两种问题有中的一个：

第一，企业建设网站的时候，网站程序有漏洞，产生了无穷尽的url，被Baiduspider当成了很多新内容而频繁的抓取。建议分析网站的访问日志，看看Baiduspider所抓取的内容是否是你想让百度收录的，如果不是则建议修改网站程序或者用robots协议禁止Baiduspider抓取这部分内容。

第二，在网站推广的过程中，有其他程序冒充Baiduspider抓取。建议在linux下用host ip命令反解ip来判断Baiduspider的抓取是否冒充，Baiduspider的hostname以*.baidu.com的格式命名。