|
推广知识 |
凤巢网络分析IIS日志中的搜索引擎爬虫痕迹 |
公司经验:可能很多SEO新手朋友还找不到网站日志该在哪里看,这个是需要在IIS服务器进行配置的哦,把步骤列出来,想想聪明的你很快就能学会: 第一个步骤:打开IIS服务器。选择所要设置的网站属性。选择“启用日志记录”,勾选,选择“W3C扩展日志文件格式”。 第二步骤:点击“W3C扩展日志文件格式”后面的“属性”按钮,常规选项里面,选择新日志计划为“每天”,当然也可以选择其他,选择好保存日志文件的目录。(注:日志文件最好跟你要设置的网站放在一个目录内,避免和其他网站日志混淆) 第三个步骤:选择高级选项。勾选底下的用户代理(cs(User-Agent))等选项,我一般都将最下面的三个选项勾选起来。这样,你才可以看到百度等爬虫的名称。 第四个步骤:选择名为“主目录”的选项卡,勾选“记录访问”的复选框即可。这样你的IIS日志就开始正常记录了。 如何分析网站IIS日志中的搜索引擎爬虫轨迹,这是很多新手SEOer放在心里的一个疑问。网站建设中心又来给您支招了! 假如你要搜索百度的爬虫,那么就直接在保存记录的文本文档上搜索“Baiduspider”,我们节选以下一行来做详细的分析: 2011-02-2713:02:40W3SVC321222.73.86.227GET/index.html-80-61.135.168.39Baiduspider+(+http://www.baidu.com/search/spider.htm)200064--www.shengfei.net 这段IIS日志代码表示:在2011-02-2713:02:40这个时间,百度搜索引擎的蜘蛛(ip地址为61.135.168.39,后面的http://www.baidu.com/search/spider.htm是关于Baiduspider+的相关问题)访问了服务器ip为222.73.86.227的网站www.shengfei.net,并且抓取了首页/index.html,该日志记录保存在W3SVC321文件夹。其中,两个地方值得说明: 一是各大搜索引擎爬虫(蜘蛛)的名称整理如下,大家可以对号入座: 1.Google爬虫名称 1.1Googlebot:从Google的网站索引和新闻索引中抓取网页 1.2Googlebot-Mobile针对Google的移动索引抓取网页 1.3Googlebot-Image:针对Google的图片索引抓取网页 1.4Mediapartners-Google:抓取网页确定AdSense的内容。只有在你的网站上展示AdSense广告的情况下,Google才会使用此漫游器来抓取您的网站。 1.5Adsbot-Google:抓取网页来衡量AdWords目标网页的质量。只有在你使用GoogleAdWords为你的网站做广告的情况下,Google才会使用此漫游器。 2.百度(Baidu)爬虫名称:Baiduspider 3.雅虎(Yahoo)爬虫名称:YahooSlurp 4.有道(Yodao)蜘蛛名称:YodaoBot 5.搜狗(sogou)蜘蛛名称:sogouspider 6.MSN的蜘蛛名称:Msnbot 其他的搜索引擎我们使用得很少,就不需要理会了。 二是代码中的200表示搜索引擎蜘蛛爬行后返回HTTP的状态代码,代表成功爬行并抓取。 各个数字代码的具体意思参见如下: 2xx成功 200正常;请求已完成。 201正常;紧接POST命令。 202正常;已接受用于处理,但处理尚未完成。 203正常;部分信息—返回的信息只是一部分。 204正常;无响应—已接收请求,但不存在要回送的信息。 3xx重定向 301已移动—请求的数据具有新的位置且更改是永久的。 302已找到—请求的数据临时具有不同URI。 303请参阅其它—可在另一URI下找到对请求的响应,且应使用GET方法检索此响应。 304未修改—未按预期修改文档。 305使用代理—必须通过位置字段中提供的代理来访问请求的资源。 306未使用—不再使用;保留此代码以便将来使用。 4xx客户机中出现的错误 400错误请求—请求中有语法问题,或不能满足请求。 401未授权—未授权客户机访问数据。 402需要付款—表示计费系统已有效。 403禁止—即使有授权也不需要访问。 404找不到—服务器找不到给定的资源;文档不存在。 407代理认证请求—客户机首先必须使用代理认证自身。 410请求的网页不存在(永久); 415介质类型不受支持—服务器拒绝服务请求,因为不支持请求实体的格式。
5xx服务器中出现的错误 500内部错误—因为意外情况,服务器不能完成请求。 501未执行—服务器不支持请求的工具。 502错误网关—服务器接收到来自上游服务器的无效响应。 503无法获得服务—由于临时过载或维护,服务器无法处理请求。 |
发布时间:2011-03-03 10:56:13 |
点击率:2159 |
「返回上一页」 |
|
|
|