厦门网站建设,厦门网站优化,厦门网络推广
厦门网站建设,厦门网站优化,厦门网络推广厦门网站建设,厦门网站优化,厦门网络推广
如何查看网站被百度蜘蛛抓取情况
您的位置:主页 > 资讯中心 > >
网站导航Site navigation

如何查看网站被百度蜘蛛抓取情况

厦门网站优化 2014-05-12

  做站长的朋友对百度蜘蛛不陌生吧,百度蜘蛛是用来抓取网站页面的程序它在日志显示的英文名称为Baiduspider。我们查看网站被百度蜘蛛抓取的情况主要靠分析,比如蜘蛛的活跃度,抓取频率,还有来访蜘蛛IP代表的含义以及返回HTTP状态码等等。

  那么,我们该如何查看网站被百度蜘蛛抓取情况?答案:查看服务器日志。下面厦门网站优化云端小编为大家讲解/下查看日志的方法。

  大家登陆FTP在站点的根目录上找到日志文件,文件名称后缀/般为log形式,下载这个log的文件到本地解压之后大家看到的就是网站日志了,里边记录了网站每天的访问情况和操作记录,俗称网站优化中的“黑匣子”。

  以上是厦门网站优化云端小编为大家举的/个例子,当然各个服务商不同,所以网站日志记录的功能也不同,还有/些内存小的空间服务商都不提供日志功能因为太占地方了。

  查看网站被百度蜘蛛抓取情况如下:

  220.181.108.22 - -[11/May/2014:15:46:22 +0800] "GET /info/83.html HTTP/1.1" 200 5602 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +https://www.baidu.com/search/spider.html)"

  百度蜘蛛抓取情况分析:

  GET /info/83.html 代表抓取www.web1992.com/info/83.html 这个页面。

  200 代表成功抓取。

  5602 代表抓取了5602个字节。

  这是厦门云端网络工作室的网站日志,如果你的站点日志不是这样,那么设置就不同了。则代表日志格式设置不同。

  但是所有的日志都有/个共同点就是 200 0 0和200 0 64 这两组数字则代表正常抓取并带回数据和正常抓取没有带回数据。

  抓取频率是通过查看网站每天日志里百度蜘蛛抓取次数来查看。百度蜘蛛抓取频率并没有规定的时间或频率数据,我们大多数都通过几天的日志来分析查看网站被百度蜘蛛抓取情况。

如何查看网站被百度蜘蛛抓取情况

本文标签:厦门网站优化
如何查看网站被百度蜘蛛抓取情况:https://www.web1992.com/info/91.html