厦门网站建设,厦门网站优化,厦门网络推广
厦门网站建设,厦门网站优化,厦门网络推广厦门网站建设,厦门网站优化,厦门网络推广
网站不被蜘蛛爬取的原因
您的位置:主页 > 资讯中心 > >
网站导航Site navigation

网站不被蜘蛛爬取的原因

厦门网站优化 2014-07-04

  对于刚刚上线的网站来说,百度蜘蛛对该网址还是比较新鲜的也是比较容易被蜘蛛进行爬行和收录的。但是/段时间过去,新网站始终没有被百度蜘蛛进行爬行,那么就得看看厦门网站优化小编和大家分析/下网站不被蜘蛛爬取的原因了。

  通常情况下网站不被蜘蛛爬取的原因有两种,/种是:网站屏蔽了蜘蛛爬行;另/种是:网站被蜘蛛屏蔽了。

  /、网站屏蔽了蜘蛛爬行

  因为自己的网站屏蔽了蜘蛛爬行,百度蜘蛛当然不能来抓取自己网站了。

  1./先我们要检测自己的网站robots.txt文件,看看文件的书写是否正确,是否有大小写混乱的情况出现,是否建站初期的时候有屏蔽所有蜘蛛的爬行的指令忘记修改了。正常情况下robots.txt检测的事情就直接交给站长工具检查就可以了

  2.服务器商是否屏蔽了蜘蛛的爬行。别认为这事不可能,当初主机屋,就误把百度蜘蛛当成黑客攻击给屏蔽了,不懂导致多少人被K站。如果是主机商屏蔽了蜘蛛的爬行尽早换主机吧,时间等不起。

  二、网站被蜘蛛屏蔽了

  1.查看自己的域名以前的主人,看看域名以前是否做了违法的站点。如果是的话那么蜘蛛不爬是完全有道理的,就好比Maas以前论坛那个域名以前是做liuhecai站的。至今搜狗和谷歌蜘蛛压根没来过。

  2.查看下自己同服务器的站点,是否有非常严重违规的作弊行为,若有的话,搜索引擎很有可能屏蔽整条IP的站点,为了自己的网站发展健康还是选择独立IP的服务器吧。

  厦门网站优化小编提醒:如果发现自己网站的爬行日志压根没出现蜘蛛来访,那么我们就应该考虑自己的站点是否出现以上的情况,应该及时的清理。然后向相关的搜索引擎提交,或者利用高质量的外链引导蜘蛛爬行。

百度蜘蛛

本文标签:厦门网站优化
网站不被蜘蛛爬取的原因:https://www.web1992.com/info/193.html