首页 > 网站优化

如何正确的识别百度蜘蛛Baiduspider

2017-09-25 zhangli 0 0 阅读需要2-5分钟

　　经常听到站长们问，百度蜘蛛是什么?最近百度蜘蛛来的太频繁服务器抓爆了，最近百度蜘蛛都不来了怎么办，还有很多站点想得到百度蜘蛛的IP段，想把IP加入白名单，但IP不固定，我们无法对外公布。

那怎么才能识别正确的百度蜘蛛呢？来来来，只需两步，教你正确识别百度蜘蛛

1、查看UA，如果UA都不对，可以直接判断非百度搜索的蜘蛛，目前对外公布过的UA是：

移动

　　:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

PC UA

　　:Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

新增渲染UA:

移动UA

　　：Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

PC UA

　　：Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

2、反查IP

　　站长可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎。根据平台不同验证方法不同，如linux/windows/os三种平台下的验证方法分别如下：

*.baidu.com

　　1)、在linux平台下，您可以使用hostip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以或的格式命名，非*.baidu.com或*.baidu.jp即为冒充。

*.baidu.com

　　2)、在windows平台或者IBMOS/2平台下，您可以使用nslookupip命令反解ip来判断是否来自Baiduspider的抓取。打开命令处理器输入nslookupxxx.xxx.xxx.xxx(IP地址)就能解析ip，来判断是否来自Baiduspider的抓取，Baiduspider的hostname以或的格式命名，非*.baidu.com或*.baidu.jp即为冒充。

*.baidu.com

　　3)、 在macos平台下，您可以使用dig命令反解ip来判断是否来自Baiduspider的抓取。打开命令处理器输入digxxx.xxx.xxx.xxx(IP地址)就能解析ip，来判断是否来自Baiduspider的抓取，Baiduspider的hostname以或的格式命名，非*.baidu.com或*.baidu.jp即为冒充

点赞 () 收藏 4

相关标签

相关文章

网站日志百度蜘蛛分析之状态码200 301 404

网站日志百度蜘蛛分析之状态码200 301 404

2016-01-09

  • 网站文章阅读时长JS代码

    <div class="T-time">您阅读这篇文章共花了:<span class="T-time" id="stime"></span></div><script language="JavaScript">var ss=0,mm=0,hh=0;function TimeGo(){ss++;if

  • 《百度搜索页面质量标准》

    为了帮助广大开发者们生产优质的内容页面，获得更多搜索用户的青睐，我们特地发布了《百度搜索页面质量标准》，对优质内容标准进行了重新定义。并基于优质内容的特征，拆解不同的场景和资源类型，给出了更加详细具体的页面质量标准。开发者们可以通过标准不断丰富自己的内容，优化页面质量，获得更多权益。

  • 免费网站seo在线工具网址大全

    为了做网站优化更加方便，特别收集了下面这些在线优化工具，有了他们可以更好的辅助你做好网站优化工作。关键字挖掘工具： （1）5118在线关键字挖掘工具需要注册，免费版本智能挖掘100

  • 百度优化之品牌主页的排名弱于品牌介绍页面干货分析

    我有一个网站网站里每个品牌都有品牌主页(品牌关键字锚文本指向的页面)，品牌介绍，品牌导购，品牌图片，品牌视频，品牌网店，品牌产品，品牌专柜，品牌网店，品牌真假，这些页面所有的标题title都是品牌名开头的，但是我发现大量品牌词排名最好的页面往往都是出现在品牌介绍页面里，少量会出现在品牌主页里。

  • Google搜索Your page is not mobile-friendly问题分析和解决方案

    Your page is not mobile-friendly。　　个人的行业门户网站美容仪之家在百度里面site:www.imeirongyi.com后，google的搜索结果提示如下图所示，所有页面搜索结果页面下面都有

  • 百度和360搜索引擎智能摘要

    　　现在的搜索引擎在搜索后会有各种形式的信息展现方式，如下图，而要获得这些智能 的摘要方式，自然需要提交不同的文件，目前百度和360已经开放了，今天我们就要介绍下这个智能摘要

  • 火车头采集器标签内容替换功能

    火车头常规的有一个内容替换功能，就是设定好一个个要替换和被替换的词，程序会帮你去替换，但是其实还有更高级的标签替换功能：

  • 火车头采集器7.6版本自动退出的解决方法

    解决火车头采集器7.6版本自动退出的解决方法，核心原因是它有一个自动连接远程服务器校验的功能，所以当它无法叫研究会自动关闭。

  • SEO工具之firefox优化SEO插件

    章力下面介绍一些firefox优化SEO插件，firefox不但是做网站的好工具，也是做优化的好工具，它跟WordPress一样，拥有非常丰富的插件与扩展，只要你能想到的功能，就有人能够帮你实现。

  • REL NOFOLLOW标签用法和含义

    什么是rel nofollow标签呢?如何使用rel nofollow标签?Google发现超链接中含有该属性(“rel=nofollow”)，这类链接不会被作为某站点在搜索结果排名中的评价依据

  • 百度排名优化关键字优化方案

    　　最近看了一些大型网站的优化技术，研究了一下，发现确实厉害所有关键字都是百度第2(百度自家产品有啊第1)，非常稳定，，所以也想实战一下他们的优化方案的效果如何，是否能使用在中

  • 如何博客养站 打造高质量博客外链

    　　博客养站是广大SEOer中较为常用且投入低廉的一种操作手段，博客养站的原理也很简单，就是利用博客给网站输送高质量且稳定的外链和锚文本链接，以期达到影响搜索引擎排名的效

  • 《百度搜索页面质量标准》

    为了帮助广大开发者们生产优质的内容页面，获得更多搜索用户的青睐，我们特地发布了《百度搜索页面质量标准》，对优质内容标准进行了重新定义。并基于优质内容的特征，拆解不同的场景和资源类型，给出了更加详细具体的页面质量标准。开发者们可以通过标准不断丰富自己的内容，优化页面质量，获得更多权益。

  • 百度优化之品牌主页的排名弱于品牌介绍页面干货分析

    我有一个网站网站里每个品牌都有品牌主页(品牌关键字锚文本指向的页面)，品牌介绍，品牌导购，品牌图片，品牌视频，品牌网店，品牌产品，品牌专柜，品牌网店，品牌真假，这些页面所有的标题title都是品牌名开头的，但是我发现大量品牌词排名最好的页面往往都是出现在品牌介绍页面里，少量会出现在品牌主页里。

  • 网站URL优化技巧域名、结构、相关性

    　　网站URL的优化也是网站优化中的一部分，网站优化就是要掌握和优化好网站的每个细节，这样才能最后获得最好的优化结果。但是想在很多朋友在优化中 都忽视了这一点URL的优化，

  • 如何提高网站权重的要素

    　　网站权重是什么呢，我们又该如何提高网站权重，它的要素又在那里呢?　　章力认为提高网站权重大小其实多数时候都是可以人为控制的，侧重点在于页面的链接!针对与一个网站来说

  • 如何做好网站反向链接技巧和注意事项

    　　反向链接，对于做seo的人来说做是在网站推广时经常谈的一个话题，好的反向链接可以让你的网站有很好的排名，同时可以改变很多东西。章力对网站排名研究的比较多，趁着这个机会，

  • 免费网站seo在线工具网址大全

    为了做网站优化更加方便，特别收集了下面这些在线优化工具，有了他们可以更好的辅助你做好网站优化工作。关键字挖掘工具： （1）5118在线关键字挖掘工具需要注册，免费版本智能挖掘100

  • 网站内部链接优化技巧和重点

    　　网站内部链接对于网站优化也非常的重要，而内部链接优化优化技巧有哪些呢，其实就是网站内的导航、面包屑导航，底部、网页内的锚文本、标签等等。网站内部链优化做的好，会提升

  • 移动搜索优化URL设置要求

    搜索引擎为了给用户良好的体验，在移动搜索中对网站有不同的要求，用户在手机上不能轻松浏览/使用的网站，搜索引擎不会在移动搜索中给与好的排名。移动搜索一般指的是手机搜索，而/PAD/平板电脑类设备同样被视为PC，因为尺寸和用户体验更靠近PC。

  • 网站更换服务器空间后网站排名情况！

    　　百度排名优化，杭州旅游网和网络营销推广博客都更换了服务器，其中后面2个网站从国外的godaddy空间还回到国内的空间里，而百度排名优化还是房子啊国外的空间，换到了朋友的老鹰

  • 做好网站优化的30点技巧

    　　一个好的网站优化人员，毕竟要来了解下面的30条对搜索引擎非常优化的方法，只有做好这些，才能让搜索引擎喜欢你，才能让你的网站优化的好。

  • seo网站内容建设思考点

    针对依靠SEO起家的网站，对SEO有正面作用的内容就是好的，有没有正面作用，就是没有价值的。这类网站主要为搜索引擎，没有搜索引擎就没有流量，因为搜索引擎力争把对用户最有价值的内容优先呈现出来，所以此类网站除了考虑搜索引擎还要考虑用户的需求。

  • 如何交换好的友情链接和二级域名的探讨

    　　最近一段时间一直交换链接为主，在交换链接的时候发现国内有那么多的SEOER可真的让人揪心，什么原因呢，每次去拿不是www.的域名网站去交换链接，等到往往的是一个答复,二级域名

热门信息

全部排行

热门标签

wordpress 长尾关键字 百度联盟 百度快照 长尾关键词 网站权重 网站日志 友情链接 spider 百度排名优化 网站关键字 移动搜索优化 百度排名算法 用户需求 火车头采集器 网站关键词 网站地图sitemap 网站内链 baiduspider robots.txt

分类标签

#帝国cms灵动标签

9篇细节

#wdcp

5篇细节

#adsense

5篇细节

#wordpress

5篇细节

#软文

4篇细节

#长尾关键字

4篇细节

#搜索引擎蜘蛛

3篇细节

#https

3篇细节

#老鹰主机

3篇细节

#百度联盟

3篇细节

#网站关键词

2篇细节

#spider

2篇细节

目录

广告

关于我们

大章力10年来专注于互联网网络营销(SEM、SEO、企业和行业网站建设、网站前端、帝国cms等)和电商电商运营推广(淘宝天猫运营、推广营销、会员营销、产品策划、行业分析)研究。

功能页面

热门栏目

热门频道

网站数据

  • 404篇文章
  • 0 个专题
  • 59 个标签
  • 始建于2010年5月
Copyright © 2010-2020 大章力 浙ICP备17006130号-14
TOP