代码之家(www.adminjie.com)精品网站源码,微信源码,游戏源码分享平台。《交流群:1037940574》

网站如何快速识别百度蜘蛛?

时间:2020-05-20[站长新闻]作者:adminjie浏览:30 次

经常听到开发者问,百度蜘蛛是什么?最近百度蜘蛛来的太频繁服务器抓爆了!最近百度蜘蛛都不来了怎么办?还有很多站点想得到百度蜘蛛的IP段,想把IP加入白名单,但IP地址范围动态变化不固定,我们无法对外公布。

那么如何才能识别正确的百度蜘蛛呢?今日干货带你轻松两步正确识别百度蜘蛛:

网站如何快速识别百度蜘蛛?

一、查看UA信息

如果UA信息不对,可以直接判断为非百度搜索的蜘蛛。目前UA分为移动、PC、和小程序三个应用场景,这三个渠道UA分别如下:

移动UA:

Mozilla/5.0(Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko)Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)

PC UA:

Mozilla/5.0(compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

Mozilla/5.0(compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

小程序UA:

Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)

二、双向DNS解析认证

第一步:DNS反查IP

开发者通过对日志中访问服务器的IP地址运行反向DNS查找,判断某只spider是否来自百度搜索引擎,Baiduspider的hostname以*.baidu.com或*.baidu.jp 的格式命名,非*.baidu.com或*.baidu.jp即为冒充。

根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:

1).在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。

2).在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地址)就能解析ip,来判断是否来自Baiduspider的抓取。

3).在macos平台下,您可以使用dig命令反解ip来判断是否来自Baiduspider的抓取。打开命令处理器输入dig -x xxx.xxx.xxx.xxx(IP地址)就能解析ip,来判断是否来自Baiduspider的抓取。

第二步:对域名运行正向DNS查找

对第一步中通过命令检索到的域名运行正向DNS查找,验证该域名与您日志中访问服务器的原始IP地址是否一致,IP地址一致可确认spider来自百度搜索引擎,IP地址不一致即为冒充。

示例1:

> host 111.206.198.69

69.198.206.111. in-addr.arpa domain name pointer baiduspider-111-206-198-69.crawl.baidu.com.

> host baiduspider-111-206-198-69.crawl.baidu.com

baiduspider-111-206-198-69.crawl.baidu.com has address 111.206.198.69


转载请注明来源:网站如何快速识别百度蜘蛛?

本文永久链接地址:https://www.adminjie.com/post/2541.html

免责声明:
本站所发布的一切资源仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。本站信息来自网络,版权争议与本站无关。您必须在下载后的24个小时之内,从您的电脑中彻底删除上述内容。如果您喜欢该程序,请支持正版软件,购买注册,得到更好的正版服务。

附:
二○○二年一月一日《计算机软件保护条例》第十七条规定:为了学习和研究软件内含的设计思想和原理,通过安装、显示、传输或者存储软件等方式使用软件的,可以不经软件著作权人许可,不向其支付报酬!鉴于此,也希望大家按此说明研究软件!

版权声明:
一、本站致力于为软件爱好者提供国内外软件开发技术和软件共享,着力为用户提供优资资源。
二、本站提供的部分源码下载文件为网络共享资源,请于下载后的24小时内删除。如需体验更多乐趣,还请支持正版。
三、我站提供用户下载的所有内容均转自互联网。如有内容侵犯您的版权或其他利益的,若有侵犯你的权益请:点此维权 站长会进行审查之后,情况属实的会在三个工作日内为您删除。

  • 代码之家会员升级
  • 最新文章
    • 微信开始严打微信号租借行为

      微信开始严打微信号租借行为

      继开展打击账号解封行为之后,微信又开始大力整治微信号出租借用行为,今年微信是彻底跟号商杠上了!了解到,有部分网络黑灰产群体,自己养的微信号营销和违规使用被封之后...

    • 网站如何快速识别百度蜘蛛?

      网站如何快速识别百度蜘蛛?

      经常听到开发者问,百度蜘蛛是什么?最近百度蜘蛛来的太频繁服务器抓爆了!最近百度蜘蛛都不来了怎么办?还有很多站点想得到百度蜘蛛的IP段,想把IP加入白名单,但IP...

    • 百度正式上线快速收录功能

      百度正式上线快速收录功能

      百度熊掌天级收录正式下线,新上线快速收录功能,接替天级收录保持熊掌ID权益不变。以下是百度快速收录上线公告原文:1.工具说明快速收录可用于提交站点新增的时效性...

    • 亚马逊正式推出企业搜索引擎Kendra

      亚马逊正式推出企业搜索引擎Kendra

      亚马逊上线付费企业内部搜索引擎Kendra,主打企业内部搜索服务。了解到,AmazonKendra发布于去年,近日正式被亚马逊正式上线,不同于谷歌,百度,必应...

    • QQ公众空间认证从新开放申请

      QQ公众空间认证从新开放申请

      QQ空间在4年前(2016年)开放过一次认证,但仅仅开放了不到一天,又关闭了,这一关闭就是4年。而今天QQ公众空间从新开放认证。申请认证需要满足6个条件:1.空...

  • 阿里云大优惠
  • 热门文章
    • 百度首次公开百度小程序蜘蛛UA渠道

      百度首次公开百度小程序蜘蛛UA渠道

      最近,百度第一次以官方形式公开了识别百度蜘蛛的信息,并且表示百度蜘蛛UA(爬行渠道)目前分为PC、移动、小程序三个应用场景。还给出了网站识别百度蜘蛛的一些渠...

    • 头条搜索网页版正式上线

      头条搜索网页版正式上线

      最近,头条搜索网页版悄悄上线,开始抓取全网信息正式进军搜索业务,这也意味着头条与百度的战争彻底打响。更说明了搜索引擎可是个香馍馍,背后隐藏着巨大的商业价值!估计...

    • 比特币钱包Plus Token圈钱200亿跑路

      比特币钱包Plus Token圈钱200亿跑路

      在币圈最近Plustoken卷钱跑路到处抛售比特币的消息被闹得沸沸扬扬的,Plustoken这次搞的这个骗局,被骗人数100万,涉及金额超过200亿路,可谓目前...

    • 马云卸任阿里巴巴董事长

      马云卸任阿里巴巴董事长

      来自solidot消息:去年的教师节,阿里巴巴联合创始人马云宣布了他的退休计划,辞去董事事局主席一职,专心搞教育慈善。2019年教师节,现任阿里巴巴集团首席执...

    • 2019年中国搜索引擎市场份额

      2019年中国搜索引擎市场份额

      最近,2019年度中国搜索引擎市场份额排名对外公布,百度搜索占比70.3%,神马搜索占比15.62%搜狗搜索占比4.74%360搜索占比4.45%谷歌搜索占比2...