如何正确识别 百度爬虫 移动 ua?

SEO运营助手 发布于 4个月前 分类:网站优化
如何正确识别 百度爬虫 移动 ua?

 

0个回复

  • SEO运营助手

    1)新版移动 ua: Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; 百度爬虫/2.0; +http://www.baidu.com/search/spider.html)

    2)PC ua: Mozilla/5.0 (compatible; baiduspider/2.0; +http://www.baidu.com/search/spider.html) 之前通过 “+http://www.baidu.com/search/spider.html” 进行识别的网站请注意!您需要修改识别方式,新的正确的识别 百度爬虫 移动 ua 的方法如下:

    3)通过关键词 “Android” 或者 “Mobile” 来进行识别,判断为移动访问或者抓取。

    4)通过关键词 “ baiduspider/2.0”, 判断为百度爬虫。

    另外需要强调的是,对于 robots 封禁,如果封禁的 agent 是 百度爬虫,会对 PC 和移动同时生效。即,无论是 PC 还是移动 百度爬虫,都不会对封禁对象进行抓取。之所以要强调这一点,是发现有些代码适配站点(同一个 url,PC ua 打开的时候是 PC 页,移动 ua 打开的时候是移动页),想通过设置 robots 的 agent 封禁达到只让移动 百度爬虫 抓取的目的,但由于 PC 和移动 百度爬虫 的 agent 都是 百度爬虫, 这种方法是非常不可取的。

     

联系我们

15258683385

在线咨询:点击这里给我发消息

邮件:364603780@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

QR code