搜索引擎 2022年02月4日
0 收藏 0 点赞 1,185 浏览 774 个字

百度站长平台发布公告宣布新版Baiduspider移动ua上线,同时公布了PC版Baiduspider UA,那么该如何正确识别移动UA呢?我们百度站长平台技术专家孙权老师给出了答案:

新版移动UA:
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

PC UA:
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

之前通过“+http://www.baidu.com/search/spider.html”进行识别的网站请注意!您需要修改识别方式,新的正确的识别Baiduspider移动ua的方法如下:
1. 通过关键词“Android”或者“Mobile”来进行识别,判断为移动访问或者抓取。
2. 通过关键词“Baiduspider/2.0”,判断为百度爬虫。

另外需要强调的是,对于robots封禁,如果封禁的agent是Baiduspider,会对PC和移动同时生效。即,无论是PC还是移动Baiduspider,都不会对封禁对象进行抓取。之所以要强调这一点,是发现有些代码适配站点(同一个url,PC ua打开的时候是PC页,移动ua打开的时候是移动页),想通过设置robots的agent封禁达到只让移动Baiduspider抓取的目的,但由于PC和移动Baiduspider的agent都是Baiduspider,这种方法是非常不可取的。

微信扫一扫

支付宝扫一扫

版权: 转载请注明出处:https://www.mizhanw.com/blog/seo/3405.html

相关推荐
关于回收网站提交配额的通知
由于近期黑产、作弊行为肆虐,大量抢占平台资源,严重影响用户体验,搜索资源平台针对非实名账户内站点、低质站点关停sitemap提交能力并调整A…
日期:2023-11-02 点赞:0 阅读:49
关于搜索资源平台清退风险资源验证关系的通知
为保护站点提升优质资源利用率,维护良性健康的搜索生态,近期搜索资源平台针对风险资源站点开展了验证关系清退,例如账号未实名认证、站点低质作弊等…
日期:2023-11-02 点赞:0 阅读:59
百度搜索持续打击盗版网文站点公告
发布日期:2023-04-11 百度公司高度重视知识产权保护。近期,百度搜索通过主动摸排,并结合版权方的投诉与反馈,发现部分站点内存在大量涉…
日期:2023-04-14 点赞:0 阅读:516
Google 搜索关于 AI 生成内容的指南
长久以来,Google 一直坚信 AI 蕴含巨大的变革力量,能够提升我们提供实用信息的能力。这篇博文进一步介绍了 AI 生成的内容如何融入我…
日期:2023-03-02 点赞:0 阅读:1,105
如何增加蜘蛛爬取以及高价值url的发现!
前言: 本文主要增加蜘蛛爬取以及高价值url发现,而非友链外链操作,也可以称低价值url过滤,从而增加蜘蛛爬取。 蜘蛛是受到抓取系统调度影响…
日期:2023-01-31 点赞:0 阅读:859
经常被采集的技术层面处理方法
小站新站被采集,自己网站没收录或者没排名,被权重网站采集,而变成了别人的嫁衣,反馈又没有实质性可以证明自己的内容。注意:即使按照下面的说法做…
日期:2023-01-10 点赞:0 阅读:1,055
发表评论
暂无评论

还没有评论呢,快来抢沙发~