谷歌SEO教程 2023年03月26日
0 收藏 0 点赞 847 浏览 1653 个字

Googlebot 是 Google 的两类网页抓取工具的通用名称:

  • Googlebot 桌面版:模拟移动设备用户的移动版抓取工具。
  • Googlebot 智能手机版:一种可在移动设备上模拟用户的移动抓取工具。

您可以通过查看请求中的用户代理字符串来确定 Googlebot 的子类型。不过,这两类抓取工具都遵循 robots.txt 中的同一产品令牌(用户代理令牌),因此您无法使用 robots.txt 有选择地指定 Googlebot 智能手机版或 Googlebot 桌面版。

对于大多数网站中的内容,Google 主要将移动版编入索引。因此,多数 Googlebot 抓取请求都会通过移动版抓取工具发出,少数请求会通过桌面版抓取工具发出。

对于大多数网站,Googlebot 的平均访问频率不会高于几秒钟一次。不过,由于存在延迟,在一小段时间内,此频率可能会略高一些。

Googlebot 可在数千台计算机上同时运行,以提高性能并随着网络规模的扩大而扩展其作用范围。此外,为了降低占用的带宽,我们会在多台计算机上运行多个抓取工具,而这些计算机就位于它们可能会抓取的网站附近。因此,您的日志可能会显示来自多个 IP 地址的访问,且都使用了 Googlebot 用户代理。我们的目标是,每次访问您的网站时都尽可能多地抓取网页,但不会过多地占用服务器的带宽。如果您的网站跟不上 Google 的抓取请求频率,您可以减慢抓取速度。

Googlebot 主要会从美国境内的 IP 地址进行抓取。如果 Googlebot 检测到某个网站屏蔽了来自美国的请求,则可能会尝试从位于其他国家/地区的 IP 地址进行抓取。Googlebot 当前使用的 IP 地址段列表以 JSON 格式提供。

Googlebot 会通过 HTTP/1.1 抓取内容;如果相应网站支持,还能通过 HTTP/2 抓取内容。无论使用哪个版本的协议抓取网站,都不会在排名优势方面带来影响;不过,通过 HTTP/2 抓取可以为您的网站和 Googlebot 节省计算资源(例如 CPU、RAM)。
如需禁止通过 HTTP/2 抓取,请对托管您网站的服务器做出以下指示:当 Googlebot 尝试通过 HTTP/2 抓取您的网站时,返回 421 HTTP 状态代码。如果这种方法不可行,您可以向 Googlebot 团队发送消息(但这只是临时解决方案)。

Googlebot 可以抓取 HTML 文件或受支持的文本型文件中的前 15MB 内容。HTML 中引用的所有资源(例如图片、视频、CSS 和 JavaScript)都是单独提取的。在抓取完该文件的前 15MB 内容后,Googlebot 会停止抓取,并且只会考虑将前 15MB 的内容编入索引。文件大小上限适用于未压缩的数据。其他 Google 抓取工具可能有不同的限制。

对于网络服务器,要想通过不发布指向它的链接来达到保密目的几乎是不可能的。例如,只要有人通过您的“私密”服务器上的链接访问了另一网络服务器,您的“私密”网址就可能会出现在引荐来源网址标记中,并可能会被所访问的网络服务器存储和发布在其引荐来源网址日志中。同样,网络中包含许多已过期和已损坏的链接。 只要有人发布了指向您网站的不正确链接,或未能成功更新链接以反映您服务器中的更改,Googlebot 就会尝试从您的网站抓取不正确的链接。

如果您想阻止 Googlebot 抓取您网站上的内容,可以采用多种方法。请注意这些方法之间的差异,例如阻止 Googlebot 抓取网页、阻止 Googlebot 将网页编入索引以及完全阻止任何抓取工具和用户访问网页需执行的操作各不相同。

在您决定禁止 Googlebot 访问您的内容之前,请注意 Googlebot 所用的用户代理字符串经常会被其他抓取工具假冒。因此,请务必验证有问题的请求是否确实来自 Google。若要验证请求是否确实来自 Googlebot,最佳方法就是对请求的来源 IP 地址进行 DNS 反向查找,或将来源 IP 地址与 Googlebot IP 地址范围进行比对。

微信扫一扫

支付宝扫一扫

版权: 转载请注明出处:https://www.mizhanw.com/blog/gugeseo/2632.html

相关推荐
谷歌SEO教程第97篇—Google 图片中的图片元数据
指定图片元数据后,Google 图片可以显示有关图片的更多详细信息,例如创作者是谁、用户可以如何使用图片以及版权归属信息。例如,提供许可信息…
日期:2023-07-27 点赞:0 阅读:254
谷歌SEO教程第96篇—HowTo (HowTo) 结构化数据
请使用 HowTo 结构化数据明确告诉 Google 您的内容是 HowTo 内容。HowTo 内容旨在引导用户通过一系列步骤成功完成某项任…
日期:2023-07-27 点赞:0 阅读:256
谷歌SEO教程第95篇—居家活动 (VirtualLocation) 结构化数据
为了帮助用户发现可在家中参与的活动,您可以在自己的线上活动和视频网页中添加结构化数据。当用户搜索可在家中参与的活动时,相关视频和线上活动便会…
日期:2023-07-26 点赞:0 阅读:204
谷歌SEO教程第94篇—FAQ(FAQPage、Question、Answer)结构化数据
常见问题解答 (FAQ) 页包含一系列有关特定主题的问题和答案。如果您正确标记了 FAQ 页,它们可能会在 Google 搜索中显示为富媒体…
日期:2023-07-26 点赞:0 阅读:253
谷歌SEO教程第93篇—事实核查 (ClaimReview) 结构化数据
如果您的某个网页会对他人的声明进行审核,您可以在该网页中添加 ClaimReview 结构化数据。使用 ClaimReview 结构化数据后…
日期:2023-07-26 点赞:0 阅读:218
谷歌SEO教程第92篇—活动 (Event) 结构化数据
我们添加了几个可选属性:organizer、eventStatus、eventAttendanceMode 和 previousStartD…
日期:2023-07-26 点赞:0 阅读:351
发表评论
暂无评论

还没有评论呢,快来抢沙发~