谷歌SEO教程 2023年03月22日
0 收藏 0 点赞 539 浏览 1101 个字

您可以验证访问您服务器的网页抓取工具是否确实是 Google 抓取工具,例如 Googlebot。如果您担心自称是 Googlebot 的垃圾内容发布者或其他麻烦制造者在访问您的网站,则会发现该方法非常有用。

验证 Google 抓取工具的方法有两种:

  • 手动验证:如果是一次性查找,请使用命令行工具。对于大多数用例,此方法足以满足需求。
  • 自动验证:如果是大规模查找,请使用自动解决方案将抓取工具的 IP 地址与已发布的 Googlebot IP 地址列表进行比对。
  1. 使用 host 命令对日志中访问服务器的 IP 地址运行 DNS 反向查找。
  2. 验证域名是 googlebot.com 还是 google.com
  3. 使用 host 命令对在第 1 步中检索到的域名运行 DNS 正向查找。
  4. 验证该域名与日志中访问服务器的原始 IP 地址是否一致。

示例 1

host 66.249.66.1 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com. host crawl-66-249-66-1.googlebot.com crawl-66-249-66-1.googlebot.com has address 66.249.66.1

示例 2

host 35.247.243.240 240.243.247.35.in-addr.arpa domain name pointer geo-crawl-35-247-243-240.geo.googlebot.com. host geo-crawl-35-247-243-240.geo.googlebot.com geo-crawl-35-247-243-240.geo.googlebot.com has address 35.247.243.240

示例 3

host 66.249.90.77 77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com. host rate-limited-proxy-66-249-90-77.google.com rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

或者,您也可以通过将抓取工具的 IP 地址与 Googlebot IP 地址列表进行比对,按 IP 地址识别 Googlebot。对于可借以访问您网站的其他 Google IP 地址(例如通过用户请求或 Apps 脚本),请将访问 IP 地址与 Google IP 地址列表进行比对。

微信扫一扫

支付宝扫一扫

版权: 转载请注明出处:https://www.mizhanw.com/blog/gugeseo/2636.html

相关推荐
谷歌SEO教程第97篇—Google 图片中的图片元数据
指定图片元数据后,Google 图片可以显示有关图片的更多详细信息,例如创作者是谁、用户可以如何使用图片以及版权归属信息。例如,提供许可信息…
日期:2023-07-27 点赞:0 阅读:216
谷歌SEO教程第96篇—HowTo (HowTo) 结构化数据
请使用 HowTo 结构化数据明确告诉 Google 您的内容是 HowTo 内容。HowTo 内容旨在引导用户通过一系列步骤成功完成某项任…
日期:2023-07-27 点赞:0 阅读:211
谷歌SEO教程第95篇—居家活动 (VirtualLocation) 结构化数据
为了帮助用户发现可在家中参与的活动,您可以在自己的线上活动和视频网页中添加结构化数据。当用户搜索可在家中参与的活动时,相关视频和线上活动便会…
日期:2023-07-26 点赞:0 阅读:155
谷歌SEO教程第94篇—FAQ(FAQPage、Question、Answer)结构化数据
常见问题解答 (FAQ) 页包含一系列有关特定主题的问题和答案。如果您正确标记了 FAQ 页,它们可能会在 Google 搜索中显示为富媒体…
日期:2023-07-26 点赞:0 阅读:210
谷歌SEO教程第93篇—事实核查 (ClaimReview) 结构化数据
如果您的某个网页会对他人的声明进行审核,您可以在该网页中添加 ClaimReview 结构化数据。使用 ClaimReview 结构化数据后…
日期:2023-07-26 点赞:0 阅读:195
谷歌SEO教程第92篇—活动 (Event) 结构化数据
我们添加了几个可选属性:organizer、eventStatus、eventAttendanceMode 和 previousStartD…
日期:2023-07-26 点赞:0 阅读:268
发表评论
暂无评论

还没有评论呢,快来抢沙发~