Wordpress教程 2023年04月5日
0 收藏 0 点赞 1,144 浏览 262 个字

通过网站日志分析,会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀,如:.php、.asp、.aspx等。

搜外网站后台日志分析结果如下图:

通过robots.txt文件屏蔽蜘蛛抓取不存在的后缀

搜外主站实际上不存在php后缀的URL地址。

可通过robots.txt文件禁止蜘蛛抓取不存在的后缀,减少出现404返回值。

在robots.txt文件填写屏蔽规则如下:

Disallow: /*.asp$
Disallow: /*.php$
Disallow: /*.aspx$

注意前面一个*,后面一个$,代表后缀。

禁止抓取机制robots.txt设置方法及注意事项
今天我们主要学习一下robots.txt文件的使用和设置方法。 一、认识robots.txt文件 从网站优化和网站安全的方面来...

微信扫一扫

支付宝扫一扫

版权: 转载请注明出处:https://www.mizhanw.com/blog/2057.html

相关推荐
//Woocommerce 用自定义按钮/链接替换添加到购物车按钮(作用于列表页) add_filter( 'woocommerce_loo…
日期:2024-05-12 点赞:0 阅读:43
如何从woocommerce 类目链接中去掉 Product-Category
比如要把这个类目链接: https://www.fobwebs.com/product-category/apple/ 改成: https:…
日期:2024-05-07 点赞:0 阅读:160
woocommerce 订单相关钩子
woocommerce_checkout_update_order_meta: 在订单元数据更新时触发。您可以在此钩子中更新订单的元数据,例…
日期:2024-03-15 点赞:0 阅读:403
最新Wp Rocket设置教程, 含插件下载+常见问题解决方法
最新Wp Rocket设置教程(超详细), 附GPL版本插件下载链接。图文并茂详细解释每一个设置的含义以及优缺点+兼容性排除,找到最合适的设…
日期:2024-02-24 点赞:0 阅读:333
WordPress破解版插件/主题(开心版, GPL, Nulled)安全吗?有啥缺点?如何获取?
解版插件产业链,安全与否,以及如何下载安全高质量破解版插件,避免下载有病毒主题/插件。 WordPress破解版插件/主题安全吗?这是绝大多…
日期:2024-02-24 点赞:0 阅读:326
终极WordPress速度优化教程, 秒开页面! 优化思路+方法+工具
终极WordPress速度优化教程,全面讲解影响速度的因素和原理。FCP, LCP, TTFB, TBT, CLS,Wp corn, Mar…
日期:2024-02-24 点赞:0 阅读:512
发表评论
暂无评论

还没有评论呢,快来抢沙发~