通过网站日志分析，会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀，如：.php、.asp、.aspx等。
搜外网站后台日志分析结果如下图：
搜外主站实际上不存在php后缀的URL地址。
可通过robots.txt文件禁止蜘蛛抓取不存在的后缀，减少出现404返回值。
在robots.txt文件填写屏蔽规则如下：
Disallow: /*.asp$ Disallow: /*.php$ Disallow: /*.aspx$
注意前面一个*，后面一个$，代表后缀。
0 收藏
0 点赞
1,219 浏览
262 个字
版权： 转载请注明出处：https://www.mizhanw.com/blog/2057.html
相关推荐
实现 WordPress 自动更新所有文章的发布日期为当天的日期
//二开自动更新文章日期为当天发布。 //设置宝塔面板中的定时任务，通过访问带有?update_posts=run的链接触发文章更新.如：c…
日期：2024-09-22
点赞：0
阅读：43
WooCommerce订单列表显示购买产品
// 为 Legacy CPT-based 订单添加自定义列 add_filter('manage_edit-shop_order_colu…
日期：2024-09-20
点赞：0
阅读：90
WooCommerce Order 类的所有Get方法，以面向对象的方法获取订单数据
在开发WooCommerce插件或者与第三方系统交互时，我们需要获取 WooCommerce 订单的数据，WooCommerce的 WC_O…
日期：2024-09-20
点赞：0
阅读：53
为WooCommerce后台订单列表添加按自定义字段功能
// 添加自定义列到订单列表 add_filter('manage_woocommerce_page_wc-orders_co…
日期：2024-09-20
点赞：0
阅读：55
添加删除 WooCommerce 数据列表中的数据列
转载：添加删除 WooCommerce 数据列表中的数据列 _WordPress智库 (wpzhiku.com) 在 WooCommerce…
日期：2024-09-20
点赞：0
阅读：66
WooCommerce的结账页面的订单摘要中，在商品数量后添加加减按钮
关于 WooCommerce 结账页面的定制内容在网上有大量讨论。为什么呢？因为结账页面无疑是任何 WooCommerce 网站的关键页面！…
日期：2024-08-11
点赞：0
阅读：121
还没有评论呢，快来抢沙发~