通过网站日志分析，会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀，如：.php、.asp、.aspx等。
搜外网站后台日志分析结果如下图：
搜外主站实际上不存在php后缀的URL地址。
可通过robots.txt文件禁止蜘蛛抓取不存在的后缀，减少出现404返回值。
在robots.txt文件填写屏蔽规则如下：
Disallow: /*.asp$ Disallow: /*.php$ Disallow: /*.aspx$
注意前面一个*，后面一个$，代表后缀。
0 收藏
0 点赞
969 浏览
262 个字
版权： 转载请注明出处：https://www.mizhanw.com/blog/2057.html
相关推荐
wordpress 在购物车中的特定产品的WooCommerce结帐上显示某些国家/地区
要在 WooCommerce 结账页面上只显示特定的国家/地区，您可以使用以下代码在函数文件（functions.php）中添加相应的过滤器…
日期：2023-05-29
点赞：0
阅读：920
最新一键关闭WordPress后台主题、WordPress插件的自动更新提醒，禁止WordPress更新提醒
PHP版本低于7.2用这个代码： 将以下代码放入您的主题functions.php //修改代码在后台显示更新 add_filter('pr…
日期：2023-05-24
点赞：0
阅读：172
wordpress相关文章功能代码示例
本文来介绍下wordpress的相关文章功能实现代码。 首先还是来说明下这个相关文章是个什么逻辑，文章的相关性都是通过tag标签来关联的，如…
日期：2023-05-23
点赞：0
阅读：935
woocommerce添加结账页面缩略图和货号+购物车页面货号
购物车上添加图片和货号SKU functions.php文件里面添加: /** * Display SKU in cart table wi…
日期：2023-05-18
点赞：0
阅读：1,052
codestar-framework获取后台设置控制指定分类文章和显示数量
可以在主题模板中使用 _izhanke() 函数获取后台设置的 xinwen_num 字段的值，然后将其传递到 query_posts() …
日期：2023-05-10
点赞：0
阅读：999
怎么指定邮箱可注册？
一些做会员网站的站长，肯定很讨厌那种用临时邮箱注册的用户吧，这次分享一段WordPress代码，让用户只能用指定的邮箱注册。 在主题根目录下…
日期：2023-05-09
点赞：0
阅读：694
还没有评论呢，快来抢沙发~