Wordpress教程 2023年04月5日
0 收藏 0 点赞 969 浏览 262 个字

通过网站日志分析,会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀,如:.php、.asp、.aspx等。

搜外网站后台日志分析结果如下图:

通过robots.txt文件屏蔽蜘蛛抓取不存在的后缀

搜外主站实际上不存在php后缀的URL地址。

可通过robots.txt文件禁止蜘蛛抓取不存在的后缀,减少出现404返回值。

在robots.txt文件填写屏蔽规则如下:

Disallow: /*.asp$
Disallow: /*.php$
Disallow: /*.aspx$

注意前面一个*,后面一个$,代表后缀。

禁止抓取机制robots.txt设置方法及注意事项
今天我们主要学习一下robots.txt文件的使用和设置方法。 一、认识robots.txt文件 从网站优化和网站安全的方面来...

微信扫一扫

支付宝扫一扫

版权: 转载请注明出处:https://www.mizhanw.com/blog/2057.html

相关推荐
wordpress 在购物车中的特定产品的WooCommerce结帐上显示某些国家/地区
要在 WooCommerce 结账页面上只显示特定的国家/地区,您可以使用以下代码在函数文件(functions.php)中添加相应的过滤器…
日期:2023-05-29 点赞:0 阅读:920
最新一键关闭WordPress后台主题、WordPress插件的自动更新提醒,禁止WordPress更新提醒
PHP版本低于7.2用这个代码: 将以下代码放入您的主题functions.php //修改代码在后台显示更新 add_filter('pr…
日期:2023-05-24 点赞:0 阅读:172
wordpress相关文章功能代码示例
本文来介绍下wordpress的相关文章功能实现代码。 首先还是来说明下这个相关文章是个什么逻辑,文章的相关性都是通过tag标签来关联的,如…
日期:2023-05-23 点赞:0 阅读:935
woocommerce添加结账页面缩略图和货号+购物车页面货号
购物车上添加图片和货号SKU functions.php文件里面添加: /** * Display SKU in cart table wi…
日期:2023-05-18 点赞:0 阅读:1,052
codestar-framework获取后台设置控制指定分类文章和显示数量
可以在主题模板中使用 _izhanke() 函数获取后台设置的 xinwen_num 字段的值,然后将其传递到 query_posts() …
日期:2023-05-10 点赞:0 阅读:999
怎么指定邮箱可注册?
一些做会员网站的站长,肯定很讨厌那种用临时邮箱注册的用户吧,这次分享一段WordPress代码,让用户只能用指定的邮箱注册。 在主题根目录下…
日期:2023-05-09 点赞:0 阅读:694
发表评论
暂无评论

还没有评论呢,快来抢沙发~