Wordpress教程 2023年04月5日
0 收藏 0 点赞 1,074 浏览 262 个字

通过网站日志分析,会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀,如:.php、.asp、.aspx等。

搜外网站后台日志分析结果如下图:

通过robots.txt文件屏蔽蜘蛛抓取不存在的后缀

搜外主站实际上不存在php后缀的URL地址。

可通过robots.txt文件禁止蜘蛛抓取不存在的后缀,减少出现404返回值。

在robots.txt文件填写屏蔽规则如下:

Disallow: /*.asp$
Disallow: /*.php$
Disallow: /*.aspx$

注意前面一个*,后面一个$,代表后缀。

禁止抓取机制robots.txt设置方法及注意事项
今天我们主要学习一下robots.txt文件的使用和设置方法。 一、认识robots.txt文件 从网站优化和网站安全的方面来...

微信扫一扫

支付宝扫一扫

版权: 转载请注明出处:https://www.mizhanw.com/blog/2057.html

相关推荐
建站为什么选择WordPress?
作为一个WEB开发者,经常被问到建站应该选择什么软件?或者首选什么软件?这样的问题。我的答案是 WordPress 。不光因为 WordPr…
日期:2023-11-30 点赞:0 阅读:19
如何向WooCommerce导入产品(快速而简单的方法)
无论你是刚开始用WooCommerce开店,还是想加快向现有商店添加产品的进程,学习如何向WooCommerce导入产品都很重要。批量导入产…
日期:2023-11-29 点赞:0 阅读:26
WordPress建站教程:解决谷歌字体导致的网站卡顿问题
继续分享wordpress建站教程。悦然wordpress建站之前使用blocksy主题帮客户做了一个物流公司公司建设,网站的各方面都还不错…
日期:2023-11-22 点赞:0 阅读:28
WordPress外贸网站速度优化:如何选择性能优化插件?
使用wordpress建站时,我们一定要考虑到wordpress网站加速问题,因为网站打开速度太慢会影响到用户体验和谷歌SEO优化效果。一般…
日期:2023-11-22 点赞:0 阅读:23
什么是WordPress跨境电商AB站?
做过wordpress跨境电商网站的人应该都知道,支付收款是一个大问题,特别是Paypal封号比较严重,之前帐户清零的新闻还历历在目,其它的…
日期:2023-11-22 点赞:0 阅读:23
Custom Field Suite 修改woocommerce销量
Custom Field Suite 修改woocommerce销量
日期:2023-10-29 点赞:0 阅读:31 套餐
发表评论
暂无评论

还没有评论呢,快来抢沙发~