搜索引擎 2022年03月15日
0 收藏 0 点赞 1,040 浏览 340 个字

robots.txt 文件必须放在网站的根目录。

放在子目录的 Robots.txt 文件搜索引擎不能爬取到,所以不会起任何作用。

如:

https://zhanzhangpai.com/robots.txt 是有效的。

https://zhanzhangpai.com/a/robots.txt 是无效的。

以下3种情况需要注意:

1、如果手机网站采用的是m.的二级域名,要给手机网站设置robots.txt的话,robots.txt要放在m. 这个二级域名的根目录下,而不是www的根目录。

2、给网站添加了一个站内站,如果要屏蔽某链接,是在www根目录下的robots里屏蔽,而不是给站内站创建独立的robtos.txt文件。

3、网站有多个二级域名的话,应该每个二级域名设置一个robots.txt。

微信扫一扫

支付宝扫一扫

版权: 转载请注明出处:https://www.mizhanw.com/blog/seo/3053.html

相关推荐
百度搜索持续打击盗版网文站点公告
发布日期:2023-04-11 百度公司高度重视知识产权保护。近期,百度搜索通过主动摸排,并结合版权方的投诉与反馈,发现部分站点内存在大量涉…
日期:2023-04-14 点赞:0 阅读:408
Google 搜索关于 AI 生成内容的指南
长久以来,Google 一直坚信 AI 蕴含巨大的变革力量,能够提升我们提供实用信息的能力。这篇博文进一步介绍了 AI 生成的内容如何融入我…
日期:2023-03-02 点赞:0 阅读:984
如何增加蜘蛛爬取以及高价值url的发现!
前言: 本文主要增加蜘蛛爬取以及高价值url发现,而非友链外链操作,也可以称低价值url过滤,从而增加蜘蛛爬取。 蜘蛛是受到抓取系统调度影响…
日期:2023-01-31 点赞:0 阅读:725
经常被采集的技术层面处理方法
小站新站被采集,自己网站没收录或者没排名,被权重网站采集,而变成了别人的嫁衣,反馈又没有实质性可以证明自己的内容。注意:即使按照下面的说法做…
日期:2023-01-10 点赞:0 阅读:938
网站被黑处理以及查找本身存在后门方法!
一、网站被黑主要有三个原因造成,如下图。“2.服务器问题”以及“3.环境问题”出现的概率很少,主要讲讲“1.网站问题”。 二、网站存在后门通…
日期:2023-01-10 点赞:0 阅读:912
网站死链处理指南
直播回看地址:http://live.baidu.com/m/media/pc … 937643&source=h5pr…
日期:2023-01-10 点赞:0 阅读:453
发表评论
暂无评论

还没有评论呢,快来抢沙发~