15.什么是robots协议?robots文件的作用与写法

什么是robots协议
1.网站和搜索引擎的协议文件
2.搜索引擎蜘蛛第一次访问网站的文件
[robots.txt文件的作用]
为什么设置robots.txt文件:让spider不要抓取不重要的信息,直接获取重要信息,限制spider的抓取范围,以便更好地改进网站文章的内容,seo发挥作用。
[编写robots.txt协议]
1.三个字:
a.用户-代理针对目标):
百度蜘蛛
googlespider:googlebot
360只蜘蛛:360只蜘蛛
SosoSpider:Sosospider
蜘蛛:你道僵尸
搜狗蜘蛛:搜狗新闻蜘蛛
不允许。
C.允许:允许。
2.带/符号与非/符号之间的区别:
a./abc/(subc)
B./ABC:模糊匹配(只要包含/ABC的路径被阻塞,例如/ABCDSADAS)
[3.两个通配符:a.match0或更多字符b.]:匹配同一后缀的文件*
a.通配符的作用:
例如:匹配所有搜索引擎Spider写入,即用户代理:
例如,如果不允许捕获路径/abcdsdsada,则可以编写一个disallow:/abc(它匹配多个字符),自动匹配dsdsada,而baidu不能捕获路径/abcdsada,或/abcdsdsads47546,或abc44646。
用于保护动态路径:
屏蔽所有动态路径:
不允许:/?匹配:DSDSAD(匹配)第一行)
不允许:/?匹配:DSDSADSDAS(匹配)以后)
不允许:/?完全匹配?(完全匹配)路径
b.通配符的作用:
例如:不允许HTML后缀:
不允许://.html$(不允许在/a中抓取带.html后缀的文件)
4.robots.txt协议的细节:
a.必须用英文
B.空白(在数字后面:)
C.大写字母*
D.三个字的优先次序:首先允许,即
用户-代理:(所有蜘蛛)
[不允许:/]
允许:虎杖(允许百度蜘蛛捕捉)
这个想法是百度zui终会被允许夺取这个网站
关于robots.txt协议的注释
1.robots协议的生效日期:该协议不是通过编写robots协议立即生效;需要几天或更长时间,甚至需要一两个月
2.不要使用robots来封锁整个车站(因为进站时间不稳定,zui终导致没有入站记录)
3.需要屏蔽的内容
a.jscss
b.屏蔽动态路径和静态路径时的动态路径
c.模板文件
d.死链接
e.隐私页面
F.后台*
g.注意在编写站长平台robots.txt之后上传根目录:您可以检查robots是否有效

相关文章

联系我们

联系我们

15753193676

在线咨询: QQ交谈

邮箱: x525535116@foxmail.com

工作时间:周一至周末,7*24,节假日不休
关注微信
微信扫一扫关注我们

微信扫一扫关注我们

关注微博
返回顶部
电话