robots.txt文件该怎么写?
这一难题相必也紧紧围绕着许多 SEO新手好长时间了吧,那麼今日SEO-趣快排就教大伙儿该怎么写robots.txt文本文档。
“robots.txt”文件包括一条或大量的记录 ,这种记录根据空白行分离(以 CR,CR/NL, or NL 做为结束符) ,每一条记录的格式以下图示:
“:”。
在该文件中能够应用#开展注释,实际操作方法和 UNIX 中的国际惯例一样 。该文件中的记录一般以一行或几行 User-agent 刚开始,后边再加多个 Disallow 行 ,具体情况以下:
User-agent:
此项的值用以叙述搜索引擎 robot 的姓名,在"robots.txt"文件中,假如有好几条 User-agent 记录表明有好几个 robot 会遭受该协议书的限定 ,对该文件而言,最少要有一条 User-agent 记录。假如此项的值设成*,则该协议书对一切设备平均合理 ,在"robots.txt"文件中 , "User-agent: *" 那样的记录只有有一条。
Disallow:
此项的值用以叙述不期望被访问到的一个 URL,这一 URL 能够是一条详细的相对路径,也
能够是一部分的 ,一切以 Disallow 开始的 URL 均不容易被 robot 访问到 。比如"Disallow: /help"
对/help.html 和/help/index.html 也不容许搜索引擎访问,而"Disallow: /help/"则容许 robot 访问/help.html,而不可以访问/help/index.html。
一切一条 Disallow 记录为空 ,表明该网址的全部一部分都容许被访问,在"/robots.txt"文件中,最少要有一条 Disallow 记录。假如 "/robots.txt"是一个空文件 ,则针对全部的搜索引擎robot,该网址全是对外开放的 。
全文连接:www.seogurublog.com/591.html