您的位置: 主页 > SEO知识 >

关于robots.txt的写法,你都知道吗?

robots

SEO优化中,有一个非常容易忽视的细节,那就是关于robots.txt的配置,下面本文简单说一说这个问题。

首先,小编谈一下robots.txt的作用,它是搜索引擎访问一个网站首先查看的文件,在这个文件中可以规定允许搜索引擎查看的网页,不允许部分搜索引擎就不会抓取,从而大大的提升搜索引擎的抓取效率,让网站中的重要内容优先被抓取。那么,长话短说,下面是这个文件的写法:

User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符,如果是对百度蜘蛛进行设置,那么可以写成:User-agent: Baiduspider

Disallow: /seo/ 这里定义是禁止爬寻seo目录下面的目录,如果是其它目录只需替换目录名即可。

Disallow: /seo/*.htm 禁止访问/seo/目录下的所有以".htm"为后缀的文件。其它目录类推。

有很多网站是动态网址,很多带问号的网址需要屏蔽,应该怎么做呢?可以用Disallow: /*?*

如果要禁止抓取特定格式的图片,可以用Disallow: /.jpg$,其它格式类推。

禁止抓取所有内容则可以写成:Disallow: /

网站默认都是允许抓取的,一般来讲,只需要设置禁止抓取的部分就可以了,如果一定要写明允许抓取的部分,把Disallow更换成Allow就可以了!

以上就是robots的基本写法,大家灵活变通即可!

上一篇:没有了 下一篇:说说SEO优化中高质量外链的建设方法

相关文章