站长们都知道，很多时候搜索引擎收录的网站页面都不是我们想让它收录的页面，这一点着实让人烦恼，尤其是网站后台地址，一旦被百度收录，那么网站的 安全性就存在很大的隐患，这时候robot.txt文件的作用就可以体现出来了，只要在文件中屏蔽到蜘蛛的访问，百度就不能收录你不想被收录的页面了，这 样既可以集中网站的权重，对搜索引擎优化十分有利。
在介绍robot.txt写法之前，先来说说这个东西是干嘛的。从字面意思上来看robots代表的是机器人，从后缀名来看，是个txt文档，通过 这个名字可以看出这个文件是给搜索引擎蜘蛛机器人看的一个文件。所谓roots.txt文件，是Robots协议（也称为爬虫协议、机器人协议等），是搜 索引擎蜘蛛到你网站后访问的第一个文件，通过这个文件，搜索引擎蜘蛛可以了解到网站那些内容可以抓取，那些页面不可以抓取，当然，我们也可以直接屏蔽掉蜘蛛的访问。了解了这个文件是干嘛的，下面，具体介绍一下robots.txt文件的写法。
网站优化的robots.txt语句：
User-agent: * 这里的*代表的所有的搜索引擎种类，*是一个通配符
Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录
Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录
Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录
Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
Disallow: /*?* 禁止访问网站中所有包含问号 (?) 的网址
Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片
Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件。
Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录
Allow: /tmp 这里定义是允许爬寻tmp的整个目录
Allow: .htm$ 仅允许访问以".htm"为后缀的URL。
Allow: .gif$ 允许抓取网页和gif格式图片
Sitemap: 网站地图 告诉爬虫这个页面是网站地图
robots.txt写法举例：
1、禁止所有搜索引擎访问网站的所有部分 User-agent: * Disallow: / 2、禁止百度索引你的网站 User-agent: Baiduspider Disallow: / 3、禁止Google索引你的网站 User-agent: Googlebot Disallow: / 4、禁止除Google外的一切搜索引擎索引你的网站 User-agent: Googlebot Disallow: User-agent: * Disallow: / 5、禁止除百度外的一切搜索引擎索引你的网站 User-agent: Baiduspider Disallow: User-agent: * Disallow: / 6、禁止蜘蛛访问某个目录 （例如禁止admin\css\images被索引） User-agent: * Disallow: /css/ Disallow: /admin/ Disallow: /images/ 7、允许访问某个目录中的某些特定网址 User-agent: * Allow: /css/my Allow: /admin/html Allow: /images/index Disallow: /css/ Disallow: /admin/ Disallow: /images/
在书写写这些语句的时候尤其注意的一点是冒号（：）和（ /） 之间要有一个空格符，如果这个空格没有加的话，是不能起到作用的，robots.txt文件一般放在网站的根目录下，而且命名必须是robots.txt。
在屏蔽目录的时候，注意，这里如果是阻止抓取某目录的话目录名字一定要注意“/”，不带“/”表示的是阻止访问这个目录页面和目录下的页面，而带上“/”则表示进阻止目录下的内容页面，这两点要分清楚。
为了让搜索引擎更快的收录我们的内页，我们一般都会做一个百度地图或者谷歌地图，那么，Sitemap:+网站地 图，这个命令就可以快速的引导搜索引擎蜘蛛来到你的地图页面对网站内页进行抓取。当网站的死链接过多处理非常麻烦的时候，我们可以利用robots来屏蔽 这些页面，这样就可以避免网站因为死链接被百度降权。
在SEO优化过程中，对于蜘蛛的了解和控制至关重要，关于robot.txt的写法，就先说这些吧，希望能够帮助大家写出利于搜索引擎优化的robots.txt文件。