1、robots基本概念

Robots.txt文件是网站的一个文件，它是给搜索引擎蜘蛛看的。搜索引擎蜘蛛爬行道我们的网站首先就是抓取这个文件，根据里面的内容来决定对网站文件访问的范围。它能够保护我们的一些文件不暴露在搜索引擎之下，从而有效的控制蜘蛛的爬取路径，为我们站长做好seo创造必要的条件。尤其是我们的网站刚刚创建，有些内容还不完善，暂时还不想被搜索引擎收录时。

robots.txt也可用在某一目录中。对这一目录下的文件进行搜索范围设定。

几点注意:

网站必须要有一个robot.txt文件。

文件名是小写字母。

当需要完全屏蔽文件时，需要配合meta的robots属性。

2、robots.txt的基本语法

内容项的基本格式:键: 值对。

1) User-Agent键

后面的内容对应的是各个具体的搜索引擎爬行器的名称。如百度是Baiduspider，谷歌是Googlebot。

一般我们这样写:

User-Agent: *

表示允许所有搜索引擎蜘蛛来爬行抓取。如果只想让某一个搜索引擎蜘蛛来爬行，在后面列出名字即可。如果是多个，则重复写。

注意:User-Agent:后面要有一个空格。

在robots.txt中，键后面加:号，后面必有一个空格，和值相区分开。

2)Disallow键

该键用来说明不允许搜索引擎蜘蛛抓取的URL路径。

例如:Disallow: /index.php 禁止网站index.php文件

Allow键

该键说明允许搜索引擎蜘蛛爬行的URL路径

例如:Allow: /index.php 允许网站的index.php

通配符*

代表任意多个字符

例如:Disallow: /*.jpg 网站所有的jpg文件被禁止了。

结束符$

表示以前面字符结束的url。

例如:Disallow: /？$ 网站所有以？结尾的文件被禁止。