网站获得搜索引擎抓取是很多企业期待的，当然，某些特殊的情况是我们不愿意让网站抓取全部或部分内容。如果我们不想要搜索引擎索引网站的某些内容或全部内容，最好的办法就是借助rebots.txt文件。
robots.txt文件是搜索引擎抓取协议，这个协议是目前大部分搜索引擎都需要遵守的，相当于搜索引擎的抓取引导。大部分搜索引擎都会按照这个文件的要求进行抓取网站内容，所以编写这个内容，就相当于给搜索引擎编写了一套引导大纲。不过要明确一点，robots.txt文件是一份协议，也就是搜索引擎可以遵守，也可以不遵守。
禁止所有的搜索引擎访问网站全部内容
User-agent: *
Disallow:/
禁止百度搜索引擎访问网站全部内容
User-agent: Baiduspider
Disallow:/
允许所有搜索引擎访问全部内容；也可以为空
User-agent: *
Allow:/
允许/禁止百度搜索引擎抓指定格式的图片
User-agent: Baiduspider
Allow: /*.gif$
Disallow: /*.jpg$
允许/禁止百度搜索引擎抓取网站的动态页面
User-agent: Baiduspider
Allow: /*.php$
Disallow: /*.jsp$
