Baiduspider遵守互联网robots协议。您可以利用robots.txt文件完全禁止Baiduspider访问您的网站，或者禁止 Baiduspider访问您网站上的部分文件。 注意：禁止Baiduspider访问您的网站，将使您的网站上的网页，在百度搜索引擎以及所有百度提供搜索引擎服务的搜索引擎中无法被搜索到。

　　您可以根据各产品不同的user-agent设置不同的抓取规则，如果您想完全禁止百度所有的产品收录，可以直接对Baiduspider设置禁止抓取。

　　以下robots实现禁止所有来自百度的抓取：

　　User-agent: Baiduspider

　　Disallow: /

　　以下robots实现禁止所有来自百度的抓取但允许图片搜索抓取/image/目录：

　　User-agent: Baiduspider

　　Disallow: /

　　User-agent: Baiduspider-image

　　Allow: /image/

　　请注意：Baiduspider-cpro抓取的网页并不会建入索引，只是执行与客户约定的操作，所以不遵守robots协议。