什么是百度蜘蛛？它的原理是什么？我们都知道如果网站要想被收录还要看蜘蛛往不往你的页面爬，我们说了那么网站推广的方法，但是其中都离不开百度蜘蛛，所以今天我们回归最原始的状态，来了解一下百度蜘蛛，如果你之前不了解那么一定要好好学，如果你之前了解过也没关系，我们在来复习一下！

　　什么是百度蜘蛛？它的原理是什么？

　　网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫。

　　搜索引擎认为对于一般的中小型站点，3层足够承受所有的内容了，所以蜘蛛经常抓取的内容是前三层，而超过三层的内容蜘蛛认为那些内容并不重要，所以不经常爬取。

　　通过iis日志可以看蜘蛛爬取了哪些内容，iis日志有百度蜘蛛、谷歌蜘蛛等。从iis日志里卖弄分析得出蜘蛛的类型、抓取时间、抓取的页面、抓取内容的大小以及返回的页面代码，200代表抓取顺利。

　　对于蜘蛛说网页权重越高、信用度越高抓取越频繁，例如网站的首页和内页。蜘蛛先抓取网站的首页，因为首页权重更高，并且大部分的链接都是指向首页。然后通过首页抓取网站的内页，并不是所有内页蜘蛛都会去抓取！

　　所以说如果想要得到蜘蛛的青睐，那么就真的需要要一番功夫了，还是那句现在百度的抓取还是最重视用户体验的，你们懂得！