介绍下搜索引擎蜘蛛到底是什么，让大家更加的了解。
由于搜索引擎专门用于检索网站信息的程序，把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。
搜索引擎抓取网站主要是靠着蜘蛛程序，可是蜘蛛也有不同的蜘蛛，站长比较属性的几种蜘蛛有批量蜘蛛，增量蜘蛛和垂直蜘蛛。
蜘蛛主要负责互联网上的页面的抓取工作，与切词器、索引器一起共同对网页内容进行分词处理，建立索引数据库。查询器主要是根据用户的查询条件检索索引数据库，并对索引结构进行计算和排名，可以快速的提取简要摘要反馈给用户。
360综合搜索正式推出360搜索蜘蛛（也叫爬虫）——360Spider。如果网站站长们希望自己的网站被360综合搜索收录的话，就查看下自己的网站robost。txt文件是否允许360搜索蜘蛛抓取你的网站内容，要是你的网站没有允许360蜘蛛的抓取，只要在robots。txt文件中添加下面的代码:
这段代码主要的意思是就是允许360蜘蛛访问你的网站，同时还有其他的搜索引擎，建议robots。txt允许所有搜索蜘蛛抓取，可以这样设置:
User-Agent:*
如何你的网站是这样设置就可以不用去做修改，要是网站设置过robots协议，要是想360搜索抓取你的网站那就另外添加:
User-Agent:*
User-Agent：360Spider
读完这篇文章后，您心情如何？
