360搜索爬虫360蜘蛛spider正式推出。站长可以通过设置网站robots.txt文件来决定是否允许360搜索蜘蛛(360Spider)抓取网站内容。

如果站长希望自己的网站被360综合搜索收录，可以先检查一下您的网站robots.txt 文件是否允许360搜索蜘蛛抓取。如果您的网站还没有允许360搜索蜘蛛抓取，只要在robots.txt 文件中添加下面的代码就可以啦：

User-agent: 360Spider

Allow: /

如果想屏蔽360spider对网站的抓取，可这么书写

User-agent: 360Spider

Disallow: /

据站长之家旗下服务超级监控发现，360搜索蜘蛛在上周就已经出现，之所以没有正式推出，是因为产品刚上线时对robots协议处理有异步延迟的情况。目前，360综合搜索已全面改进。

网站日志可以查看到360爬虫记录

同时，360综合搜索官方表示，360蜘蛛同样支持disallow命令，如果网站设置了通用的disallow，360搜索是不会去抓取页面的。

下面是主流搜索引擎怕丑spider的名称，在进行网站日志分析的时候，留下下

谷歌 Googlebot 百度爬虫baiduspider 雅虎爬虫 Yahoo! Slurp

新浪爱问爬虫 iaskspider 搜狗爬虫 Sogou Push Spider

网易爬虫 YodaoBot MSN爬虫 msnbot 必应 msnbot/1.1

SOSO Sosospider 360搜索 360Spider