RELATEED CONSULTING
相关咨询
选择下列产品马上在线沟通
服务时间:8:30-18:00
关闭右侧工具栏

新闻中心

这里有您想知道的资讯与动态
360搜索爬虫360蜘蛛spider正式推出
360搜索爬虫360蜘蛛spider正式推出。站长可以通过设置网站robots.txt文件来决定是否允许360搜索蜘蛛(360Spider)抓取网站内容。

  如果站长希望自己的网站被360综合搜索收录,可以先检查一下您的网站robots.txt 文件是否允许360搜索蜘蛛抓取。如果您的网站还没有允许360搜索蜘蛛抓取,只要在robots.txt 文件中添加下面的代码就可以啦:

  User-agent: 360Spider

  Allow: /

  如果想屏蔽360spider对网站的抓取,可这么书写

  User-agent: 360Spider

  Disallow: /

  据站长之家旗下服务超级监控发现,360搜索蜘蛛在上周就已经出现,之所以没有正式推出,是因为产品刚上线时对robots协议处理有异步延迟的情况。目前,360综合搜索已全面改进。

  网站日志可以查看到360爬虫记录

  同时,360综合搜索官方表示,360蜘蛛同样支持disallow命令,如果网站设置了通用的disallow,360搜索是不会去抓取页面的。