robots是什么意思

robots “机器人”，在网站优化领域即搜索引擎机器人，搜索引擎是根据自定的算法自动抓取网站、网页的，而负责这个任务的就是这个各个搜索引擎的robots。eg：Google网络蜘蛛的标识为GoogleBot，Baidu网络蜘蛛的标识为BaiDuSpider， Yahoo网络蜘蛛的标识为Inktomi Slurp。