爬虫协议也称Robots协议、爬虫规则等,是指网络服务商可设立特定的电子文件来向搜索引擎示明自身哪些内容可以抓取,而搜索引擎则可以读取该文件来识别所在页面是否允许被抓取。然而,由于爬虫协议本身存在着非强制性,搜索引擎的网络爬虫很容易就能够绕过此文件来实现信息抓取的目的。2012年,百度基于爬虫协议诉奇虎(360搜索)不正当竞争一案将爬虫协议及其一系列相关的互联网法律问题带入了公众的视野,自此以后相关案件层出不穷。由于我国现有法律对于爬虫协议缺乏直接、明确的适用规定,对于司法实践的结果学者们亦存在一定的争论与分歧,对于此问题的法律规制亟待解决。本文认为,Robots协议虽然表面具备技术手段的特征,但其法律性质同样不容忽视。特别是我国《互联网搜索引擎服务自律公约》的签订,使Robots协议在业界已经上升为重要的行业惯例之一。作为互联网用户、搜索引擎服务商、网络内容服务商三角关系的核心,Robots协议及相关规范应当受到每一位互联网参与者的支持与遵守。从反不正当竞争的角度来看,以行业规范为代表的商业道德通常会作为认定不正当竞争行为的重要考量因素。而搜索引擎能够在抓取其他网站信息的过程中遵守所遇到的Robots协议事实上也属于一种行业内的普遍商业伦理,一旦与之悖逆,就可能会形成不正当竞争行为。同时,网络内容服务商虽然拥有自由设立Robots协议相关内容的权利,但依然应当受到互联网“互联互通”原则的约束。此外,在我国《反不正当竞争法》面临新旧交替、更新换代的当下,立法者们也应当立足现实、放宽视野,坚固司法机关对各类新型反不正当竞争行为的认定资格,用更丰富的标准与更完善的方式来建设我国的法律制度。从反垄断的角度来看,虽然搜索引擎服务商之间存在着竞争,但其也应当尊重竞争、顺应竞争,只有在竞争中努力提升自身实力,优化服务,才能实现突破与成长。Robots协议的设立本是为了维护互联网信息安全与稳定,不应使其沦为市场支配者手中限制、排除竞争的工具。