百度，这家中国互联网市场上呼风唤雨的搜索引擎厂商，最近却再次对奇虎360发起诉讼。而这场诉讼的核心内容则是，其指控奇虎360违反Robots协议。此案一出，舆论哗然。大部分公众或许并不太清楚Robots协议的具体内容，只能人云亦云而已。而要了解百度和奇虎360的恩怨，可能还需要从Robots协议本身说起。

1994年Robots协议由荷兰籍网络工程师MartijnKoster首次提出（MartijnKoster被誉为“Robots之父”），并于1997年向IETF提交申请试图把Robots协议作为该组织规范，但被IETF拒绝。之后，国际电信联盟（ITU）、W3C的规范也同样拒绝采纳Robots协议。

从功能上看，原生的Robots协议是网站指导爬虫的善意性提示文件。而Robots协议作为一个.TXT文件，是网站内容为了更有效率的被搜索引擎索引避，并为爬虫做出提示。只用允许和不允许两种语句表示建议抓哪些内容，不建议抓哪些内容。这其中，所有这些提示性建议都是善意的，这种善意的提示一般会被爬虫接受。

无论什么网络抓取协议，其目的都是为了保障著作权、保护个人隐私，尽可能地让互联网健康发展。而这也正是Robots协议的撰写初衷。实际上，如今的Robots协议代表了一种现代意义上的契约精神，但需要注意的是，这并非强制协议。而这种协议效力的约束必然是双方的、广泛的。不能说A厂商要求B厂商对其遵从Robots协议，而A厂商对B厂商就表示封杀robots协议。但在商业竞争环境中，由于不同厂商的利益纠葛，很可能因为Robots协议的遵从标准不同并最终导致不公平竞争。

从百度支持对360的诉讼来看，也有不公平竞争之嫌。把Robots协议的作用强调于奇虎360身上，而自己却在抓取其他搜索引擎内容或网站里的视频、音乐文件时忽视Robots协议。这样的行为，并非Robots协议初衷。而这样的“不公平竞争”和选择性执行，也或多或少导致奇虎360在这场诉讼中占据优势地位。而这，可能是百度事先没有想到的。

究其原因，百度很可能是在理解Robots协议中出了问题，也许是无心也许是有意，但最终的结果是反向、曲解了Robots协议本身，从而达到不正当竞争的目的。在2012年的《互联网搜索引擎服务自律公约》签约仪式上，百度、奇虎360等12家企业签署了一项公约，在遵从公平、开放和促进信息自由流动的原则上，以Robots协议为标准，进行互惠互利的发展。但很明显的是，百度这次的行为却是单方面地利用Robots协议打击直接竞争对手奇虎360，所以这样的行为或许会不被公众和法庭所支持。