360违反Robots协议
虎360被指违反Robots协议抓取网站信息，让“3B大战”再升级。但Robots协议从效力上看是行业自律，其具体内容、如何遵守
奇虎360公司和百度就搜索市场展开的“3B大战”已经引起监管部门的介入。日前，搜狗公司CEO王小川在微博上爆料称，政府主管部门已向搜狗征询对搜索大战的态度。对于这次“3B大战”，消息人士说，政府相关部门已找到百度、奇虎360、搜狗各方了解事态进展，希望能够从中调停，防范整个事件升级。
在此次纷争中，奇虎360被指恶意违反Robots协议，强行抓取百度数据违背行业规范，成为这次事件中最受业内关注的焦点。
Robots协议也称爬虫协议、爬虫规则等。网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。Robots协议是行业通行的规则，其目的是保护网站数据和敏感信息，确保用户信息和隐私不被侵犯，但其实施主要依靠搜索引擎自觉遵守。
恶意竞争还是破冰之战
一些网友认为：“有这次争端很正常。国内的搜索引擎商之间早晚有这样的争斗，不是百度和360，就是百度和其他搜索引擎商。甚至我认为争端来得似乎有点儿晚。”
一段时间以来，百度搜索和360在垄断、不正当竞争、侵犯著作权和信息网络安全等领域都饱受争议。
“我认为这样的争端并不是坏事。一方面这样的争议有助于大家关注和讨论搜索带来的一系列问题，另一方面也有助于建立健康、有序的搜索业态。”北京金诚同达律师事务所律师李德成在接受法治周末记者采访时说。
“特别是，当搜索服务带有公共权力属性或者特征时，企业应当如何担负法律责任、社会责任以及为建立相关规范制度如何作出努力，这些问题在这样的争端中都会被更广泛地关注和讨论。”李德成认为，“表面上看，是用户分别被两家企业绑架作为出招和反制的筹码。但是从长远上看，用户一定会是公平竞争、健康有序的良好业态的最终赢家。”
对此，360方面的代表李亮表示，目前不方便接受媒体采访，360方面赞同评论人士方兴东的观点。
方兴东认为：“‘3百一战’意义深远，很可能是中国搜索市场垄断破局与变局的破冰之战。因为这场搜索大战，其竞争程度之激烈，战火波及之广，持续时间之长，战况之精彩，影响之深远，意义之重大，很可能创造一系列的历史之最。”
方兴东解释，所有软件应用中，搜索的垄断是最可怕的一种。因为搜索是网民的第一应用，也是全社会获取信息的第一要道。如果搜索失去中立性，将直接扭曲所有网民获取的信息，扭曲各行业信息的传播，扭曲产业竞争和良性发展。所以，一切激活竞争的事情都应该受到欢迎。
北京市中银律师事务所律师董正伟也向法治周末记者指出，百度市场垄断地位的后果将是搜索引擎广告价格的奇高。这对于互联网电子商务产业的发展是不利的。
“而360搜索引擎的推出，削弱了百度搜索市场份额，将促使百度降低广告价格，有利于互联网电子商务产业发展。同时，广大消费者在搜索引擎使用上也多了选择权。更重要的是，产业企业竞争行为还将迫使企业不断提高自身技术水平和服务质量，这将极大促进整个科技进步和社会进步。”董正伟强调。
百度工作人员李怡对法治周末记者说，目前百度不对媒体发表回应，请媒体关注第三方的观点。
Robots协议并非强制法规
事实上，Robots协议是一个行业规范，渊源则来自于google(谷歌)与各商业站点之间的“妥协”。
最初，早期的互联网主要是“用户-网站”模式，用户通过网站获取信息，网站通过吸引用户点击来实现广告收入。而当谷歌把搜索引擎变成一种成功的商业模式之后，很多网站原有的商业模式受到严重的影响。为了维护自身的利益，一些欧美大型网站联合起来与谷歌谈判，要求谷歌“有所为有所不为”，于是就要协商如何解决这些问题。
经过协商，基于网络安全与隐私的考虑，网站会设置自己的Robots协议来明示搜索引擎，哪些内容是愿意和允许被搜索引擎收录的，哪些则不允许。搜索引擎则会按照Robots协议给自己的权限来进行信息抓取。这已经成为一种行业惯例。
“我在当年参与国际七大唱片公司集体诉百度MP3搜索系列案件时，接触过这种叫做爬虫的搜索引擎程序。”李德成在接受法治周末记者采访时谈道，“该程序自动搜集互联网上的网页并获取相关信息。而Robots协议的核心思想就是要求爬虫程序不要去检索那些站长不希望被直接搜索到的内容，并将约束Robots程序的具体方法规范成格式代码。久之就成了Robots协议。在当年百度MP3搜索案件中，百度就曾主张如果某个网站不想被搜索到，可以通过技术手段实现不让爬虫程序获取该网页的相关信息。”
“所以，我认为Robots协议并非强制性法规，而是搜索引擎诞生后，互联网业界经过长期博弈，最终在搜索引擎与商业站点、公众知情权和用户隐私权之间达成的一种妥协机制。”李德成说。
Robots协议的约束边界
这种作为业内规则的协议，约束力到底有多大？
对于这次争端，董正伟认为，首先，Robots协议不是法律法规，并不具有普遍意义的强制约束力。其次，Robots协议属于行业惯例，即网站程序编制过程中，根据互联网惯例，网站程序文件设定哪些网站信息内容可以被搜索引擎工具扫描捕捉，并通过搜索引擎公开。
事实上，Robots协议是网站针对所有搜索引擎工具设定的公开与不公开信息的范围，而不是针对某一个或者某几个搜索引擎工具设定。比如网站设计中的密码登录系统信息、用户注册系统信息、社交网站用户信息、求职网站个人信息、电子商务网站用户信息等，都是Robots协议默认设计为禁止搜索引擎扫描捕捉的内容。
如果Robots协议仅仅选择与某个或者某几个搜索引擎工具达成协议，允许搜索扫描捕捉，这就构成了纵向垄断协议、分割市场、排除竞争行为，违反了反垄断法和反不正当竞争法。因此，以Robots协议为依据主张360搜索涉嫌侵权行为是站不住脚的，要考虑的是百度是否滥用市场支配地位，更改Robots协议而排斥360搜索的问题，董正伟说。
业内专家告诉记者，Robots协议背后的最基本的法律源头是宪法、民法中，“公众知情权”和“用户隐私权”之间的平衡机制。从Robots协议的效力上看是行业自律。其具体内容、如何遵守、违反之后的法律后果，在国内外都有很大的争议。当企业违反该协议时，要将其纳入到现有的法律体系中需要结合具体事实进行评价，可能涉及到民法、反垄断法、著作权法、专利法以及个人信息保护等方面的法律法规。
事实上，如果Robots协议得不到遵守，一家企业很难有效阻挡违规企业抓取自己的数据。因此，这必须依赖于行业和国家出台相应的法律及规定来制约，该业内专家说。
在法律无法管到，而微观企业之间也无法就事项达成一致，却又可能危害公众利益时，李德成强调，就需要相关政府部门站出来作出努力。一方面行业内企业需要加强自律，建立具有广泛共识的行业规范，并且该规范应当是有“牙齿”的规范，即有惩罚措施。另一方面政府需要及时地根据环境变化和行业的发展，进一步完善反不正当竞争法、著作权、民法、刑法及个人信息保护等法律法规。
“企业可能会质问，我做错了什么，哪条法律规定说我做错了，哪个条款规定了我要承担这样的责任？这也说明我们在立法、司法和行政这三个方面都有很多的工作要做，特别是在反不正当竞争和个人信息保护方面更是如此。”李德成说。