智库专栏 | 走向封闭的搜索引擎

微信邦

凯文·凯利说，人类不是科技轨迹的终点，而是中点。处于中间的我们，享受科技带来的便利，也承担它可能的风险；我们和科技站在一起，对未来保持敬畏，也展开双臂拥抱未来。

“腾云”特别推出“智库专栏”，邀请一批专家学者就科技和互联网的前沿领域及话题展开专项讨论，探讨人类、科技、互联网的平衡关系和未来趋势。

走向封闭的 搜索引擎

—

胡凌

上海财经大学法学院副教授、副院长。

感谢冯亮阅读初稿并提出修改意见。

他们搜狐，我们搜狗，各搜各的。

——电影《大腕》台词

搜

索引擎是重要的互联网服务之一，帮助人们从海量信息中找到有用信息。由于搜索服务商的信息中介性质，其法律地位与责任一直是国内外研究的焦点，概括而言可以分为三个层面：（1）搜索的内容和商业模式层面，涉及隐私保护（被遗忘权）、内容审查、知识产权侵权、网络广告、不正当竞争等；（2）算法层面，涉及算法黑箱的监管和必要信息披露；（3）企业组织层面，涉及企业垄断地位，以及是否应当作为一种关键设施进行特殊监管。本文并不试图进行面面俱到的综述，而是希望由2016年“魏则西事件”切入，观察百度推广行为的整改与搜索引擎服务模式和变化趋势之间的关联，将上述法律问题串联起来。

智库专栏 | 走向封闭的

“魏则西事件”引发了人们对搜索引擎服务法律责任的讨论，特别是像百度这样以竞价排名将推广链接置于自然搜索结果之前不加区分的做法是否适当。现有争议的焦点在于，百度推广链接在法律性质上是否属于一种广告，以及百度应当承担何种审查责任。相当多的研究和评论指出在现有法律框架下应当认定推广链接是广告行为，百度需要为此承担审查责任，尽管一直没有得到监管机构明确支持；鉴于医药行业信息和普通信息不同，即使不认定为广告，百度也需要担负更多审查义务。这里引申出的问题是，为确保服务质量，应当提升搜索引擎服务市场的竞争程度、依靠市场解决问题，还是应当加强政府监管？之前的讨论都隐含了政府部门（至少是法院）应对推广链接的法律性质进行明确，并加大执法查处力度。另外一些自由派观点认为，这一问题的最终解决仍然要靠市场竞争，而非增加企业责任，应该为搜索引擎市场松绑，减少政府管控。抽象地看，双方的主张都有道理，但在这个具体问题上，认为搜索引擎市场竞争不充分、甚至出现谷歌退出的观点，并不符合内地市场上仍有搜索公司相互竞争的现实，有必要更加细致地对搜索引擎竞争行为和负外部性之间的联系进行阐发，特别是市场结构的特点；另一方面，认为政府监管缺失的看法也没能指出监管行为在微观上如何改善这些问题。另外，之前的研究符合人们对搜索引擎服务的常识性假定，即它是建立在开放互联网之上的“过滤器”，但后文将指出，有必要将视野扩展至依托封闭网络资源提供的搜索服务，它们将是未来搜索的常态。

本文将首先讨论搜索引擎商业模式如何与开放互联网相契合，却不得不承担相应的内容审查和侵权责任，随后简要分析市场竞争和政府监管各自对解决这类问题的效果。结论是，像魏则西事件这样的问题是通用搜索更容易遇到的问题，推动市场良性竞争与加强政府监管两种思路都会导致通用搜索服务的萎缩，推动更加专门化的垂直搜索业态发展，从而间接地解决负外部性。同时，无论是通用搜索还是专门搜索，都越来越依托于一个更加封闭的信息（服务）资源池，采取购买正版、声誉机制、实名制等方式进行管理，这是互联网产业进一步加剧信息入口争夺带来的必然结果。

开放互联网与通用搜索的兴起

啊

原

初的搜索引擎服务帮助用户从海量网页中找到算法预测最优的在线信息，但并不直接向用户提供这些信息，只是显示链接或快照。这样一种通用搜索存在了相当长的时间，人们接受这种形态的服务是因为它总体上对用户和网站都有利，搜索引擎形成了一个源于在线公共资源池的不断更新的在线黄页，甚至可以预测搜索结果，塑造用户的预期。

有几个因素不断影响这一服务形态的变化：首先，用户对愈加专门的信息服务更感兴趣，如音乐、影视、学术等，如果能够有专门的算法和页面提供这类服务将大受欢迎；其次，被检索到的网站的态度不尽相同：对中小网站而言，它们希望搜索引擎作为排行榜存在，这样可以通过SEO或推手将本网站进行推广；具有优质内容和认知度的大型网站则不希望搜索引擎检索到它们的页面信息，否则相当于一种搭便车，帮助增加了搜索引擎的流量；第三，为解决上述两个问题，既要以低成本吸引到用户，又提供专门的信息服务，搜索公司通过技术优势抓取某些未经授权的作品、或鼓励用户上传、传播甚至提供下载，这一“非法兴起”过程帮助其迅速崛起，形成了在线文化服务的入口。尽管版权法和侵权法明确了相关侵权规则，至少是和版权有关的大量案例说明，搜索公司在承担间接侵权责任方面获益较大，这表现为它最终确立了优势地位，和正版音乐、文学和影视厂商达成合作协议，还不断积累起像百度文库、知道、百科这样的同侪生产（peer-production）的服务。

“非法兴起”的重要背景是开放互联网。搜索公司可以用技术手段抓取免费内容、提供侵权链接，也可以鼓励众人为之生产，却不愿意承担信息审查的义务，这就是所谓“技术中立”或“信息中介”。这是互联网发展的典型模式，即利用信息技术低成本优势将社会中各类免费资源进行重新调配，打破原有的资源生产和使用渠道，第三方电商平台和网络专车都遵循着这一逻辑。

尽管有好处，开放互联网会带来一系列问题，包括信息安全（3Q大战的深层次原因）、未经核实的信息（导致整治谣言）、匿名性（产生了实名制）、刷单（打击推手的起因）带来的问题。同时，开放互联网有利于新兴互联网企业崛起，将更多零散资源整合在一起，提供连接平台与信息服务，这也被认为是网络创新的重要来源之一。但如何平衡其利弊，既持续从网络资源中产生价值，同时减少开放带来的负外部性，就成搜索公司和政府不得不考虑的问题。

与这类免费内容相匹配的是竞价排名的广告系统。百度区分了竞价搜索和自然搜索，为了盈利需要，往往将竞价搜索结果置于自然搜索结果之前，极易引人误解，甚至还产生了因购买关键词导致的商标侵权、联想词名誉侵权（甚至是所谓被遗忘权）等一系列纠纷。广告联盟是另一个盈利模式，可以不断通过cookies追踪用户搜索行为，从而动态地在更多的页面上发布广告（也有侵犯隐私的争议）。从这个意义上说，搜索本身已经成为了解用户状态的重要工具，可以通过搜索行为动态地预测用户的偏好、推动网络广告的智能化、塑造搜索结果。在信息时代，严格而言，任何一条信息都可能成为有价值的链接，或者是得到商业赞助的信息，从而使广告信息和一般自然信息在形式上区分变得愈加困难。

在魏则西事件发生之前，竞价排名虽备受质疑，其合法性并不是一个问题，因为没有法律规定搜索引擎服务应当是一个去除商业补贴的公共设施或公共服务（由于缺乏足够好的模式支持，政府主导的搜索引擎服务反而失败了）。另外，为数不多的挑战百度垄断地位的诉讼都以失败告终，尽管在很多人心目中百度很可能已经处于垄断地位。更重要的是，竞价排名确实为公司提升了利润，随着竞争加剧，苹果公司也在考虑在应用商店中引入竞价排名。

中立、公正的搜索在严格意义上并不存在，算法不会透明，用户只能接受不那么精确的搜索结果（如果为了精确，只能进一步以隐私交换）。实际上人们反对的是将竞价结果和算法自动生成的结果加以混淆、以信息服务的方式推送广告，而竞价信息应当得到披露，尊重用户的知情权和选择权。类似的例子还包括：（1）淘宝店主可以以返现让利的方式要求顾客给予好评，但需要向其他顾客披露这一信息，以便后者做出理性选择决定是否购买，这一点和名人广告的原理类似；（2）智能手机操作系统可以通过收费预装捆绑部分应用程序，但需要提供卸载选择，以便用户自行决定是否保留。因此，魏则西事件争议的焦点也是如何保持内在算法和外在信息呈现相互平衡的问题。和治理商业网络推手的方案一致，可以要求百度将商业赞助信息和自然检索信息通过标注加以区分，以免引起混淆。

在开放互联网环境下，搜索引擎无法单纯依赖所谓技术中立或信息中介免除法律责任，需要对明知的侵权行为承担间接责任，或者承担行政义务，这种义务在搜索公司成为信息入口的情况下尤为重要。如果我们把这种责任看成是从开放互联网资源中汲取价值而需要付出的成本，那么该成本会随着互联网市场竞争愈加激烈而不断提升，使得打造封闭的正版资源池比依赖开放盗版更加有利。下文将论证，无论是市场演进还是政府监管都促使搜索服务向这一方向变化。

中立、公正的搜索在严格意义上并不存在，算法不会透明，用户只能接受不那么精确的搜索结果（如果为了精确，只能进一步以隐私交换）。实际上人们反对的是将竞价结果和算法自动生成的结果加以混淆、以信息服务的方式推送广告，而竞价信息应当得到披露，尊重用户的知情权和选择权。类似的例子还包括：（1）淘宝店主可以以返现让利的方式要求顾客给予好评，但需要向其他顾客披露这一信息，以便后者做出理性选择决定是否购买，这一点和名人广告的原理类似；（2）智能手机操作系统可以通过收费预装捆绑部分应用程序，但需要提供卸载选择，以便用户自行决定是否保留。因此，魏则西事件争议的焦点也是如何保持内在算法和外在信息呈现相互平衡的问题。和治理商业网络推手的方案一致，可以要求百度将商业赞助信息和自然检索信息通过标注加以区分，以免引起混淆。

在开放互联网环境下，搜索引擎无法单纯依赖所谓技术中立或信息中介免除法律责任，需要对明知的侵权行为承担间接责任，或者承担行政义务，这种义务在搜索公司成为信息入口的情况下尤为重要。如果我们把这种责任看成是从开放互联网资源中汲取价值而需要付出的成本，那么该成本会随着互联网市场竞争愈加激烈而不断提升，使得打造封闭的正版资源池比依赖开放盗版更加有利。下文将论证，无论是市场演进还是政府监管都促使搜索服务向这一方向变化。

搜索市场的结构

啊

上

文提及通用搜索和专门搜索的区分，这是市场竞争不断加剧细分的必然结果。我们可以按照搜索资源的开放程度和服务的专门化程度两个标准将搜索服务进行分类：

智库专栏 | 走向封闭的

这一列表显示出实际上搜索市场的参与者较多，结构呈现出多种搜索服务形态并存的现象，并非只有百度一家独大，百度可能在市场I即通用开放搜索市场占据相当的份额，但具体争议中的相关市场界定（究竟是上述表格的哪个象限）需要由法院进行认定，从来不是一个客观的现实。人们之所以会产生百度具有市场支配地位的印象，是因为他们往往把搜索服务和依托的信息资源分离开来。下文将论证，这两个要素对理解搜索市场的结构密不可分，从而加深我们对互联网多边市场的理解。

主张搜索引擎服务进一步市场化的主张主要是希望允许至少是谷歌搜索再次进入中国大陆市场（进而降低言论审查标准），却没有解释现实：为什么一个拥有必应（同样是美国企业）、360搜索、搜狗、中搜等国内企业的市场没能解决负外部性？要分析这一问题，有必要首先按照竞争法上分析相关市场的方法对搜索市场做一界定。从地域范围来看，可以认定这一市场至少涵盖了中国大陆地区；从服务类型来看，搜索服务出现了多种形态，既包括通用搜索，也包括针对特殊领域的垂直搜索，竞争呈现多元化趋势。同时，搜索企业还面临着不同平台和终端上的竞争，在PC端的市场占有率高，并不意味着在智能手机上的占有率同样高，尽管在一定时间内某一终端上的搜索服务可能占据主导优势，一旦通向互联网的入口发生改变，竞争优势也会很快丧失。通用搜索也越来越受到垂直搜索模式的影响，魏则西事件从这个角度看，提出了通用搜索是否要像垂直搜索一样需要对专业信息把控更为严格的问题。

垂直搜索的出现并非偶然，首先是作为一种细分市场的延伸，和垂直电商的逻辑类似，满足用户对精准分类信息的需求；其次是越来越多的拥有内容的企业自己也推出自身体系内的搜索服务，例如电商和社交网站。这种搜索在技术上可能无法和通用搜索抗衡，但由于它们控制着大量内容，如果其服务的用户黏性足够大，就没有必要依托通用搜索服务，甚至反向屏蔽搜索引擎爬虫抓取其内容资源，不允许其内容出现在搜索结果中。从这个意义上说，搜素服务的专门性进一步淡化，鉴于网络上的大量信息都可以被免费抓取利用，任何拥有技术能力的企业都可以自立搜索门户，它们要么把守自己的内容，要么爬梳别人的内容，并通过放置搜索广告获利。法院至今仍纠结于作为一种通用服务形态的“搜索引擎”，在360搜索vs百度这样的案件中倾向于认可像Robots协议这样已经过时的不成文规范，而在另一些“垂直搜索”网站抓取竞争对手内容资源的案件中则认定为是不正当竞争行为。由此，既有搜索服务若想成功、新搜索服务若想崛起，都势必依托一个在先的资源池，无论这一资源池是从自己还是他人的服务积累而来。资源池的内容越专业真实，搜索结果的质量就越高。那么对搜索服务提供者而言，要么尽力打造自身的高质量专业资源池，提升搜索服务，要么默认大量互联网上低质量信息，帮助放大这些信息的影响，甚至通过纯粹竞价的方式加以推广，并以无法对大量信息的真实性进行核实为理由，在从中获利的同时拒绝承担社会责任。

由此，不能否认中国搜索引擎服务市场存在的竞争，尽管可能不充分，其之所以不能解决负外部性，部分是因为通用搜索和垂直搜索之间的竞争是错位和差异化的，部分优质资源会转向更加封闭的互联网企业，而通用搜索企业仍然依靠老旧的竞价营利制度，越来越无法适应市场需要。在平台企业模式下，市场竞争的方式发生了明显的改变，竞争行为不是集中于某一个市场，而是存在于复杂的交叉补贴过程中，不同公司依赖的生产性资源不同，之间无法产生显著的特定市场竞争。

事实上，百度也早已认识到这一点，从百度MP3到百度文库到百度贴吧等争议，可以看出其打造并控制不同领域的专门资源的趋势十分明显，未来的医疗、法律等专门服务也会朝向这一方向迈进。特别地，从对百度相关贴吧的收割事件可以看出，百度急于将封闭的社群变现，而不是依靠其缓慢的生长，和百度文库、知道的性质一样，平台主导下的在线社群不过是其一个特定阶段的商业模式而已，用户从来无法主导这些社群的发展和自治，反而变成“围墙花园”（walled garden）中的免费劳动力。

我们就不难理解为什么原初的搜索公司在打造自营封闭资源池，而原初的内容服务商和分享经济也在加大对搜索技术和人工智能的投入，在多边市场竞争情况下殊途同归，进一步导致竞争的同质化。当然，搜索服务与自营封闭资源池的结合有利有弊，从好处说，这使用户会优先搜索到和本公司有关联的内容，或访问本广告联盟的广告，将用户圈在自己的生态系统中；在这个意义上，即使加强对广告和竞价排名的监管，仍然无法将其从更大的商业模式中剥离。例如，搜索结果中可以有几种策略选择：（1）关联服务内容优先，如百度百科；（2）点击访问量高的网页优先，如PageRank，这需要算法技术的投入，但产出收益未必明确；（3）付费内容优先，如竞价排名，产出收益明显。其中（2）的收益不明确，（3）在受到严格监管时收益下降，只有（1）收益更大，特别是还没有出现像欧盟那样追究这类“绑定”带来的问题。但这类封闭策略也会使其他新兴搜索公司有利可图，例如360搜索的爬虫抓取百度百科的内容服务以加强自身搜索结果的吸引力（这本身就说明打造封闭资源池的重要），产生不正当竞争纠纷，这可能会进一步导致通过技术措施保护自身资源池的军备竞赛。

综上，有价值的优质内容是所有成熟互联网公司/平台企业都在追求的目标，在发展早期利用非法方式从开放互联网免费获取生产资料，但后期的平台模式则凸显出封闭资源池的必要性，以确保竞争优势。

政府监管未意料的后果

啊

在

魏则西事件中，对于其最大的商业推广客户莆田系的真实情况和问题，百度只是对广告资质进行了形式审查（依托武警二院），按照常理推断不可能不知道其实际状况，仍然帮助不适当地放大了影响，也间接地造成了魏则西的悲剧。同时，工商行政管理部门在相当长的时间里没有把商业推广认定为广告，放任更多的问题网站出现在百度搜索界面上。这导致很多类似的通用搜索公司都采取这种竞价的方式。不少法院也集中于探讨在竞价排名的法律性质问题上，百度承担广告经营者责任还是普通信息中介责任。实际上，360开发插件标记百度搜索结果中的不当内容，帮助用户识别有害信息，对消费者是有利的，却因百度起诉不正当竞争败诉而告一段落。

鉴于互联网企业大量的越界竞争，起初的通用搜索企业也把积累各自资源池、扩展打通各种服务作为比改进算法规则本身更重要的业务方向。算法是一个黑箱，人们只能通过展示出来的搜索结果对其进行约束。搜索服务企业会不断调整其算法，但如何实现最优一直是难于回答的问题。像PageRank这样的算法以网页的链接数量为基础加权，计算得出某个网站的排名指数，也会引发SEO、推手作弊等问题。从这个意义上说，考虑到算法是企业最重要的商业秘密和资产，单纯的算法本身无法用服务品质最低保障这样的标准来要求，只能通过外在用户的选择和对搜索结果的控制加以约束。要求公开算法的透明性原则无法直接适用到监管中，就像法律无法要求剖开大脑理解思想如何产生，只能假定自由意志的存在，并根据其外在表现行为加以约束。

按照联合调查组的整改要求，百度需要改变竞价排名机制，调整算法，将信誉度作为算法的主要权重。这一要求实际上契合了互联网长期以来的自我监管实践（淘宝、滴滴模式），通过累计起来的用户评分作为评估相关服务的主要依据，依据声誉治理是处理大量分散化交易的主要监管手段，也在被用于越来越多的分享经济实践。这意味着为相关资源打分的主导权将从百度（靠竞价打分）转向大众（靠声誉打分）。新出台的《互联网信息搜索服务管理规定》也明确了这一点。

一个合理的微观问题是，针对通用搜索的规制如何有助于改善搜索质量？数据显示，新监管已经提升了百度的合规成本，导致其广告收入大幅下降，迫使其要么提升广告和搜索算法的精确性（如开发人工智能），要么购入更好的资源，打造更为坚实的资源池。何种策略为优就成了百度需要考虑的问题。

像百度这样的通用搜索如果按照信誉度方向调整，可能出现的问题是：百度面对的是一个无尽的网络世界，而无论是淘宝还是滴滴，大量生产资源都有一个默认加入其封闭体系并服从其评分监管手段的形式。可以追问的是，即使百度对推广链接进行了信誉度评分，但如何评估依靠自然算法得出的搜索结果的信誉度、如何为百度并不控制的资源打分就成了一个问题。这需要区分商业类网站和非商业类网站，需要时间积累大量评分才能见到初步成效。

一个可能的短期对策是，将更多的资源用于加强专门资源池建设而非改进算法的精确度，并对可能的自然搜索风险进行保险或者提前赔付（也是分享经济自我监管的举措）。百度之前的贴吧商业化可以说是一个失败的尝试，它可以尽可能和更为专业的职业群体进行合作，确保服务质量，将审查义务的成本转移给职业群体。鉴于百度自己会把自己服务的权重提升，通过这种方式加强信息的可信度可能更为便捷。封闭的资源池的形成可能是政府监管未意料到的重要后果之一。

其他互联网公司打造封闭资源池的经验或许可以进行比较讨论。我在上篇专栏中讨论的微信公众号依赖“原创标识”的架构设计，逐渐积累起只有微信上才能看到的正版内容数据库；天猫商城从淘宝中分离，是阿里有意进行的服务区分；视频网站从UGC到天价引进剧到自制剧不仅体现了成本问题，更折射出封闭内容资源池的重要性。

为落实商业信息的权威性，通用搜索企业还可以和监管机构合作，对后者掌握的专业资质认证数据库进行挖掘利用，便利搜索。这会引出作为私人企业的搜索服务的公平性和中立性问题。在通用搜索时代，搜索引擎可能被视为一种准公共服务，并被施加不得歧视其他竞争对手的义务。但如前所属，通用搜索只有通过加强专有信息资源建设才能提升搜索质量，在这一过程中自己也变成了一种垂直搜索。算法歧视无可避免，也被越来越多的竞争者视为理所当然，为避免自身服务受到歧视甚至排挤，互联网企业也有动力打造自己的搜索工具，背后的逻辑一直是依靠排他性的封闭资源获取竞争优势的商业逻辑。

尽管有大量人工智能领域的投资，本文的结论是反直觉的，即算法能力上的竞争在当下互联网市场中并非如此重要，监管者针对算法的监管并非意在改进精确度，而是推动信息资源的优化，从而和互联网整体演进趋势相互契合，无论如何都会改变竞价排名的商业模式。我们还可以进一步探究竞价排名有效程度和某一信息市场成熟程度之间的关联。在一个聚合专业优质资源的竞争性市场上，竞价排名无需出场，依靠声誉和事后赔偿足以起作用，除非资源聚合平台情愿杀鸡取卵。只有在各类竞争者共同挖掘某一公共资源池的情况下，算法才变得更加重要，新浪微博和脉脉的不正当竞争纠纷就充分体现了这一点。

魏

则西的悲剧让全社会声讨百度的商业模式，进一步推动了其商业模式的转型。这一转型契合整个互联网分享经济模式，并就诸如评分、保险、先行赔付等机制进一步达成共识。通用搜索引擎也将进一步转变其功能，处理更为复杂的大众评分和信誉排名问题。这一功能未必削弱了百度的信息入口地位，反而可能在一个新层次上更加微妙地加强其处理信息的权力和能力。这一逻辑和从Windows平台上失控的软件到集中为iOS生产App的转型十分类似，百度无法再依靠大量不受审查的粗糙信息获利，必须更加精细地控制资源的声誉，推动声誉和价值的不断再生产。未来的搜索服务会依托各类资源变得更加专业，竞争也更加多元。市场力量和行政监管力量都在推动通用搜索向垂直封闭搜索转变，进一步分散到各类信息入口和封建领地中，从而间接解决负外部性的问题。

搜索引擎服务的变化也从一个侧面折射出中国互联网行业的变化，魏则西事件的发生正处在搜索公司从开放转向封闭的过程中，这一视角有助于我们更好地理解这一事件。此外，本文以搜索引擎市场为例，初步解释了三个一般性的问题：（1）互联网企业从开放转向封闭的商业逻辑；（2）算法竞争何时有效；和（3）如何打造有价值的封闭在线资源池。