1.4. 搜索的演进

搜索的演进概述

在1993年9月之前，万维网完全被手工索引。Berners-Lee（万维网之父）在瑞士欧洲核研究组织 CERN 工作期间创建了万维网。于是世界上第一个网站就在 CERN 搭建，而 CERN 则位于法国边境。网站在1991年8月6日上线：

Info.cern.ch 是世界上第一个网站及网站服务器。网站在一台位于 CERN 的 NeXT 计算机上运作。第一个网页地址是：http://info.cern.ch/hypertext/WWW/TheProject.html，它是万维网计划的讯息收集中心。

直到1993年夏天时，网上还没有搜索引擎，全部由人工维护着大量专门的内容目录。日内瓦大学的奥斯卡·尼尔斯特拉斯（Oscar Nierstrasz）写了一连串的 Perl 脚本，这些脚本定期抓取这些页面，并将它们重写为标准格式。这构成了 W3Catalog 的基础，W3Catalog 是网络上第一个原始搜索引擎，于1993年9月2日发布。

JumpStation（由Jonathon Fletcher于1993年12月创建）使用 Web 爬虫查找网页并构建其索引，并使用 Web 表单作为其查询程序的接口。因此，它是第一个结合 Web 搜索引擎（爬行，索引和搜索）的三个基本功能的网络信息检索工具。

最早基于爬虫的全文搜索引擎之一是1994年推出的 WebCrawler。与其前辈不同，它允许用户在任何网页中搜索任何单词，这成为后来所有主要搜索引擎的标准。它也是公众广为人知的搜索引擎。

不久之后，许多搜索引擎出现百家争鸣的态势。其中就包括 Magellan，Excite，Infoseek（李彦宏即是被推荐到这家公司从事搜索技术的开发），Inktomi，Northern Light 和 AltaVista 等等。而那时的 Yahoo! 是人们查找感兴趣的网页的最流行的方式之一，但它的搜索功能是基于网络目录，而非基于关键词来对网页内容进行全文检索。

大约2000年，Google 借助 PageRank 算法逐渐获得了更好的搜索结果，使得 Google 开始迅速崛起。

2000年1月18日，李彦宏和徐勇注册并成立了百度。2009年6月1日，微软重新命名的搜索引擎 Bing 推出。

截至目前，活跃的通用性搜索引擎包括 Google，Bing，Yahoo! ，百度和 Yandex。

时间轴 📆年份 🔍 搜索引擎 🌖 目前状态 1993 W3Catalog 可用 Aliweb 可用 JumpStation 失效 WWW Worm 失效 1994 WebCrawler 可用 Go.com 失效，重定向至 Disney Lycos 可用 Infoseek 失效，重定向至 Disney 1995 Daum 可用 Magellan 失效 Excite 可用 SAPO 可用 MetaCrawler 可用 Yahoo! 可用 AltaVista 失效，重定向至 Yahoo! 1996 Dogpile 可用 Inktomi 失效 HotBot 可用 Ask Jeeves 可用，更名为 ask.com 1997 AOL NetFind 可用，更名为 AOL Search Northern Light 失效 Yandex 可用 1998 Google 可用 Ixquick 可用，更新为 Startpage.com MSN Search 可用，更新为 Bing.com empas 失效 1999 AlltheWeb 失效，重定向到 Yahoo! GenieKnows 可用，更新为 Yellowee.com Naver 可用 Teoma 失效 2000 百度可用 Exalead 可用 Gigablast 可用 2001 Kartoo 失效 2003 Info.com 可用 Scroogle 失效 2004 Yahoo! Search 可用 A9.com 失效 Clusty 可用 Mojeek 可用搜狗可用 2005 SearchMe 失效 KidzSearch 可用，Google Search 2006 Soso（搜搜）失效，与 Sogou 合并 Quaero 失效 Search.com 可用 ChaCha 失效 Ask.com 可用 Live Search 可用，重组为 Bing 2007 wikiseek 失效 Sproose 失效 Wikia Search 失效 Blackle.com 可用 2008 Powerset 失效，重定向到 Bing Picollator 失效 Viewzi 失效 Boogami 失效 LeapFish 失效 Forestle 失效，重定向到 Ecosia DuckDuckGo 可用 2009 Bing 可用 Yebol 失效 Mugurdy 失效 Scout (Goby) 可用 NATE 可用 Ecosia 可用 Startpage.com 可用 2010 Blekko 失效 Cuil 失效 Yandex (英语) 可用 Parsijoo 可用 2011 YaCy 可用，P2P 搜索引擎 2012 Volunia 失效 2013 Qwant Active 2014 Egerin 可用 Swisscows 可用 2015 Yooz 可用 Cliqz 可用，整合到浏览器中 2016 Search Encrypt 可用 Kiddle 可用技术栈

第一个阶段，使用倒排索引解决匹配的效率问题，使用文档模型解决基本的相关性，使搜索引擎变得可用、可扩展，代表比如 Infoseek 。这一阶段只保证了基本的文字相关性，搜索的真正效果是无法保证的。

第二个阶段，使用超链模型，比如 Google 的 PageRank 算法和百度的超链分析技术。解决信息的权威性问题，使搜索质量有了质的飞跃。从这一阶段开始，搜索引擎快速普及与并进入商业化，为 Google 和百度这样的公司带来了丰厚的利润。

第三个阶段，一方面使用更复杂的规则和机器学习排序模型，综合考虑了用户的行为特征，如商品评论、点赞、收藏、购买等，使得搜索引擎的结果再次提升一个档次，这些在电商等垂直搜索上表现的会更加明显；另一方面，基于各种先进的自然语言处理技术，充分挖掘用户搜索行为日志，对 query 进行分析改写以召回更多更好的结果。

第四个阶段，从「有框」搜索时代步入更加人工智能的「无框」搜索时代。人机交互方式也将更多的是问答式的自然语言加语音的方式，而搜索引擎也更像一个智能机器人，理解人的自然语言问题，提供更加直接有效的知识和答案。这一阶段目前尚处于起步阶段，Google、Amazon 以及一些优秀的创业公司都在进行积极的探索。

视频推荐：Recap - Google I/O 2019（对第四阶段的智能化人机交互有更感性的认知）

本教程将在疏通搜索的路径一章，通过对通用搜索引擎工作原理的浅入浅出的描述来指导各位提高自身的搜索效率。

占山为王

尽管 Google 是目前全球搜索引擎市场的最大赢家（截止到2019年4月，Google全球份额占比 92.42％，统计来源：StatCounter），但考虑到本土化、用户习惯等因素，各个国家和地区也有着各自的主力搜索引擎。

国家/地区主力搜索引擎美国及全球多数国家 Google 俄罗斯 Yandex 中国百度韩国 Naver 日本 Yahoo! 捷克 Seznam 大事件

仍旧是按照时间顺序，尽可能完整地呈现那些影响过我们的搜索事件。产品上线、技术变革、隐私、死亡...总有值得我们铭记和思考的历史节点（入选事件带有我的个人偏好）。

时间轴事件概述 1997.2.5 李彦宏申请了超链分析技术专利，是现代搜索引擎领域的重要基础发明之一。 1997.9.15 Google.com 注册上线。目前是全球流量最大的网站。 1998.1.9 拉里·佩奇申请了 PageRank 专利，意义同上。Google 的崛起也要归功于此。 2001.10.22 李彦宏和徐勇创立的百度公司正式发布百度搜索引擎。 2007.5.25 Google 发布街景地图 2011年6月 Google 推出了语音搜索 2016年4月魏则西事件。受害者魏则西及其家人因在百度推荐的武警北京市总队第二医院接受了未经审批且效果未经确认的治疗方法，导致耽误治疗，最终不治去世。 2019年1月自媒体新闻实验室编辑方可成在微信公众号撰写的《搜索引擎百度已死》引发网络热议。百度在首页的搜索结果，基本上有一半以上会指向百度自家产品，尤其频繁出现的是百家号。移动时代

移动互联网之于搜索引擎意味着什么？

在你初来天府之国游玩儿时，你还会百度一下成都哪里有好吃的川菜馆子吗？在你准备五一小长假前往川西自驾时，你还会百度一下川西小环线自驾攻略吗？在你想看看大家对某个问题的看法时，你还会百度一下演技和流量并存的演员有哪些？在你闲的蛋疼喜好去八卦偶像新闻时，你还会百度一下迪丽热巴怀孕吗？ ......

虽然在移动时代，搜索引擎的概念被淡化，但搜索入口的重要意义却不容挑衅。只是原本遍布一张大网的网络信息被逐渐装进了各种 App 的信息孤岛之中。

传统搜索引擎如百度，本就在移动入场转型中步人后尘，残酷的市场分割和流量抢夺，让它一次次加高自身流量池的护城墙。于是，Google 被诟病不再中立而带有政治偏向，百度则几乎彻底沦为国民笑柄。

腾讯把微信公众号内容只开放给友军搜狗，百度 PC 端降低知乎内容的权重，扶持百家号......趋势和利益使得信息整合变得更加困难。在互联网信息从蛮荒走向繁荣的过程中，关键词是原创、分享；而从繁荣到今日的信息爆炸，关键词则是筛选、整合。所以才出现了信息不对称、智商税、割韭菜......最终，搜索的形态也发生了巨大的变化——

传统搜索引擎的价值正在被垂直领域的专业搜索引擎和流行的衣食住行相关 App 所稀释。再加上百度、搜狗等搜索引擎的广告满天飞，使得人们在搜索一些问题时转而投向其它「非传统意义的搜索引擎」。

春节想去成都游玩就在几大搜索引擎上搜攻略，搜索出的结果有近一半的网页都是广告，没办法只有去今日头条搜了下，还好基本上没有广告。

——微博用户的抱怨

问题示例搜索倾向成都哪里有好吃的川菜馆子大众点评川西小环线自驾攻略蚂蜂窝、穷游迪丽热巴怀孕微博演技和流量并存的演员知乎

而在垂直搜索引擎和 App 内寄生的内容生产者，也随着知识付费时代的到来，将其内容精品化后面向其付费用户。好的内容不再会被轻易且免费地分享到互联网，所以 Google 、百度等通用性搜索引擎可以索引的内容质量就可能在信息的时效性和实用性上打折扣。

举个例子，吉他谱、钢琴谱等各种曲谱，通用性搜索引擎很难搜到合适的，这个过程往往会付诸一些时间成本。而专门的曲谱网站（比如：找歌谱）会有很多不同难度的曲谱，如果再充值个 VIP ，那可能就更加爽歪歪了。

综上，即是在顶层思想中要树立「搜索引擎的形态和获取信息的渠道是多元化」的意识。这样才能在接下来的搜索过程中做到不拘一格、多管齐下、触类旁通。

📎 来源: 虫部落搜索教程