搜索引擎

定义

搜索引擎属于信息检索系统的一种。与人工编辑的网站目录不同，搜索引擎依靠程序自动发现、收录和排序内容，可处理的规模远超人工整理的范围。以谷歌为例，其官方介绍称索引覆盖数千亿个网页，体量超过 1 亿 GB^[2]。

一次完整的搜索包含三个对象：查询（用户输入的检索词或问题）、文档集合（搜索引擎事先收录的网页、图片、视频等）、结果（按相关程度排好序、通常附带标题和摘要的列表）。搜索引擎的核心任务，是在极短时间内从海量文档中找出与查询最相关、最可信的那一部分。

分类

按覆盖范围、数据来源和工作方式，搜索引擎通常分为以下几类：

早期互联网上，目录搜索与全文搜索并存，雅虎就是从人工整理的网站目录起家的^[11]；1990 年代后期起，全文搜索成为主流。2025 年，中国搜索引擎企业普遍引入人工智能技术，加速向「智能搜索」转型，新一代智能搜索可以对网络信息进行归纳整理，直接回答用户提出的问题^[1]。

原理

抓取

网络爬虫（也称蜘蛛、机器人）从一批起始网址出发，下载网页、解析其中的链接，再把新发现的网址放进待抓取队列，周而复始。为了不给网站服务器造成过大压力，爬虫会控制访问频率，并遵守网站根目录下 robots.txt 文件的约定。这一「机器人排除协议」由马丁·科斯特在 1994 年提出，2022 年 9 月成为互联网工程任务组（IETF）的标准文档 RFC 9309^[13]。网站也可以主动提交网站地图（Sitemap）告诉搜索引擎有哪些页面，2006 年 11 月谷歌、雅虎和微软宣布共同支持同一套网站地图协议^[20]。

建立索引

下载的网页经过解析、去重、分词和质量评估后写入索引。核心数据结构是倒排索引：以词为键，记录每个词出现在哪些文档、出现在什么位置。检索时只需取出各个检索词对应的文档列表求交集，就能在海量文档中迅速找到候选结果。中文没有天然的词间空格，因此中文搜索引擎还要先做中文分词。

flowchart LR
A[网络爬虫抓取网页] --> B[解析、去重、分词]
B --> C[建立倒排索引]
D[用户输入检索词] --> E[查询理解]
C --> F[检索候选文档]
E --> F
F --> G[相关性与质量排序]
G --> H[生成摘要与结果页]

排序

排序决定了搜索结果的好坏，通常综合文本相关性、页面质量和用户场景三方面信号。

文本相关性。1957 年，IBM 的汉斯·彼得·卢恩提出用统计方法分析文献集合、对文献自动编码与检索^[4]；1972 年，剑桥大学的卡伦·斯帕克·琼斯提出「逆文档频率」（IDF），即在越少文档中出现的词，区分能力越强^[5]；1975 年，康奈尔大学的杰拉德·索尔顿等人提出向量空间模型，把文档和查询都表示为词的向量，用向量之间的相似程度衡量相关性^[6]。词频与逆文档频率结合，就是至今常用的 TF-IDF 权重：

其中 $\text{tf}(t,d)$ 为词 $t$ 在文档 $d$ 中出现的次数，$N$ 为文档总数，$\text{df}(t)$ 为包含词 $t$ 的文档数。

链接分析。网页之间的超链接可以看作一种「投票」。1998 年，拉里·佩奇与谢尔盖·布林描述了一个利用链接结构计算网页重要程度的大规模搜索引擎原型，即 PageRank 算法的来源，原型数据库收录了至少 2400 万个网页^[15]；同一时期，康奈尔大学的乔恩·克莱因伯格提出 HITS 算法，把网页分为「权威页」与「枢纽页」两类并相互强化计算^[17]。

语义理解。2010 年代以后，搜索引擎越来越多地用机器学习理解查询的真实意图。2012 年，谷歌推出知识图谱，提出搜索要理解「事物，而不只是字符串」，上线时收录超过 5 亿个实体、35 亿条事实和关系^[24]；2019 年，谷歌把预训练语言模型 BERT 用于搜索排序，称其能帮助更好地理解美国英文搜索中约十分之一的查询^[26]。

结果呈现

排好序的结果以搜索结果页（SERP）的形式展示，每条结果通常包含标题、网址和摘要。现代结果页还会出现知识卡片、图片、视频、地图、问答框等多种模块；智能搜索则在结果页顶部生成一段带来源标注的概括性回答^[28]。

体系结构

一个大规模网页搜索引擎通常由以下模块组成：

发展历程

思想起源（1945—1980 年代）

1945 年 7 月，美国科学家范内瓦·布什在《大西洋月刊》发表《诚如所思》（As We May Think），设想一种名为 Memex 的个人信息机器，能够存储文献并通过「联想索引」快速调取^[3]。这一设想被普遍视为超文本和信息检索系统的思想先声。

1950 年代起，信息检索成为独立的研究领域。卢恩在 1957 年提出机械化编码与检索文献的统计方法^[4]，斯帕克·琼斯在 1972 年提出逆文档频率^[5]，索尔顿在 1975 年发表向量空间模型^[6]。这些方法奠定了全文检索的理论基础，至今仍是搜索排序的组成部分。

互联网检索的出现（1989—1993 年）

1989 年，在加拿大麦吉尔大学工作的艾伦·恩塔奇设计实现了 Archie，用来检索公开 FTP 服务器上的文件，被互联网名人堂称为世界上第一个互联网搜索引擎^[7][33]。1993 年春，麻省理工学院的马修·格雷编写了 World Wide Web Wanderer，这是第一个自动遍历网页的程序（「蜘蛛」），主要用来统计万维网的规模^[8]。

网页搜索成形（1994—1997 年）

1994 年是网页搜索集中出现的一年。1 月，斯坦福大学的杨致远与大卫·费罗开始整理「Jerry and David's Guide to the World Wide Web」，这就是后来的雅虎^[11]；3 月，World Wide Web Worm 发布，收录了超过 10 万个网络资源^[9]；4 月 20 日，华盛顿大学的布赖恩·平克顿推出 WebCrawler，它是第一个以爬虫为基础的全文网页搜索引擎^[10]；8 月，卡内基梅隆大学的 Lycos 公开上线，月底数据库已有超过 63.4 万条记录，并遵守机器人排除协议^[9]。

1995 年 12 月 15 日，数字设备公司（DEC）的 AltaVista 上线^[12]，在谷歌出现之前，它是最受欢迎的网页搜索引擎^[34]。

在中国，北京大学研发了「天网」中文搜索引擎，研发团队在 2001 年把它归为「第三代搜索引擎」^[32]。

链接分析与商业化（1998—2008 年）

1998 年是搜索技术的分水岭。这一年，佩奇与布林发表 PageRank 相关论文^[15]，并于 9 月 4 日在美国注册成立谷歌公司^[16]；克莱因伯格的 HITS 算法也在同期提出，论文于 1999 年正式发表^[17]。同年 2 月，GoTo 公开了「广告主对关键词竞价、按用户点击付费」的模式，这被认为是搜索关键词广告的起点^[18]。

2000 年，百度开始运营^[19]，2005 年 8 月 5 日在美国纳斯达克上市^[19]。2006 年 11 月，谷歌、雅虎与微软宣布共同支持网站地图协议，站长可以用同一种格式向多家搜索引擎提交网页^[20]。

移动化与语义化（2009—2022 年）

2009 年 5 月 28 日，微软发布搜索引擎必应（Bing），并于 6 月 3 日在全球上线，微软称其为「决策引擎」^[21]。2012 年 5 月，谷歌推出知识图谱^[24]；同年 8 月，奇虎 360 推出综合搜索服务^[22]。2013 年 9 月，腾讯把搜搜的搜索业务并入搜狗^[23]。

智能手机普及后，移动搜索成为主流。2018 年 3 月，谷歌开始大范围推行「移动优先索引」，即主要依据网页的移动版本来抓取和排序^[25]。2019 年 10 月，谷歌宣布在搜索中使用 BERT 语言模型^[26]。2022 年 9 月，robots.txt 规则正式成为 IETF 标准 RFC 9309^[13]。

生成式 AI 搜索（2023 年至今）

2023 年 2 月 7 日，微软发布基于 OpenAI 大语言模型的新版必应，支持对话式追问，并在回答中标注引用的网页来源^[27]。2024 年 10 月 31 日，OpenAI 在 ChatGPT 中推出联网搜索功能^[39]。2024 年 5 月 14 日，谷歌在美国推出「AI 概览」（AI Overviews），在结果页顶部直接给出由模型生成的概括，预计当年覆盖超过 10 亿人^[28]；2025 年 5 月 20 日，谷歌在美国推出对话式的「AI 模式」（AI Mode）^[29]，2026 年 7 月，谷歌称 AI 模式的月活跃用户已超过 10 亿^[37]。2025 年 8 月 11 日，微软停止提供必应搜索 API，建议开发者改用 Azure AI 智能体中的 Grounding with Bing Search 功能，由智能体在生成回答时引用实时网页数据^[43]。

在中国，2024 年 11 月，搜狗输入法推出基于腾讯混元大模型的 AI 搜索，提出「让所有的输入框都变成搜索框」^[48]。2025 年各搜索引擎企业积极引入人工智能技术，向智能搜索转型，例如百度把传统搜索结果页升级为提供 AI 总结回答的结果页^[1]。截至 2025 年 12 月，中国生成式人工智能用户规模达 6.02 亿人^[1]。2026 年 10 月，深度求索、腾讯云和百度先后把自家的搜索能力以接口形式向开发者开放，搜索引擎开始成为大模型的「信息供应方」（见「搜索接口」）^[44][45][46]。

大事年表

中国搜索引擎用户

中国互联网络信息中心（CNNIC）的《中国互联网络发展状况统计报告》持续统计搜索引擎的用户规模：

其中，2015 年 12 月的手机搜索用户已达 4.78 亿人^[31]。从这三个时间点看，用户规模持续增长，在网民中的使用率则从 2015 年的 82.3% 变为 2025 年的 69.5%；同一时期，中国生成式人工智能用户规模在 2025 年底达到 6.02 亿人，搜索引擎企业也在向智能搜索转型^[1]。

主要平台规模

各搜索平台很少公开「搜索次数」，公开的数字口径也不一致：有的是搜索次数，有的是市场份额，有的是用户数，彼此不能直接比较大小。下面按口径分开列出，每张表内从大到小排列。

全球搜索引擎市场份额

据网站访问统计机构 StatCounter 的数据，2026 年 9 月全球（全部设备）搜索引擎市场份额如下^[35]：

中国搜索引擎市场份额

同一机构 2026 年 7 月的中国（全部设备）数据如下^[36]：

StatCounter 的份额来自安装了其统计代码的网站所记录的访问来源，反映的是「从搜索引擎点进网站」的比例，不等于各平台自身的搜索次数，也不包括应用内搜索。

官方披露的搜索与智能搜索规模

应用内搜索

除独立的搜索引擎外，大量搜索发生在社交、短视频和内容平台内部。2023 年 1 月，微信公布搜一搜的月活跃用户在 2022 年增至 8 亿，搜索量同比增长 54%^[41]；2025 年 11 月发布的《2025 巨量引擎搜索经营白皮书》显示，抖音用户主动搜索的增速达 37%^[42]。这类应用内搜索一般不对外公布统一口径的日搜索次数，第三方估算的数字差距较大，本词条暂不列入排行。

搜索接口

搜索接口（API）让其他程序以「发送请求—取回结果」的方式调用搜索引擎，一般按调用次数计费。大语言模型普及后，搜索接口的主要调用方从网站和应用扩展到问答系统与智能体：模型先通过接口检索网页，再依据返回的标题、链接和摘要组织回答并标注来源。

2025 年 8 月 11 日，微软停止提供必应搜索 API，现有实例全部下线，并建议用户迁移到 Azure AI 智能体中的 Grounding with Bing Search^[43]。

2026 年 10 月，中国多家企业集中开放面向大模型的搜索接口，按开放时间排列如下：

这类接口普遍强调「信源分级」，即对检索到的信息来源划分权重，优先采信权威度高的内容。例如火山引擎的联网搜索会对政府官网、行业权威媒体、商业数据库等信源进行层级划分，开发者也可以为指定域名自行配置权重^[47]。

应用

通用网页搜索。用户查找资料、新闻、产品和服务的主要入口。

垂直搜索。面向学术文献、专利、地图、招聘、旅行、购物等领域，针对领域数据结构做专门的抓取和排序。学术搜索、比价搜索都属于此类。

站内搜索与企业搜索。电子商务平台、视频网站、社交平台和企业内部系统普遍内置搜索，帮助用户在单一平台或机构内部定位内容。

搜索广告。关键词广告按用户点击收费，是许多搜索引擎的主要收入来源之一^[18]；网站则通过搜索引擎优化争取在自然结果中获得更好的位置，二者合称搜索引擎营销。

为智能体提供联网信息。问答系统和智能体在回答问题前先发起联网检索，再根据检索到的网页组织答案并标注来源。搜索接口因此成为大语言模型获取实时信息的重要途径^[27][28]。

搜索作弊与治理

传统搜索作弊

搜索作弊指以欺骗搜索引擎为目的、让网页获得与其质量不相称的排名的做法，常见手法包括堆砌关键词、买卖链接、批量制造低质页面和刷点击。搜索引擎对识别出的作弊网站，通常采取降低排名、不予收录等措施^[49][53]。

2012 年 11 月，百度发布《关于超链作弊的算法升级》，把买卖链接认定为作弊行为，认为其「影响搜索质量伤害用户体验」，并对作弊网站进行处理^[49]。2017 年，百度上线惊雷算法，打击靠刷点击量提升搜索排序的作弊行为^[50]。

生成式引擎优化

生成式引擎优化（Generative Engine Optimization，GEO）指为了让内容更容易被生成式搜索和问答系统检索、引用而进行的优化。与搜索引擎优化一样，它既有改善内容质量的正当做法，也有以刷量、注入恶意代码或大规模生成低质内容等手段干预模型回答的行为^[53][54]。

2026 年 2 月，微软更新必应站长指南，首次写入 GEO：它关注的是内容能否被 AI 回答作为依据和引用，但 GEO 不保证被引用，正如 SEO 不保证排名。指南同时规定，缺乏监督、质量控制或编辑审核而大规模生成的内容可能被排除在索引之外；网站可以用 NOARCHIVE 指令阻止内容被用于 Copilot 回答，用 NOCACHE 限制 Copilot 只使用网址、标题和摘要^[53]。

2026 年 5 月 15 日，谷歌在垃圾内容政策的定义中加入「试图操纵谷歌搜索中的生成式 AI 回答」，并说明垃圾内容政策同样适用于搜索中的生成式 AI 回答^[51]。同日发布的生成式 AI 搜索优化指南称，为生成式 AI 搜索做优化就是为搜索体验做优化，「仍然是 SEO」，网站不需要专门创建机器可读文件、把内容切成小块或为 AI 改写文字^[52]。

同年 10 月开放的深度求索搜索接口称，会在返回结果前过滤 SEO 作弊、GEO 操纵和低质 AI 生成内容^[44]。

行业规范方面，2026 年 6 月 25 日，《商贸流通业生成式引擎优化（GEO）智能营销技术服务规范》在重庆发布；同年 7 月，中国商务广告协会 AI 营销应用工作委员会公布《生成引擎优化（GEO）团体标准》，41 家企业和 77 位专家参与起草，标准要求「禁止恶意诱导」，不得通过刷量、注入恶意代码等手段干预大模型排名^[54]。

局限

覆盖不全。搜索引擎只能检索它抓取到并收录的内容。需要登录才能访问的页面、通过表单查询才能生成的数据库内容，以及被 robots.txt 排除的路径，一般不在搜索结果中，这部分内容常被称为深网^[13]。大量依赖 JavaScript 在浏览器中生成内容的网页，对爬虫来说也比静态网页更难完整抓取。

时效滞后。网页从发布到被抓取、建立索引需要时间，更新频繁的内容在结果中可能不是最新版本。为此出现了网站地图、主动推送等由网站方通知搜索引擎的机制^[20]。

排序可被操纵。部分网站以堆砌关键词、批量制造链接、复制内容等方式试图提高排名，搜索引擎需要不断调整排序规则和反作弊策略加以识别；生成式搜索出现后，操纵对象也扩展到 AI 回答（见「搜索作弊与治理」）^[51][53]。

个性化的副作用。个性化排序在提高相关性的同时，也可能使不同用户看到的结果范围变窄，这一现象被称为过滤气泡。

智能搜索的新问题。生成式回答可能出现与来源不符的内容，因此主要产品都在回答中标注引用来源，供用户核对^[27][28]；同时，智能搜索的广告植入等商业模式尚未成熟，部分传统搜索业务的营收有所下滑^[1]。

参见

• 信息检索 —— 搜索引擎所属的学科领域，研究如何从大量信息中找到所需内容。

• 网络爬虫 —— 自动访问网页并下载内容的程序，是搜索引擎采集数据的手段。

• 倒排索引 —— 以词为键记录所在文档的索引结构，是全文检索的基础。

• 向量空间模型 —— 把文档和查询表示为词向量、按相似度排序的经典检索模型。

• PageRank —— 依据网页之间的链接关系计算页面重要程度的算法。

• 知识图谱 —— 以实体和关系组织知识的数据结构，用于理解查询中的「事物」。

• 中文分词 —— 把连续的中文文本切分成词语，是中文搜索引擎建立索引的前提。

• 网站地图 —— 网站向搜索引擎列出页面清单的文件格式。

• 搜索引擎优化 —— 通过调整网站结构与内容提升自然排名的做法。

• 搜索引擎营销 —— 借助搜索引擎推广网站的网络营销方式。

• 生成式引擎优化 —— 让内容更容易被生成式搜索和问答系统引用的优化做法。

• 垂直搜索引擎 —— 只检索某一领域内容的搜索引擎。

• 元搜索引擎 —— 把检索请求转发给多个搜索引擎并汇总结果的搜索引擎。

• 深网 —— 搜索引擎通常无法抓取和收录的网络内容。

• 过滤气泡 —— 个性化推荐与排序使用户接触的信息范围变窄的现象。