定义
HotpotQA是一套面向多跳问答任务的英文数据集，语料取自维基百科，共收录约11.3万个问答对[1]。所谓多跳，指回答一个问题必须先定位并理解多篇不同的文档，再综合其中的信息得出结论，而不是在单一段落内匹配一个句子[1]。
与该数据集配套的还有两类标注：一是每条问题对应的支持事实，即真正决定答案的那些句子；二是问题所需的黄金段落，也就是问题采集时所依据的文档[1]。这些标注把问答任务从「只要求答案正确」扩展为「答案与推理依据都要正确」，为评估模型的可解释性提供了依据[1]。
数据集在2018年发表于自然语言处理实证方法会议（EMNLP），论文题为《HotpotQA: A Dataset for Diverse, Explainable Multi-hop Question Answering》[1]。
原理
从任务形式看，系统接收一个问题以及若干候选段落，输出一个答案片段，并同时指出哪些句子构成支持事实[2]。答案既可能是文中摘取的跨度，也可能是是非判断，例如比较两个实体是否来自同一国家[1]。
数据构造依赖维基百科的超链接结构。构建者从所有条目的首段抽取超链接，形成一个有向图，每条边表示一个条目的首段指向另一个条目[1]。采样这些边即可得到一对候选段落，其中被指向条目的实体通常充当桥梁实体，把两篇文档串联起来[1]。
举例而言，回答「Radiohead 的词曲作者出生于何时」，需要先由第一篇文章推断出该人是 Thom Yorke，再到关于他的条目中查找生日[1]。为避免桥梁实体过于冷僻或过于宽泛，构建者只从人工筛选过的一组页面中选取，从而保证众包人员能提出有意义的多跳问题[1]。
除桥梁类问题外，数据集还包含比较类问题，做法是从同一类别的实体清单中随机抽取两个实体请标注者出题，并混入一部分是非问句，以迫使模型必须同时阅读两篇文档才能作答[1]。
发展历程
数据的采集工作通过亚马逊众包平台完成，界面基于 ParlAI 构建，最终得到112779条有效样本[1]。发布时数据被划分为若干子集：train-easy 含18089条以单跳为主的样本，train-medium 含56814条多跳样本，train-hard 含15661条困难多跳样本，而开发集与两个测试集各含7405条[1]。
开发集和测试集被刻意限制为困难样本，即在当时模型上难以答对的题目，以便真实反映推理能力的差距[1]。原始论文中的基线模型在干扰项设置下的联合指标远低于人工表现，这一差距成为后续排行榜长期追踪的目标[2]。
自发布后，该数据集成为多跳问答研究的主要比较平台之一，后续研究陆续提出问题拆分、图结构推理、证据句抽取等多种技术路线，并在干扰项设置与全维基设置上给出成绩[3]。它也被用作上下文压缩等长文本处理技术训练评分器的数据来源。
应用
HotpotQA最基本的用途是评测问答系统在跨文档场景下的推理能力，官方提供两种设置[2]。干扰项设置下，系统每题可读到10个段落，其中2个是回答问题所必需的黄金段落，另外8个是由问题检索出的干扰段落，段落顺序被打乱[1]。这一设置把检索问题剥离，集中考察阅读理解与多步推理[2]。
全维基设置下，系统只拿到问题，必须自行在整部维基百科中找出相关条目再作答，考验检索与推理的联合能力[1]。两种设置使用互不重叠的测试集，以免黄金段落信息泄漏[1]。
评测指标包括答案的完全匹配（EM）与 F1、支持事实的 EM 与 F1，以及要求答案和全部支持事实同时正确的联合 EM 与联合 F1[2]。数据集也被用作评估模型长上下文理解与多跳推理能力的平台，并参与到前沿模型的训练流程之中。
局限
研究指出，数据集上的分数增长中有相当部分来自「非连通推理」，即模型分别独立地处理各个段落，而并未真正把多篇文档的信息联系起来[4]。对原始数据做变换并加入充分性检验后，同一类模型的指标会明显下降，说明原有的评测可能高估了多跳推理能力[4]。
两种设置之间也存在能力错位。干扰项设置更接近阅读理解，而全维基设置的主要瓶颈是在数百万条目上取得足够的检索召回，在一种设置上表现优异的系统未必在另一种设置上同样出色[2]。
此外，困难样本中仍混有相当比例实际只需单跳即可作答的题目，支持事实的判定又高度依赖分词与句子切分方式，这些因素都会影响指标的可比性[1][2]。全维基设置下训练与测试阶段在可用证据句数量和题目可答性上的分布差异，也给模型带来了数据集偏移问题[5]。
参见
-
多跳问答 —— HotpotQA 所针对的任务类型，要求跨多篇文档完成推理
-
维基百科 —— 数据集全部语料与题目来源的语料库
-
问答系统 —— 使用该数据集进行训练与评测的一类系统
-
自然语言处理实证方法会议 —— 数据集首次发表的学术会议
-
阅读理解 —— 干扰项设置所对应的核心任务形式
参考资料
- aclanthology.cn 上的网页 [引用日期2026-10-14]
- HotpotQA | AI Wiki [引用日期2026-10-14]
- 另外，WikiHop上人类表现为74.1，模型已经超过人类表现 [引用日期2026-10-14]
- 2020.emnlp-main.712(PDF) [引用日期2026-10-14]
- obspm.fr 上的网页 [引用日期2026-10-14]