国家语委语料库

定义

国家语委语料库的全称为国家语委现代汉语通用平衡语料库，由国家语言文字工作委员会主持建设，属于面向语言文字信息处理、规范标准制定、学术研究、语文教育和社会应用的通用型语料库。^[1] 从规模上看，全库约1亿字符，选材时间自1919年起、下限为2002年。^[1][4] 所谓平衡，指语料在语类方面分布较为均衡，兼顾口语与书面语，以及小说、新闻、报纸、学术等各类文本，标准的平衡语料库还要求在样本选取上控制单一作者作品所占的比重。^[5]

背景

语料库是对某一语用事实进行定量分析的工具，能够反映某种用法的分布情况：如果某一用法在语料中出现的量较大，轻易否定这一用法就可能不妥。^[6] 有学者指出，一种说法能否成立取决于约定俗成，多数人这样使用便可视为通行，而语料库恰好为判断某一用法是否为多数人所用提供了依据。^[6]

在此基础上，建设面向现代汉语整体的语料库还须解决两个问题。一是选材的代表性，语料不能只取自单一来源或个别领域，否则难以支撑对语言全貌的统计描述。^[5] 二是加工规范的配套，大规模语料的加工需要相应规模的词库和统一的标注规范，如收词7万余条的《现代汉语语法信息词典》，其编制与语料标注由语言学家和信息处理专家协作完成。^[7] 国家语委语料库正是在这类需求下，为语言文字工作与语言信息处理提供大规模、分布均衡的语料支撑。^[1]

内容

全库总体规模为1亿字，语料时间跨度为1919年至2002年，选材分为人文与社会科学、自然科学以及综合3个大类，其下约40个小类。^[1] 从语料来源看，1997年以前的部分约7000万字符，全部为手工录入的印刷版语料；1997年以后的部分约3000万字符，其中手工录入与取自电子文本的各占一半。^[4]

全库之下设有标注语料库，它是整库的一个子集，对语料作了分词和词性标注。^[1] 在线检索系统免费开放的语料约2000万字，均为分词和词性标注语料，并可下载检索结果。^[2][3] 该系统还提供分词与词性标注软件，以及字频、词频统计工具和词表，供研究语言文字的师生使用；网站上另增了1亿字的古代汉语生语料。^[3]

该语料库的网络查询服务曾一度停止，此后重新开放，重开后的在线检索速度更快、功能更强，同时支持检索结果下载。^[2][3] 语料库的语料取自印刷文本与电子文本两类来源，两种来源在录入方式上的差异，也体现在1997年前后语料的构成比例之中。^[4]

影响与争议

该语料库常与北京大学中国语言学研究中心语料库并提，被视为汉语研究中常用的大型语料库资源之一。^[8] 在语言学名词体系中，它被列为平衡语料库的建设实例；^[5] 在汉语语法现象的个案考察中，它也常被用作语料来源，例如对汉语动词量词的研究即以其作为语料之一。^[8][9]

使用语料库作定量判断时也存在需要注意的问题。语料库中某一用法出现的量较大，并不必然意味着该用法规范，某些错误形式的出现频次反而可能高于正确形式，因此对统计结果需要辩证使用。^[6]

参见

• 平衡语料库 —— 国家语委语料库所属的语料库类型，其选材兼顾多种语类。

• 语料库 —— 国家语委语料库是汉语语料库的一种。

• 现代汉语 —— 该语料库所收录语料的语言对象。

• 国家语言文字工作委员会 —— 该语料库的主持建设单位。