声谱图

定义

声谱图是声音频谱分析中最常见的图形之一。它的基本形式是一张二维图，一个坐标轴代表时间，另一个坐标轴代表频率，图上每一点的颜色或亮度则反映该时间—频率位置上信号幅度的大小^[1]。被分析对象是音频信号时，这种图也被叫作声图、语图或 sonogram^[3]。

与只反映某一时刻频率与幅度对应关系的频谱相比，声谱图把时间维度引入进来，因而能够表现频率成分随时间的移动与变化，有时被直接称为动态频谱图^[2]。用来生成这类图谱的仪器称为声谱仪，其中能够给出包含时间、频率和振幅三个维度频谱的动态声谱仪又叫语图仪、声图仪^[4]。这类仪器通常由信号记录器、频谱分析器和频谱输出器三部分组成^[2]。

原理

声谱图的早期实现依靠中心频率彼此不同的一组窄带带通滤波器。以经典的声音摄谱仪为例，被分析的声音先记录在磁介质上，然后被反复重放；每重放一次，就用滤波器取出一个频带，输出的电流经过整流和平滑后送到记录笔，笔尖在电敏纸上烧出痕迹，痕迹的深浅大致与电流的对数成正比，于是逐条扫出频率、时间和能量三个维度的图谱^[5]。也可以让中心频率各不相同的一组滤波器同时工作，把声音在不同频段的能量分布直接描绘成图^[4]。

数字信号处理普及以后，最通用的计算方法是短时傅里叶变换：用一个沿时间轴滑动的窗函数把长信号切成许多短段，对每一段做傅里叶变换得到该时刻的频谱，再把这些频谱按时间先后排列，就构成声谱图的二维数据。若把加窗傅里叶变换的结果记为 $X(t,f)$，则声谱图可写成其模的平方 $S_x(t,f)=|X(t,f)|^{2}$，表示每个时间—频率点上的能量密度^[6][7]。

graph LR

A[声音信号] --> B[分帧加窗]

B --> C[快速傅里叶变换]

C --> D[取模平方]

D --> E[声谱图]

分析窗的长度决定了图谱的外观，并带来一组此消彼长的取舍。习惯上把滤波带宽约 45 赫兹的分析称作窄带声谱图，它的频率分辨率高而时间分辨率差；带宽约 300 赫兹的称作宽带声谱图，时间分辨率好而频率分辨率低。分析语音时往往两种图谱并用，窄带图便于测量基频和共振峰，宽带图便于确定词的边界以及共振峰的走向^[5]。

发展历程

声谱图诞生于贝尔电话实验室。20 世纪 30 年代末，该实验室在拉尔夫·波特的主持下完成了一台原型装置，能在纸带上连续记录声音信号傅里叶频谱随时间的变化；由于正值第二次世界大战，装置没有对外公布，直到 1946 年《美国声学学会杂志》刊出一批论文，它的构造和用途才为学界所知。这台装置被命名为声音摄谱仪，它输出的图谱即声谱图^[8][9]。

研制声谱仪的最初动机之一是造出一种能让盲人“阅读”语言的机器，即所谓的可见语言。这一设想最终未能成功，但相关研究使人们认识到语音结构的复杂程度^[9]。1946 年发表的论文首次系统描述了这种波形分析器的机械结构与电路，并给出了语音、动物鸣声、音乐等多种声音的声谱图。

早期的模拟声谱仪每次只能分析很短的一段信号，出图速度慢，所需时间往往是被分析信号时长的几十倍，无法实时分析。1970 年，奥本海姆提出用快速傅里叶变换计算语音声谱图，为此后的数字实现铺平了道路^[5]。20 世纪 80 年代中期出现了全数字型声图仪，采集、计算与显示都交给计算机完成，可以在屏幕上接近实时地给出谱图^[10]。

应用

在语音学与语音通信研究中，声谱图用于观察语音产生和感知过程中的时变模式，是最基本的实验数据形式之一^[9]。浊音的声谱图下半部通常出现较暗的横带，它们对应声道共振形成的共振峰；横带上的竖直纹路则与声带振动的基频相对应^[11]。

由声谱图得到的语音纹样与指纹相似，具有因人而异的特点，据此发展出声纹鉴定技术，用来判断两段语音是否出自同一人，应用于刑事侦查和司法鉴定^[2][12]。

在生物声学中，声谱图是分析鸟鸣和其他动物发声的常用图形，研究者可以在图上测量频率成分、持续时长和间隔等特征，用于物种鉴定与个体识别^[3]。中国科学院动物研究所等机构把声谱图与深度学习结合，建成野生动物声纹智能监测系统，截至 2022 年已收集 10 万余条声纹信息，并识别出 200 多个鸟类物种^[13]。

声谱图还广泛用于音乐分析、声纳、雷达、地震学等场合，凡需要观察频率成分如何随时间变化的问题都可能用到它^[1]。医学上，多普勒血流声谱图可用于分析血流信号，通过提取包络并分类，辅助判断是否存在疾病^[2]。

局限

声谱图最根本的限制来自时间分辨率与频率分辨率之间的取舍。要得到精细的频率信息，必须使用较长的分析窗，而长窗会模糊信号的快速变化；缩短窗口能看清瞬时变化，频率方向却又变得粗糙，两者无法同时达到很高^[6]。这一取舍与不确定性原理有关：一个信号在时间上的集中程度和它在频率上的集中程度不能同时任意小，因此声谱图在时频平面上总存在最小的不确定区域^[6]。基于快速傅里叶变换的声谱图因而无法在时间和频率两个方向上同时给出良好的分辨率^[14]。

图谱的形态还相当依赖分析窗的选择。同一段信号换用不同的窗，得到的图像会明显不同，窗的形状与长度带有一定的人为选取成分^[6]。声谱图只保留幅度信息，相位并不在图上直接显示，要完整重建原信号还需要额外的相位处理^[15]。

数字化过程还要受采样条件约束：采样频率必须高于所关心最高频率的两倍，否则高于奈奎斯特频率的成分会折叠成错误的低频出现在图上，通常需要加入抗混叠滤波器加以抑制^[16]。

为突破上述限制，人们提出了多种替代的时频表示，例如 Wigner-Ville 分布、Choi-Williams 分布、Gabor 展开和小波变换等，它们在某些信号上分辨率更高，却往往产生与真实成分不对应的交叉项，或者可读性较差^[6][7]。也正因如此，在大量实际应用中声谱图仍是最常用的时频分布形式^[8]。

参见

• 频谱 —— 声谱图是频谱在时间维度上的展开，二者互为对照。

• 傅里叶变换 —— 声谱图计算的数学基础。

• 短时傅里叶变换 —— 生成声谱图最常用的算法。

• 声纹鉴定 —— 依据声谱图上的个体特征进行人身认定的技术。

• 共振峰 —— 声谱图上辨认语音特征的重要标志。

• 小波变换 —— 另一种时频分析方法，可生成尺度图。