数字图像处理

定义

数字图像处理是指利用数字计算机对图像进行处理的技术。从数学角度看，一幅数字图像就是一个二维数值数组，数组中每个元素对应图像上一个采样点的亮度或颜色取值，针对这类数据所做的线性与非线性运算即构成数字图像处理的算法基础^[1]。它处理的对象必须先在计算机中表示为离散的数值矩阵，因此与依靠光学、化学过程的模拟图像处理相区别^[2]。

按目的区分，该领域的常见任务可分为几类：改善图像的外观以供人观察，如图像增强；从退化图像中估计并恢复原始图像，如图像复原；对图像数据进行变换、编码和压缩，以便存储和传输；以及提取图像中的特征或特殊信息，为模式识别和计算机视觉做准备^[3]。图像分析指用计算机从图像中提取数据并给出某种测量结果，图像重建则指把已有数据重新组织成更有用的形式，如图像超分辨、图像融合与断层重建^[4]。

原理

图像进入计算机需要经过采样与量化两个步骤。采样把连续分布的图像在空间上离散为规则网格上的点，量化则把每个点的亮度值限制为有限范围内的整数，量化位数决定图像的动态范围，取值范围选择不当会造成饱和^[2]。由连续图像得到数字图像的过程可用下式近似表示，其中 $f(x,y)$ 为连续图像，$f_s$ 为采样结果：$f_s(m,n)=f(m\Delta x,\,n\Delta y)$。以常见的灰度图像为例，每个像素用 8 比特记录，可取 256 个灰阶；彩色图像通常由红、绿、蓝三个通道各 8 比特组合而成^[2]。

在空域中，处理直接作用于像素本身，例如通过灰度变换调整对比度、用直方图均衡重新分配灰度分布，或用邻域滤波完成平滑与锐化。在频域中，图像先经傅里叶变换分解为不同频率成分，再用低通、高通滤波器分别保留低频轮廓或高频边缘^[5]。此外，基于数学形态学的运算、基于统计与概率的方法以及各类阈值化方法，构成了非线性处理的主要手段^[1]。

典型流程可以概括为输入、加工和输出三个阶段，由图像采集设备、处理计算机和显示输出设备共同组成图像处理系统^[3]。一个处理任务常常串联多个环节，前一级的输出作为后一级的输入，例如先降噪、再增强、最后分割。

发展历程

数字图像的早期实践可追溯到 20 世纪 20 年代，当时报纸行业通过海底电缆传送图片；现代计算机所依赖的两项基本概念，即保存程序与数据的存储器和条件分支，则形成于 40 年代，构成中央处理单元的基础^[6]。真正能够在图像处理中承担有意义任务的计算机出现在 20 世纪 60 年代初，这一时期的计算机与空间探测计划共同推动了该领域的诞生^[7]。

利用计算机改善探测器发回图像的工作始于 1964 年美国加利福尼亚的喷气推进实验室，当时由“徘徊者 7 号”探测器传送的月球图像被送入计算机，用于校正航天器电视摄像机的多种图像畸变^[7]。同一时期，1965 年由库利与图基提出、后经改进的快速傅里叶变换算法，使频域处理在实际图像上变得可行^[8]。

20 世纪 60 年代末至 70 年代初，该技术开始向医学成像、地球资源遥感监测和天文学扩展^[7]。日本的图像处理研究则在 70 年代正式起步，当时能够处理大量图像数据的计算机稀少，图像输入输出设备昂贵而功能有限，研究只在少数大学中进行^[9]。此后微电子技术的进步带来计算机性能提升和图像输入输出设备的开发，该技术从基础研究阶段转入实用化阶段^[9]。

支撑性技术的演进是这一进程的另一条线索。1948 年晶体管发明，50 至 60 年代出现高级编程语言和操作系统，1958 年集成电路问世，70 年代初微处理器诞生，1981 年个人计算机推出，随后的集成电路规模不断提升，同时大容量存储与显示系统也快速发展^[7]。传感器方面，电荷耦合器件与互补金属氧化物半导体传感器成为两大主流固态成像技术，随着特征尺寸缩小，后者自 20 世纪 90 年代初起变得实用，并可将模数转换直接集成在同一芯片上^[4]。

应用

医学影像是该技术最重要的应用方向之一。20 世纪 70 年代发明的计算机轴向断层术通过环绕物体的探测器收集穿过物体的射线，再由算法重建物体内部的切片图像，该技术的发明者因此获得 1979 年诺贝尔医学奖^[7]。如今计算机断层成像、核磁共振成像、超声成像等模态既需要由原始数据重建出有意义的图像，也需要从图像中提取有用信息，此外还用于显微镜图像分析、染色体与细胞分析等^[4][10]。

遥感与航天是另一个早期领域。对地观测卫星以多波段扫描方式周期性地对地成像，图像在获取、存储、传输和判读各环节都要经过数字处理；由于成像条件受飞行器位置、姿态和环境条件影响，原始图像质量往往不高，必须加以校正^[11]。这类处理广泛用于资源调查、农业与渔业、环境污染调查和城市规划等方向^[10]。天文学中，该技术用于光学图像的增强与复原、去除成像伪影，以及弱光图像的分析和高分辨重建^[2]。

工业制造中的机器视觉通过对目标图像进行处理来得到检测和判断信号，用于自动缺陷检测、智能测量与生产过程控制，在危险环境中可替代人工目视检查^[12]。公共安全与身份鉴别则依赖人脸、指纹、掌纹、虹膜等生物特征识别，以及伪钞识别、手迹印记鉴别等应用^[12]。通信与多媒体领域主要关注静止图像和视频的压缩、归档检索与安全传输，数字水印即属于其中的安全图像通信手段^[2]。

局限

图像处理中的误差与不确定性难以完全避免。一部分来自图像获取环节，例如分辨率有限和几何畸变；一部分来自解读环节，包括不同判读者之间的判断差异和疲劳；还有一部分源于所用技术与方法本身的能力边界。在医学等对错误容忍度很低的场景中，这意味着新的处理与分析技术需要经过较全面的验证，才能确认其结果可用于实际。

分割是暴露局限最明显的环节之一。传统分割方法往往依赖颜色或灰度分布等目标特征，需要人工调整紧凑度、分割块数、高斯核尺度等参数；基于机器学习的方法虽然可以自动完成分割，却需要大量带标注的数据并消耗较多算力，训练全分辨率图像时尤其如此^[13]。在数字病理等场景中，全切片图像可达数吉字节并包含数百万个细胞，现有算法在如此规模下的可扩展性不足，阈值化与形态学操作难以分离相互粘连或重叠的细胞，形变模型、聚类和图方法用于全切片时计算代价又很高。

针对分割任务的深度学习模型也有其固有短板。以 U-Net 为例，训练需要大量标注样本，对计算与内存资源要求较高，在低端计算机上难以实施，且性能对噪声和伪影敏感，噪声分布或伪影特征一旦变化，模型表现会明显下降^[14]。依赖局部卷积的结构难以捕捉长距离依赖和多尺度上下文信息，对形状与尺寸多变的复杂结构会降低精度，而基于自注意力机制的模型计算开销更大，不太适合资源受限的环境^[14]。此外，聚类类方法受距离计算带来的计算成本制约，且并不存在适用于所有具体应用的最优聚类算法。

参见

• 图像增强 —— 数字图像处理中最基础的一类任务，用于改善图像的视觉效果。

• 图像分割 —— 把图像划分为若干有意义的区域，是图像分析与识别的关键步骤。

• 计算机视觉 —— 建立在数字图像处理之上，用模型从图像推断场景信息的分支。

• 模式识别 —— 依据测量数据中的规律对目标进行分类，常以图像特征提取为前置环节。

• 傅里叶变换 —— 频域处理的核心数学工具，其快速算法使频域滤波得以实用。

• 计算机断层成像 —— 由投影数据重建物体内部切片图像的典型图像重建应用。