Fisher-Rao度量

定义

Fisher-Rao 度量定义在统计模型之上。设一族由参数 θ 刻画的概率密度 p(x;θ) 构成统计模型, 把费舍尔信息矩阵的元素 g_ij(θ) 取作流形上的度量张量, 该元素等于对数似然函数两个一阶偏导数的协方差, 也等于对数似然二阶偏导期望的相反数。^[4] 当这一矩阵处处正定时, 参数空间就成为一个 黎曼流形, 这样得到的度量称为费舍尔信息度量或 Fisher-Rao 度量。^[5]

在 Fisher-Rao 度量下, 连接两个概率分布的测地线长度即二者之间的距离, 称为 Fisher-Rao 距离。^[2] 它属于概率分布之间的相异度度量, 与熵有密切联系, 是研究信息几何的核心对象。^[6]

原理

设参数为 θ=(θ_1,…,θ_n), 对应的密度为 p(x;θ)。度量张量的分量可以写成 $g_{ij}(\theta)=\mathbb{E}\left[\frac{\partial \log p}{\partial \theta_i}\frac{\partial \log p}{\partial \theta_j}\right]$, 在允许交换积分与求导次序时又等于 $-\mathbb{E}\left[\frac{\partial^2 \log p}{\partial \theta_i \partial \theta_j}\right]$, 还可以改写成密度平方根偏导数的内积形式。^[4]

流形上的无穷小长度由 $ds^2 = g_{ij}(\theta)\,d\theta^i d\theta^j$ 给出; 沿曲线积分可得曲线长度, 而所有连接两点的分段光滑曲线中长度的下确界就是 Fisher-Rao 距离。^[7] 达到该长度的曲线称为 测地线; 在以 Fisher 信息构成的几何中, 测地线在 Fisher 意义下使信息量化为最小。^[8]

flowchart LR

A[参数化概率分布族] --> B[Fisher 信息矩阵]

B --> C[黎曼度量]

C --> D[测地线长度]

D --> E[Fisher-Rao 距离]

一个常见的具体例子是一维正态分布族。以均值 m 与标准差 σ 为参数时, 其 Fisher-Rao 度量为 $ds^2=\frac{dm^2+2\,d\sigma^2}{\sigma^2}$, 经简单变量替换后即为 双曲几何 中庞加莱上半平面度量的倍数, 因此该流形具有恒为负的截面曲率, 测地线是竖直直线或与横轴正交的半圆, 距离有闭式表达。^[9] 对更一般的模型, 度量在参数的可逆变换下保持不变。^[8]

Fisher-Rao 度量还可以理解为相对熵的无穷小形式, 即 库尔贝克-莱布勒散度 的 Hessian; 当两个分布足够接近时, 该散度平方根的若干倍趋近于 Fisher-Rao 距离。^[1] 按 Chentsov 定理, 在样本空间有限的统计模型上, 满足充分统计量不变性的黎曼度量在相差常数倍的意义下只有 Fisher 信息度量一种, 这一结论后来被推广到样本空间为流形以及无限样本空间的情形。^[1][10]

发展历程

Fisher 于 20 世纪 20 年代初提出信息矩阵的概念。^[6] 1945 年, C. R. Rao 在《加尔各答数学会通报》发表论文, 讨论统计参数估计所能达到的精度, 其中把 Fisher 信息矩阵看作参数空间上的黎曼度量, 并由此给出分布之间的距离, 这一工作被普遍视为信息几何的起点。^[11][2] 同一时期, 弗雷歇也有与此相关的独立研究。^[2]

1981 年, Atkinson 与 Mitchell 对 Rao 距离作了系统考察, 此后正态分布、伽马分布、对数正态分布等族的信息几何结构陆续得到研究。^[6] 20 世纪 80 年代起, 人们已认识到一维正态分布族的 Fisher-Rao 几何就是二维双曲几何。^[9]

1972 年 Chentsov 在有限样本空间的情形证明了 Fisher 信息度量的唯一性。^[3] 2012 年前后, Ay、Jost、Lê 与 Schwachhöfer 把该结论推广到无限样本空间, 证明在充分统计量不变性下 Fisher 度量与 Amari-Chentsov 张量在相差常数倍的意义下唯一。^[10]

在 Rao 的工作之后, Shun'ichi Amari 自 20 世纪 80 年代起引入一族具有对偶性质的仿射连接, 形成了以 Fisher 度量为核心的对偶几何结构; 与此同时, Lauritzen 等人把带 Fisher 度量与对偶连接的流形抽象为统计流形。^[12] 对指数族而言, Fisher 度量可由势函数的二阶导数给出, 相关曲率量也可用势函数表示。^[13]

应用

在统计推断中, Fisher 信息矩阵的逆给出了无偏估计方差的 Cramér-Rao 下界, 这一经典不等式正是以该度量为几何语言表述的。^[14][11] 该度量还可用于构造对参数化不变的 自然梯度, 使优化过程不依赖坐标选取。^[15]

在 机器学习 中, 若干深度学习方法通过近似 Fisher 信息矩阵来改进梯度下降, Fisher-Rao 距离也被用于监督与无监督任务, 例如标签噪声下的学习与对抗鲁棒性研究。^[15][16]

在形状分析与聚类中, 由 Fisher-Rao 度量诱导的距离可以量化形状之间的差异, 在模拟与真实数据上的聚类效果优于常用的 Kendall 形状度量; 曲线与曲面的形状分析还发展了非参数版本的 Fisher-Rao 度量。^[8]

该度量还见于信号处理、雷达系统、图像处理、医学影像与形态学分类等领域, 常用于分布之间的比较、插值、平均与分割。^[6][17]

在量子信息中, 把该度量推广到复射影希尔伯特空间便得到 Fubini-Study 度量, 写成混合态形式时即为量子 Bures 度量。^[1]

局限

对任意统计模型求出 Fisher-Rao 距离的闭式表达并不容易, 这本质上与在一般流形上求解测地线问题同属一类困难; 目前只有少数分布族已知解析公式, 其余情形往往需要数值方法。^[16]

多元正态分布族一般没有显式的距离表达式, 现有结果多局限于特殊子流形上的闭式解以及一般情形下的界。^[2] 对多元正态的一般参数, 相关研究仍在不断补充特例与上下界。^[6]

对高斯混合模型而言, Fisher-Rao 度量没有闭式形式, 用它计算形状测地线会带来很高的计算代价, 因此有研究改为构造具有闭式表达的其他黎曼度量以替代。^[18]

信息几何主要面向参数化分布族, 与最优传输理论中的 Wasserstein 度量取向不同; 在非参数情形下, 还需要另行引入合适的拓扑与收敛概念, 相关理论处理起来更为复杂。^[17][12]

参见

• 信息几何 —— 以 Fisher-Rao 度量为基本工具的学科领域。

• 费舍尔信息 —— 其矩阵形式即 Fisher-Rao 度量所依赖的度量张量。

• 统计流形 —— 以概率分布为点的黎曼流形, Fisher-Rao 度量定义于其上。

• 测地线 —— 统计流形上测地线的长度给出 Fisher-Rao 距离。

• 自然梯度 —— 利用 Fisher 信息矩阵实现参数不变的梯度方法。

• 库尔贝克-莱布勒散度 —— Fisher-Rao 度量可视为其无穷小形式或 Hessian。