定义
Elman神经网络是一种部分递归的神经网络模型，介于经典的前馈感知机与全递归网络之间[3]。它的基本构成包括输入层、隐藏层、输出层和一个上下文层（也称内容层），其中各层之间的前向连接权重可以训练，而上下文层到隐藏层的连接权重固定为 1[3][2]。
埃尔曼给这类网络起的名称是简单递归网络，后来的文献通常以他的名字称呼这一结构[2]。由于网络的动态特性仅由内部连接提供，使用时不需要把系统状态作为额外输入或训练信号，这一点使它在动态系统辨识等领域较静态前馈网络更有优势[3]。
原理
网络按时间步依次处理输入。在任一时刻 $t$，输入单元接收当前输入，同时上下文单元提供上一时刻隐藏层激活值的副本，隐藏层把两者共同作用于自身，再把结果前向传到输出层[4]。与此同时，隐藏层当前的激活模式被逐一复制到上下文单元，供下一个时间步使用[4]。上下文单元由此充当一份对先前输入的内部记忆，且这份记忆不是预先设计好的，而是由网络在训练中自行习得[5]。
用公式表达，隐藏层状态与输出为 $h_t = \sigma_h(W_h x_t + U_h h_{t-1} + b_h)$，$y_t = \sigma_y(W_y h_t + b_y)$，其中 $x_t$ 是输入向量，$h_t$ 是隐藏层向量，$W$、$U$、$b$ 为参数矩阵和偏置，$\sigma_h$、$\sigma_y$ 为激活函数[6]。
训练时常用随时间反向传播的方法：把网络在时间上展开成一个共享参数的深层前馈网络，用误差反向传播逐次调整可训练权重，而隐藏层到上下文单元的回馈权重始终保持为 1、不参与调整[4][7]。
flowchart LR
I[输入层] --> H[隐藏层]
H --> O[输出层]
H -- 固定权重 1.0 --> C[上下文层]
C -- 固定权重 1.0 --> H
发展历程
把时间引入联结主义模型的想法并非始于埃尔曼。乔丹(Michael I. Jordan)在 1986 年的技术报告中已提出用递归连接赋予网络动态记忆，他让输出层单元的模式复制到状态单元[8][4]。
埃尔曼在 1988 年前后提出并使用了这一简单递归网络架构，用来预测序列中的后继元素，随后在 1990 年 3 月发表的《Finding Structure in Time》一文中系统阐述了该方法，论文刊登于《Cognitive Science》第 14 卷第 2 期，第 179 至 211 页[9][1]。
与乔丹网络的关键差别在于回馈来源：乔丹网络把输出层的输出复制回网络，而埃尔曼网络复制的是隐藏层的输出，因此二者虽同属简单递归网络，内部状态的表示方式不同[10][11]。此后，塞尔万-施赖伯(Servan-Schreiber)、克利尔曼斯(Cleeremans)与麦克莱兰(McClelland)等研究者用有限状态语法和字母序列实验分析了该网络隐藏层所编码的序列信息[9]。
应用
埃尔曼在原文中以若干仿真验证该架构，任务从时序版的异或问题，到从无词边界标记的字母串中提取与词相关的共现信息，再到学习语法与语义特征，网络都能形成具有结构性的内部表示[8][4]。
在工程领域，这一结构被广泛用于动态系统辨识。相关研究将其应用于液压机组的辨识，说明其动态特性完全由内部连接提供，适合对具有时变特征的系统建模[3]。在预测类任务中，它被用于股市指数方向预测和核电站异常工况下的自动停堆时间预测等场景[11][12]。
比较研究显示，在相同数据上，埃尔曼型递归网络对小样本和大样本的噪声过滤效果均好于前馈网络[5]。
局限
该结构使用的是逐元素相乘的递归关系，梯度在时间上反复乘以同一权重矩阵，因此存在梯度消失与梯度爆炸问题，很难学习跨度很长的依赖关系[13][14]。随着回溯时间步数增加，上下文单元中承载的早期信息逐渐衰减，对当前激活的贡献也随之减弱[4]。
在核电站自动停堆预测的实验中，当埃尔曼网络模型的训练均方根误差过低时会出现过拟合，平均测试误差随之上升，模型稳定性变差，甚至给出偏离真实值较大的结果；训练误差过高时又会欠拟合，因此最佳训练误差难以事先确定，给实际使用带来困难[12]。同一研究还发现，隐藏层节点数在 10 至 25 的范围内对预测性能没有显著影响[12]。
以简单递归网络做语言研究也受到批评，早期实验多基于简化的语法片段和较小的词表，其能否扩展到真实语言的复杂度存在疑问[15]。为缓解长期依赖问题，后续出现了长短期记忆网络和门控循环单元等带门控的递归结构[14]。
参见
参考资料
- Finding Structure in Time [引用日期2026-10-14]
- Recurrent Network [引用日期2026-10-14]
- ieee.org 上的网页 [引用日期2026-10-14]
- Why time is important [引用日期2026-10-14]
- S016727899782009X [引用日期2026-10-14]
- Beat the World’s Best at Super Smash Bros [引用日期2026-10-14]
- cam.ac.uk 上的 PDF 文件 [引用日期2026-10-14]
- sciencedirect.com 上的网页 [引用日期2026-10-14]
- Learning Sequential Structure in Simple Recurrent Networks [引用日期2026-10-14]
- DTIM16104.1480585873(PDF) [引用日期2026-10-14]
- 14_chapter5(PDF) [引用日期2026-10-14]
- wiley.com 上的网页 [引用日期2026-10-14]
- arxiv.org 上的网页 [引用日期2026-10-14]
- Review: “Vanilla”/“Elman” RNN [引用日期2026-10-14]
- Jordan (1986) [引用日期2026-10-14]