iTransformer是清华大学与蚂蚁集团研究人员提出的一种多变量时间序列预测模型，全称「倒置 Transformer（Inverted Transformer）」。它的做法与以往基于 Transformer 的预测模型相反：不把同一时刻的多个变量拼成一个词元，而是把每个变量的整条历史序列单独嵌入为一个变量词元，再由注意力机制刻画变量之间的关联，由前馈网络学习单条序列的非线性表示，且不修改 Transformer 的任何原生模块。该模型在多个公开预测基准上取得领先结果，并被收入多个开源时序工具库中[1]。
定义
iTransformer 是一种面向多变量时间序列预测的神经网络模型，其核心思想是把 Transformer 的各个既有模块搬到「相反维度」上使用，而不改动注意力、前馈网络、层归一化等原生组件的内部结构[1]。在一般的多变量时序任务中，给定 T 个时间步、N 个变量的历史观测，模型需要预测未来若干步的取值；iTransformer 把每个变量的整条序列视为一个独立过程来处理[1]。
论文给出的正式名称为「iTransformer: Inverted Transformers Are Effective for Time Series Forecasting」，中文常译为「倒置 Transformer」[2]。该工作由清华大学软件学院与蚂蚁集团的研究人员完成，作者为刘雍、胡腾戈、张淏然、吴海旭、王世宇、马琳涛和龙明盛[3]。
原理
iTransformer 采用仅编码器（Encoder-only）结构，由嵌入层、若干 Transformer 块和映射层组成[1]。输入的历史矩阵先被按变量切分，第 n 个变量的整条序列经线性层嵌入为维度 D 的向量，即变量词元：$\mathbf{h}_n^0 = \operatorname{Embedding}(\mathbf{X}_{:,n})$；随后这些词元依次经过若干 Transformer 块，最后由映射层投影到预测长度，得到该变量的未来序列[1]。
在这一结构里，自注意力作用在变量维度而非时间维度上。注意力权重 $A_{i,j} \propto q_i^\top k_j$ 刻画第 i 个变量与第 j 个变量之间的关联强度，其矩阵规模与变量数 N 有关，与回看窗口长度无关，因此论文认为这有助于在变量数量很大时控制计算量并得到可解释的变量关联图[3]。同时，前馈网络逐变量地作用于序列表示，用于学习幅度、周期性等序列本身的性质，由于序列顺序隐含在前馈网络的神经元排列中，模型中不再需要位置编码[1]。
层归一化也被放到变量词元内部执行，即对每个变量的嵌入向量单独做标准化，公式为 $\operatorname{LayerNorm}(\mathbf{H}) = \{(\mathbf{h}_n - \operatorname{Mean}(\mathbf{h}_n))/\sqrt{\operatorname{Var}(\mathbf{h}_n)}\}$。论文据此指出，由于各变量被归一化到相近分布，因测量单位和量纲不同带来的差异被削弱，而以往按时间步归一化的做法则容易使序列被过度平滑；这一设计也与应对非平稳序列的思路一致[1]。
由于注意力作用于变量维度，模型对词元数量的限制较小，理论上可以在不同变量数的数据上训练与推理；论文报告称在部分变量上训练、再对未见过的变量做预测时仍具有泛化能力[4]。作者也把这一倒置框架视为一种通用设计，替换注意力实现后可挂接各类高效注意力机制[1]。
发展历程
2023 年 10 月，论文以预印本形式公开，代码同步在开源仓库发布，并进入同一团队的时序模型库 Time-Series-Library，在该库的回看长度 96 预测任务上取得当时的最优结果[4]。2023 年 12 月，论文发布修订版，同时模型被集成进 GluonTS，支持概率预测头和静态协变量。
2024 年 1 月，该论文被 ICLR 2024 接收为 Spotlight 论文，蚂蚁集团同期共有 11 篇论文入选[5]。2024 年 4 月，模型被纳入 NeuralForecast；同年 5 月，社区贡献者发布了可通过包管理器安装的版本。2025 年 1 月，该工作被评为 CCF 基金优秀项目[6]。
此后该架构被后续研究沿用和扩展，例如被用于地表湍流通量预测、极移预测等场景，也被用作时序预测研究中的对比基准模型，同时也出现了针对其参数量与计算复杂度问题所做的轻量化改进[7][8]。
应用
论文在多个常规基准数据集上验证了该模型，涵盖电力、交通、天气、汇率、太阳能和交通流量等场景，报告的误差指标在多数设定下优于同期对比模型[3]。论文还使用了蚂蚁集团业务侧的服务器负载类数据集，涉及支付、终端、金融等指标序列[3]。
工程层面，该模型被用于蚂蚁集团的服务器负载预测场景，属于数据中心绿色计算的部署方向[9]。在开源生态中，它被 GluonTS、NeuralForecast 等时序建模库收录，也在部分云服务的资源用量预测方案中被作为基础架构使用。
在科研领域，研究者将该架构迁移到地球物理与气象类任务中。例如有工作将其用于地表摩擦速度、感热通量和潜热通量的预测，并与 Transformer、Informer、ConvLSTM 等模型对比[7]；另有研究将其与最小二乘分解结合，用于极移的中长期预测[10]。
局限
论文自身承认，倒置结构的出发点是多变量场景，其优势来自对变量之间关联的建模，因此并不必然适用于所有时序任务[1]。当变量数只有 1 个时，注意力矩阵退化为 $1 \times 1$ 的常数权重，变量维度的自注意力不再提供有效信息，有研究在单变量极移预测任务中即对此做了适配改造[10]。
自注意力的规模随变量数 N 增长，在变量数量达到数百甚至更多时仍可能带来较高的计算与显存开销。有研究指出该模型存在计算复杂度较高、参数量偏大的问题，并据此提出以 iTransformer 为基础框架的轻量化模型[8]。
变量泛化能力也有条件限制。论文报告的是在部分变量上训练后对未见变量做预测的泛化表现，这一能力依赖各变量在嵌入后被归一化到相近分布，若新变量与训练变量在物理含义或统计特性上差异较大，其效果在论文中并未给出保证[4]。此外，该模型的预测能力仍受数据本身可预测性的限制，在应用于极移等地球物理量预测时，研究采用最小二乘等方法先分离趋势与周期成分、再对残差建模的方式，以降低学习负担[10]。
参见
参考资料
- arxiv.org 上的网页 [引用日期2026-10-14]
- ICLR2024 Spotlight | iTransformer: 倒置Transformer，刷新时序预测新纪录 [引用日期2026-10-14]
- Published as a conference paper at ICLR 2024 [引用日期2026-10-14]
- iTransformer [引用日期2026-10-14]
- AI 国际顶会 ICLR 2024 结果揭晓，蚂蚁集团 11 篇论文入选 [引用日期2026-10-14]
- Yong Liu [引用日期2026-10-14]
- 2025MS005029 [引用日期2026-10-14]
- 基于iTransformer的轻量级时序预测模型-郑州大学学报(工学版)2026年02期-知网阅读 [引用日期2026-10-14]
- 时间序列预测 [引用日期2026-10-14]
- wiley.com 上的网页 [引用日期2026-10-14]