InstantStyle

定义

InstantStyle 是一个免训练的通用图像风格注入框架，目标是让扩散模型生成的图像与给定参考图像在风格上保持一致，同时让文字提示继续有效控制画面内容^[1]。它并不重新训练扩散模型，而是复用 IP-Adapter 的预训练权重，在其基础上改变图像特征的注入方式^[2]。按照作者的说法，它是一个通用框架，用两种做法把参考图像中的风格与内容拆开^[3]。

该框架被归入风格化图像生成，也就是俗称的风格迁移这一类任务^[4]。

原理

第一项策略是在特征层面把内容与风格分离。研究者在图像检索任务中确认，CLIP 的图像与文本特征处在同一空间，可以直接相加相减；由于内容比风格更容易用自然语言描述，因此可以用 CLIP 文本编码器提取内容文本的特征，再从参考图的图像全局特征中把它减去，剩下的部分即被视为风格表示，这种做法对抑制内容泄露有明显作用^[2]。需要说明的是，特征相减只适用于全局特征，不适用于分块特征^[2]。

第二项策略是只在特定层注入参考图像特征。作者逐层考察后认为，UNet 深层网络中不同层捕捉的语义信息并不相同，其中 up blocks.0.attentions.1 与 down blocks.2.attentions.1 两个注意力层分别对应风格（色彩、材质、氛围）和空间布局（结构、构图），因此只把图像特征送进这两类风格相关层，而不做全模型参数调整，就隐式地实现了风格与内容的解耦^[2]。在实现上，图像特征通过额外的交叉注意力层注入，即文本分支与图像分支各自使用一组键值对，再按权重线性求和，形式可写作 $Z_{new}=Attention(Q,K^{t},V^{t})+\lambda\cdot Attention(Q,K^{i},V^{i})$^[5]。两种策略互不冲突，可以分别使用或组合使用^[2]。

发展历程

2024 年 4 月 3 日，InstantX 团队发布技术报告《InstantStyle: Free Lunch towards Style-Preserving in Text-to-Image Generation》，作者为 Haofan Wang、Matteo Spinelli、Qixun Wang、Xu Bai、Zekui Qin、Anthony Chen^[6]。该团队此前曾提出用于人脸身份保持的 InstantID，InstantStyle 被视为同团队在通用风格注入方向上的后继工作^[4]。

发布后相关支持陆续增加。2024 年 4 月 3 日，ComfyUI_IPAdapter_plus 节点开始支持该方法；4 月 7 日加入基于图像的风格化功能与 SD1.5 实验版本；4 月 9 日在 Hugging Face 与 ModelScope 上线在线演示；4 月 20 日被 sd-webui-controlnet 支持；4 月 23 日至 29 日间被 diffusers 库原生集成，此后可通过 set_ip_adapter_scale() 按层配置各 IP-Adapter 的强度^[1]。2024 年 7 月 1 日，团队又发布侧重内容保持的 InstantStyle-Plus 报告，把任务拆分为风格注入、空间结构保持与语义内容保持三部分^[7]。

应用

该方法的直接用途是风格化图像生成，即输入一张风格参考图与一段文字提示，生成风格一致而内容由文字决定的新图像，例如以油画为参考生成油画风格的猫^[8]。它还支持基于原图的风格化、图生图与图像修复等变体，并可与 ControlNet 结合以获得更精确的构图控制^[1]。

在交互方式上，模型提供三种注入模式：仅使用风格层、同时使用风格层与布局层、以及沿用原始 IP-Adapter 的全部注入层，不同模式在风格强度与内容保真之间取舍不同^[8]。在工具生态方面，它已进入 ComfyUI、sd-webui-controlnet 等常用界面，并被视频编辑项目 AnyV2V 用作风格化组件^[1]。在第三方基准测试中，InstantStyle 在风格相似度与主观偏好指标上相对原始 IP-Adapter 有所提升，单张生成耗时约 10 秒量级^[9]。

局限

内容与风格的解耦并不彻底。后续研究指出，InstantStyle 仍需要人工调整图像条件系数来平衡风格强度与文本可控性，系数调低可增强文本控制但会带来风格退化，而调参过程相当费时；其基于特征相减的做法在图文对齐不佳时，可能破坏风格编码器提取到的风格信息^[10]。

风格概念本身带有不确定性。作者在论文中指出，风格包含色彩、材质、氛围、设计与结构等多种要素，缺乏统一定义，人工评价也难以给出统一结论；参考图像引导强度与内容泄露之间存在此消彼长的关系，当条件强度过高时，参考图中的物件、身份、背景等元素可能随之进入生成结果^[6]。此外，官方实现指出 SD1.5 版本对风格信息的感知与理解较弱，因此该版本仅作为实验性演示^[2]。

参见

• IP-Adapter —— InstantStyle 建立在其预训练权重与交叉注意力注入机制之上。

• Stable Diffusion —— 该方法以 SDXL 等扩散模型作为生成骨干。

• CLIP —— 用于提取参考图像与内容文本的特征，是其解耦策略的基础。

• UNet —— 图像特征注入所针对的网络结构，风格层定位即在其注意力层中完成。

• ControlNet —— 可与 InstantStyle 结合，用于约束生成图像的构图。

• InstantID —— 由同一团队提出，用于人脸身份保持的风格化生成。