Stable Cascade

定义

Stable Cascade是Stability AI开发的一种生成式文生图模型，属于扩散模型，能够依据文本提示生成图像^[1]。其名称中的“Cascade”即“级联”，来源于它由阶段A、阶段B和阶段C三个子模型串联组成的结构^[1]。与Stable Diffusion系列相比，它的主要区别在于工作在更小的潜在空间上^[1]。

该模型于2024年2月以研究预览版形式推出，发布时附带检查点与推理脚本，同时公开了训练、微调、ControlNet和LoRA训练的脚本。它采用限定非商业用途的授权条款，相关权重可通过diffusers库调用。

原理

Stable Cascade建立在Würstchen架构之上，整个流程分为三段。阶段C是文本条件的潜在扩散模型，也就是潜在生成器，它把用户输入转换成尺寸为24×24的紧凑潜在表示。阶段A与阶段B构成潜在解码器，承担类似Stable Diffusion中VAE的角色，负责把图像压缩到潜在空间并从潜在表示重建出高分辨率像素图像^[1]。

这种设计的核心在于潜在空间的压缩程度。Stable Diffusion使用8倍的空间压缩，1024×1024的图像被编码为128×128；Stable Cascade的压缩倍数达到42倍，同样的图像被编码为24×24，同时仍能较清晰地重建^[1]。潜在空间越小，扩散过程运行越快，训练成本也越低^[1]。研究还表明，阶段C负责图像的内容语义，阶段B的作用则类似基于潜在扩散的超分辨率模块，主要补充细节与提升分辨率，而不在语义层面显著改变图像^[2]。

将文本条件生成（阶段C）与向高分辨率像素空间的解码（阶段A、B）解耦后，ControlNet、LoRA等额外训练或微调都可以只在阶段C上单独完成。按论文数据，这样做相比训练同等规模的Stable Diffusion模型可带来16倍的成本下降。该架构此前版本相对Stable Diffusion 1.5也曾实现16倍的成本缩减^[1]。

发展历程

2024年2月，Stability AI推出Stable Cascade的研究预览版，作为基于Würstchen架构的新文生图模型。发布时提供两种阶段C检查点（10亿与36亿参数）和两种阶段B检查点（7亿与15亿参数），阶段A约含2000万参数且固定不变^[1]。官方建议使用36亿参数的阶段C版本，因其输出质量最高；阶段B的15亿参数版本则在重建细小细节方面表现更好^[1]。

发布同期，官方在Stability的GitHub页面公开了检查点、推理脚本以及用于微调、ControlNet和LoRA训练的代码，模型可通过diffusers库进行推理。该模型最初定位于研究用途，权重采用仅允许非商业使用的许可。

应用

Stable Cascade的基础功能是文本生成图像，即根据提示词生成对应画面。在此基础上，它还支持图像变体生成：先借助CLIP从给定图像中提取图像嵌入，再交回模型生成若干变体。图像到图像生成则通过向给定图像加入噪声，再以此为起点运行生成过程来实现。

借助阶段C的独立微调能力，模型可配合多种控制与微调手段使用，包括ControlNet与LoRA。发布时列出的ControlNet用途包含图像修补与扩展，即输入图像、掩码和文本提示，由模型按提示填充被遮罩的区域。此外，微调、LoRA、IP-Adapter、LCM等常见扩展方式在这套架构上同样可行^[1]。

局限

Stable Cascade最初定位于研究用途，官方说明其并未针对人物或事件的真实、事实性再现进行训练，因此用其生成此类内容超出模型能力范围^[1]。使用还需遵守Stability AI的可接受使用政策^[1]。

模型本身存在若干技术限制。官方列出的问题包括：人脸及人物整体可能无法被正确生成，模型的自编码部分是有损的^[1]。推理时显存需求约为20GB，使用较小变体可进一步降低，但代价是输出质量可能下降。此外，官方检查点的数据类型存在约束，阶段C的检查点不支持torch.float16，需要改用torch.bfloat16；解码器要使用bfloat16则需PyTorch 2.2.0或更高版本。

参见

• Stability AI —— 开发并发布Stable Cascade的公司。

• Stable Diffusion —— 同一公司推出的文生图模型系列，Stable Cascade常与其对比。

• 扩散模型 —— Stable Cascade所属的生成模型类别。

• Würstchen —— Stable Cascade所依托的模型架构。

• ControlNet —— 可用于Stable Cascade的生成控制方法。

• LoRA —— 可用于Stable Cascade的低秩微调方法。