LucidDreamer是一类三维内容生成方法的总称，最常指韩国首尔大学计算机视觉实验室提出的三维场景生成流水线，其正式名称为「LucidDreamer: Domain-free Generation of 3D Gaussian Splatting Scenes」，论文于2023年11月22日发布在预印本平台arXiv，后发表于《IEEE可视化与计算机图形学汇刊》，并获该刊2025年度最佳论文亚军。该方法以三维高斯泼溅（3D Gaussian Splatting）为统一表示，通过交替进行的「梦境」与「对齐」步骤，在无需限定目标领域的前提下从文本、RGB或RGBD输入生成可漫游的三维场景。同期另有一个同名方法，聚焦文本到三维物体的高保真生成。[1][2][3]
定义
LucidDreamer是一套生成三维场景的计算方法，其目标是在不限制目标场景所属领域的前提下，合成多样、高分辨率且可扩展的三维环境。该方法由首尔大学计算机视觉实验室的研究者提出，论文作者包括Jaeyoung Chung、Suyoung Lee、Hyeongjin Nam、Jaerin Lee与Kyoung Mu Lee，其中前两位为共同第一作者。论文最初以预印本形式于2023年11月22日公开，编号为arXiv:2311.13384。[1][4][5]
该方法的输出采用三维高斯泼溅作为统一的场景表示。三维高斯泼溅以大量带球形谐波与不透明度参数的高斯图元描述场景，支持透明混合与可微光栅化，能够在较短时间内完成高质量的场景优化。研究者认为，这一表示不受场景边界约束，适合处理逐幅生成图像时无法预先确定范围的情形。[6]
需要区分的是，另有一项同名研究「LucidDreamer: Towards High-Fidelity Text-to-3D Generation via Interval Score Matching」，由Yixun Liang、Xin Yang、Jiantao Lin、Haodong Li、Xiaogang Xu与Yingcong Chen完成，聚焦从预训练二维扩散模型蒸馏高保真纹理与形状的文本到三维物体生成框架，发表于2024年CVPR会议，并入选该会议重点论文。[7][8]
原理
LucidDreamer的流水线分为两个主要阶段：点云构建与高斯图元优化。第一阶段从输入图像提取像素并映射到三维空间形成初始点云；如果输入只是文本提示，则先用潜在扩散模型生成与文本对应的图像，再用ZoeDepth等单目深度估计模型得到深度图，据此将像素抬升为三维点。[6]
场景的扩张依靠交替进行的两个步骤。研究者将生成多视角一致图像的过程称为「梦境」：把已有的一部分点云投影到目标视角，将投影结果作为修补生成的条件，交给扩散模型补全画面，再结合估计出的深度把这些新画面抬升为新的三维点。随后的「对齐」步骤用于把新生成的三维片断整合进同一个场景，使各部分在几何与外观上相互协调，最终得到的点云作为优化高斯泼溅的初始点。[1][9]
用公式可以概括点云抬升这一环节。给定图像与深度图，通过相机内参矩阵与外参矩阵将像素投影到三维空间，得到初始点云：$\mathcal{P}_0 = \phi_{2\rightarrow 3}([\mathbf{I}_0, 0pt_0], \mathbf{K}, \mathbf{P}_0)$。其中图像像素经逆投影后沿视线方向按深度值放缩，形成空间中的离散点，这些点既提供几何约束，也作为后续生成新视角图像时的参考。[6]
该流程可概括为如下的循环结构：
flowchart LR
A[文本 / RGB / RGBD 输入] --> B[初始点云构建]
B --> C[梦境: 投影点云并修补生成新视角图像]
C --> D[深度估计并抬升为新三维点]
D --> E[对齐: 融合新片断]
E --> F{场景是否达到目标规模}
F -->|否| C
F -->|是| G[优化三维高斯泼溅]
G --> H[可漫游三维场景]
发展历程
2023年11月22日，首尔大学计算机视觉实验室将论文「LucidDreamer: Domain-free Generation of 3D Gaussian Splatting Scenes」发布在arXiv，编号2311.13384。研究者指出，当时已有的三维场景生成模型把目标场景局限在特定领域，原因在于训练数据多来自与现实世界存在差距的三维扫描数据集，因此提出以大规模扩散生成模型补足领域泛化能力。[3][1]
该方法随后被《IEEE可视化与计算机图形学汇刊》接收，于2025年9月18日在线发表，刊登于该刊第31卷第12期，页码10640至10651。论文在该刊2025年度评选中获得最佳论文亚军。[2][3]
相关实现以开源代码形式发布，官方仓库提供命令行与图形界面两种使用方式，并在Hugging Face上提供在线演示空间，另有第三方实现的Colab笔记本。研究者公布的配置覆盖文本到三维生成与个性化文本到三维等任务，并说明可在单张RTX 3090显卡上完成训练。[3]
应用
LucidDreamer面向的是三维内容的自动生产。研究者将其用途定位于虚拟现实与三维图形场景的构建，可在只给出一段文本提示或一张图像的情况下生成可导航的三维场景，用户通过点击拖拽即可在其中移动视角、通过滚轮缩放观察细节。[1][2]
在输入方式上，该方法同时支持文本、RGB图像与RGBD图像，也可以组合使用多种输入，并在生成过程中动态更换输入内容。官方演示提供了旋转一周、环视、俯视等相机轨迹选项，以及往返、LLFF、摇头等渲染轨迹，便于对生成场景做多角度观察。[2][10]
研究者还提出动态重提示的方式，允许按顺序输入多条文本提示，对场景生成过程做更细粒度的控制。生成的场景在多个公开评测指标上被与RGBD2等方法进行比较，其中在CLIP-Score与CLIP-IQA等感知质量指标上取得较高数值；在以COLMAP点云为初始化的重建对比中，使用该方法生成的点云在PSNR、SSIM与LPIPS上也表现出更好的结果。[1]
局限
作为依赖生成模型的方法，LucidDreamer的优势在于画面观感，但不保证与真实场景在像素层面严格对齐。后续研究在对比时指出，这类基于扩散生成的方式会给出视觉上合理的结果，而定量指标与真实参考之间仍存在差距。[11]
在渲染形式上，该方法面向透视相机的图像进行生成与渲染，不支持全景渲染，因此无法直接用于等距柱状投影的全景度量对比。相关研究在评测时只能比较其透视视角的结果。[11]
速度与计算开销也是限制之一。该方法需要针对每个场景做优化，端到端完成一幅场景的时间可达数十分钟量级，明显慢于完全前馈式的重建方案；在部分对比中，其推理耗时约为2000秒量级。此外在高遮挡区域，透视视角下可能出现小的空洞。[11]
研究者对生成内容的可用范围亦作出说明，指出方法本身不可用于商业用途，且演示中使用的模型权重与示例插图并不归论文作者所有。由于依赖从二维扩散模型蒸馏出的先验，生成结果在结构一致性与细节真实度上仍受生成模型能力本身的制约。[10]
参见
参考资料
- LucidDreamer [引用日期2026-10-14]
- ieee.org 上的网页 [引用日期2026-10-14]
- LucidDreamer [引用日期2026-10-14]
- nih.gov 上的网页 [引用日期2026-10-14]
- paperswithcode.co 上的网页 [引用日期2026-10-14]
- arxiv.org 上的网页 [引用日期2026-10-14]
- LucidDreamer [引用日期2026-10-14]
- thecvf.com 上的网页 [引用日期2026-10-14]
- github.com 上的网页 [引用日期2026-10-14]
- app [引用日期2026-10-14]
- arxiv.org 上的网页 [引用日期2026-10-14]