IOPaint

关注
义项:图像修复开源工具
IOPaint

IOPaint 是一款免费、开源的图像修复与图像外扩工具,由开发者 Sanster 主导开发,采用 Apache License 2.0 协议授权。它把 LaMa、PowerPaint、AnyText、Stable Diffusion 等多种人工智能模型整合到同一套界面里,可完成擦除、修复、对象替换、文字绘制与画幅扩展等任务[1]。工具支持本地部署,兼容 CPU、GPU 与苹果芯片,既提供网页界面,也提供命令行批量处理方式。

百科 图文
目录
  1. 定义
  2. 原理
  3. 发展历程
  4. 应用
  5. 局限
  6. 参见

定义

IOPaint 是一套完全自托管、免费开源的图像修复(inpainting)与图像外扩(outpainting)工具,其官方定位是「由当前先进人工智能模型驱动的图像修复与外扩工具」。它把图像处理所需的多个人工智能模型集中到一个软件里,用户无需分别部署各个模型,即可在同一界面完成不同的编辑任务[1]。

从功能角度看,IOPaint 覆盖四类主要操作:以 LaMa 模型实现的擦除、以 PowerPaint 模型实现的对象替换、以 AnyText 模型实现的图像内文字绘制,以及同样由 PowerPaint 支持的画面外扩。这些功能都建立在涂抹选区这一交互方式之上;用户先用笔刷或套索标出待处理区域,再由模型在选区内部生成内容[1]。

除主要功能外,IOPaint 还通过插件机制接入图像分割、背景移除、超分辨率与人脸修复等能力,例如 Segment Anything、RemoveBG、Anime Segmentation、RealESRGAN、GFPGAN 与 RestoreFormer[1]。软件以 Python 包的形式发布,可在命令行列界面中安装和启动[1]。

原理

IOPaint 的核心工作流程围绕蒙版(mask)展开。用户先在原图上圈出需要修改的区域,软件把原图与该蒙版一并送入模型,模型只在蒙版覆盖的像素范围内生成内容,区域以外的像素保持不变,因此可以在不改变原图整体构图的前提下替换局部内容[1]。擦除任务通常由 LaMa 一类修复模型承担,这类模型根据选区周边的纹理与结构推断缺失内容;替换与外扩任务则由扩散模型承担,模型还会结合用户输入的提示词控制生成结果。

在模型管理上,IOPaint 可以启动时自动从模型托管平台下载所需权重,也可以通过参数指定本地存放目录,此外还支持直接加载本地的 ckpt 或 safetensors 单文件模型[1]。由于这些模型是独立训练的组件,IOPaint 本身并不参与训练,而是扮演调度与推理入口的角色,把不同模型的输入输出统一到一套接口之下。

推理可在中央处理器或图形处理器上运行,安装时需按硬件选择对应版本的深度学习框架,例如使用英伟达显卡需预先安装 CUDA 版本的 PyTorch,超威半导体显卡在 Linux 下可使用 ROCm 版本。

发展历程

IOPaint 的前身是名为 Lama Cleaner 的图像修复工具,该项目以 LaMa 模型为核心,用于去除照片中不需要的物体、瑕疵与人物[2]。早期版本的模型选择较为有限,仅内置 anything4 与 realisticVision1.4 等少数扩散修复模型[3]。

随着 1.0.0 测试版推出,项目正式启用 iopaint 这一名称与命令行工具,新增了 iopaint start 与 iopaint run 两个子命令,分别用于启动模型服务与批量处理;该版本还支持从模型托管平台自动下载 sd1.5、sd2 与 SDXL 的普通或修复模型,并加入了图像外扩功能[3]。同一时期加入的还有 MIGAN、PowerPaint、Kandinsky 2.2 修复模型与轻量的 MobileSAM 等新模型[3]。

项目在后续版本中持续维护,发布过 1.5.1 与 1.5.3 等版本[1][4]。有技术资料称其开发已停止,新环境搭建前需要确认这一情况[5]。

应用

在照片处理方面,IOPaint 常被用于清除画面中的路人、广告牌、电线等干扰元素,去除水印与污渍,以及修补老照片上的划痕和破损,其擦除操作通常只需在目标区域上涂抹即可完成[6]。借助人脸修复与超分辨率插件,还可以改善模糊老照片中的人脸细节与整体清晰度[1]。

在电商与内容创作场景中,该工具可用于批量清除商品主图的水印与背景瑕疵,或在画面中生成文字注释[6]。图像外扩功能则可以把竖版照片扩展为横版,用于制作海报、拼图与故事板等素材[7]。

在部署方式上,IOPaint 全部在本地运行,原始图片无需上传到外部服务器,可通过网页界面操作,也可用命令行对整批图片进行自动化处理[1]。有开发者将其与内网穿透工具配合,以便在局域网之外访问本地服务[8]。

局限

IOPaint 的处理效果高度依赖所选模型。默认修复模型对小目标如电线一类的识别能力较弱,需要改用其他模型才能获得更理想的结果[7]。使用扩散模型完成替换或外扩时,结果通常需要人工逐步调整参数,难以一次达到稳定输出。

运行条件也构成限制。使用图形处理器处理时对显存有要求,显存不足会出现卡顿,需要降低处理分辨率;纯中央处理器模式下虽然可以运行,但速度明显偏慢[7]。安装过程涉及深度学习框架与硬件驱动版本匹配,使用英伟达或超威半导体显卡时需要分别选择对应版本,环境配置存在一定门槛。

本地部署意味着服务只在安装它的设备上可用,离开该设备就无法即时处理图片;若改用云端图形处理器部署,则会带来持续的计算成本[7]。此外,模型权重需要在首次使用时下载,网络条件会影响初次启动的耗时[1]。

参见

  • 图像修复 —— IOPaint 所实现的核心任务,指在图像缺失或指定区域内生成合理内容。

  • Stable Diffusion —— IOPaint 用于对象替换与图像外扩的扩散模型系列。

  • 图像分割 —— IOPaint 通过 Segment Anything 等插件实现的选区生成技术。

  • 超分辨率 —— IOPaint 借助 RealESRGAN 插件提升图像清晰度的功能。

  • 生成式人工智能 —— IOPaint 各功能所依托的技术基础。

词条评价
词条统计

浏览次数:1 次

阅读量:0 次 · 阅读完成量:0 次

最近更新:2026-10-13T17:58:34Z

历史版本

本条目引用的词条
图像修复 Stable Diffusion 图像分割 超分辨率 生成式人工智能