MiniMates

定义

MiniMates 是一款图片数字人驱动算法，以开源形式发布，作者为代码托管平台用户 kleinlee^[1]。它的输入是一张人物图片，输出是同一人物说话或做出表情时的动态人脸视频，因此属于 数字人 生成技术中的一类^[1]。项目定位是在桌面端运行，并自称是开源同类算法中速度较快的一种^[2]。

与需要针对单个人物另行训练的方案不同，MiniMates 采用单图驱动方式，用户提供一张图片即可得到可被驱动的数字人形象^[1]。它支持两种驱动模式：一种由语音驱动，使人物随语音产生对应口型与动作；另一种由表情驱动，使图片人物模仿输入的表情信息。

原理

MiniMates 在算法上以由粗到细(coarse-to-fine)的包裹网络(wrap network)架构取代传统的稠密运动(dense motion)建模，以降低单帧计算开销，使推理可以在没有独立显卡的设备上运行；同时借助显式的 UV 映射提高人像细节的准确度^[1]。相机表情捕捉环节使用 MediaPipe 完成 ARKit 风格的表情采集，语音对话环节则使用 llama.cpp 与 edgeTTS 完成文字生成与语音合成^[1]。

项目公布的速度数据表明，CPU 推理框架 ncnn 下在 Intel i5-12600k 上约为每秒 11 帧，PyTorch 的 GPU 推理在 RTX 3080 上可达每秒约 374 帧，反映出该算法对硬件的适配范围较宽^[3]。

flowchart LR

A[单张人像图片] --> B[由粗到细的包裹网络]

C[语音或摄像头表情输入] --> B

B --> D[显式 UV 映射]

D --> E[实时人脸视频帧]

发展历程

2024 年 9 月 24 日，项目发布了大模型语音对话的原始程序与发布包，可在普通电脑上借助 llama.cpp 和 edgeTTS 完成实时语音对话^[1]。2024 年 10 月 4 日，面部推理代码发布，支持旋转驱动、音频驱动以及两者混合的驱动方式；两天后的 10 月 6 日，增加了摄像头实时表情驱动，使用 MediaPipe 完成 ARKit 表情捕捉^[1]。

2024 年 10 月 17 日，项目发布了新的软件包，支持一键进行数字人实时对话^[1]。此后相关工作扩展到 MatesX，这是一款超轻量级多端数字人对话引擎，被视为 DH_live 的进化版本，适配 Windows、macOS、iOS、Android 与小程序，并兼容 MiniMates 的桌面玩偶形态^[1]。MatesX 于 2025 年 9 月 23 日开源^[4]。

应用

MiniMates 的实际用途集中在自建数字人形象与桌面端 AI 伙伴。与之衔接的 MatesX 提供完整的对话链路，顺序为语音活动检测、语音识别、大语言模型、语音合成到数字人动画，并加入长短期记忆、实时情绪分析与表情动作生成等能力^[5]。

MatesX 已覆盖 Windows、macOS、Android、微信小程序与网页端，各端共用同一套核心引擎，用户可在其中管理自己的数字人形象^[4]。可预见的用法包括虚拟主播、在线教育讲解、虚拟客服与垂直领域口播视频等需要人物出镜的场景，但这些场景多为第三方归纳，并非项目方公布的功能清单^[6]。

局限

项目说明中提到，表情驱动部分当时并不完善，使用时可能得到不稳定但有趣的结果，并提示用户谨慎使用^[1]。摄像头表情驱动依赖 RGBA 四通道图片作为输入，普通三通道图片需要先做抠图处理^[1]。

项目的待办清单显示，集成至桌面软件、发布训练代码、人脸优化与上半身驱动等功能在当时尚未完成，说明其能力范围主要限于人脸区域^[1]。此外，预训练模型通过百度网盘分发，使用前需要自行下载并放入指定目录，部署仍有一定门槛^[1][7]。

参见

• MatesX —— 由同一作者开发的多端数字人对话引擎，兼容 MiniMates 的桌面玩偶形态。

• DH_live —— MatesX 的前身项目，同属该作者的数字人技术线。

• 数字人 —— MiniMates 所属的技术领域。

• LivePortrait —— 同类人像驱动算法，被 MiniMates 列为速度对比对象。

• 开源软件 —— MiniMates 的发布与分发方式。

• 大语言模型 —— 与 MiniMates 语音对话链路配合使用的技术。