MIMO:给定参考图像或视频即可生成可控制动作和场景的动画人物!

MIMO是一个生成虚拟角色动画的工具。它能够让用户通过一张图片和简单的动作信息（如图片、动作序列或视频），生成一个可以控制动作和场景的动画人物，而且这个人物可以与场景中的物体进行互动。

即给定一个参考图像，MIMO能够通过几分钟的推理生成可动画的虚拟形象。

该项目由阿里巴巴集团智能计算研究院开发。MIMO项目的核心目的是通过用户提供的简单输入（如图片、动作序列或视频）来生成具有控制性的角色视频。这意味着，用户可以通过一个参考图像（比如某个人物的照片），结合动作序列或场景描述，生成一个能够进行动画的虚拟角色，并且这个角色可以表现出用户定义的动作和场景互动。

该模型突破了传统3D角色视频生成方法的局限，不需要多视角拍摄或针对每个角色单独训练。通过结合2D视频信息和3D空间建模，MIMO 可以高效地生成角色动画，并支持在真实世界的复杂场景中与物体进行交互。

项目及演示：https://menyifang.github.io/projects/MIMO/index.html

论文：https://arxiv.org/pdf/2409.16160

GitHub开源地址：https://github.com/menyifang/MIMO