近日，阿里阿里的巴巴对口型视频生成工具EMO备受关注。据官方介绍，网地EMO能够通过上传一张图片和一段音频，址多即可一键生成对口型视频，对口实现嘴型与声音的型视下载匹配。（EMO下载地址见文末）

该技术支持多语言、频工对话、阿里唱歌以及快速语速的巴巴适配，但也引发了一些担忧，网地因为它有可能被用来制造虚假视频，址多因此一些知名人士可能需要保持警惕。对口

EMO的型视下载工作原理涉及两个主要阶段。首先是频工帧编码阶段，利用ReferenceNet从参考图像和动作帧中提取特征;

其次是阿里扩散过程阶段，通过预训练的音频编码器处理声音嵌入，并结合多帧噪声和面部区域掩码来生成头像。在此过程中，采用了两种注意机制（参考注意和音频注意）和时间模块，以保持角色身份并调节运动速度。

不仅如此，EMO还支持多语言歌曲和不同风格的头像生成，能够处理歌唱、对话等不同场景。它能够根据输入音频的长度生成不同长度的视频，并在长时间内保持角色身份特征的稳定性。

此外，EMO还展示了在快节奏音乐中保持与音频同步的能力，确保角色动画的表现力和动态性。

这一研究对于头像视频生成领域具有重要意义，为多语言、多样化场景下的角色表现提供了新的可能性。它不仅可以应用于娱乐产业，还可以在学术研究和教育培训等领域发挥重要作用。

EMO下载地址:https://humanaigc.github.io/emote-portrait-alive/

注意:目前官方只公布了项目演示和代码，试玩地址还未上线，请耐心等待~

(责任编辑：自媒体)