Make-Your-Anchor:输入1分钟视频训练能生成带手部动作的虚拟人
划重点:
⭐️ 提出了一种基于扩散的输入视频手部二维头像生成框架,名为 Make-Your-Anchor。分钟
⭐️ 通过仅需一分钟的训练视频片段进行训练,实现了自动生成带有准确躯干和手部动作的生拟人锚点样式视频。
⭐️ 实验结果表明,成带在视觉质量、动作的虚时间连贯性和身份保留方面,输入视频手部该系统在扩散 / 非扩散方法中具有更高的分钟效果和优越性。
CSS站长资源(ChinaZ.com)3月29日 消息:近日,训练一项名为 Make-Your-Anchor 的生拟人研究成果即将在 CVPR2024上展示。该项目输入1分钟视频进行训练,成带可以合成带手部动作的动作的虚虚拟人视频,支持嘴型同步,输入视频手部支持换脸。分钟
这一创新系统在创造与全身动作的训练锚点样式视频方面取得了重要突破,尽管基于说唱头像的创作解决方案已有显著进展,但直接生成具有完整躯干和手部动作的视频仍然具有挑战性。
该系统提出了一种全新的解决方案,仅需一个个体的一分钟视频片段进行训练,随后就能自动生成具有精确躯干和手部动作的锚点样式视频。具体而言,他们在输入视频上微调了一个结构引导的扩散模型,将3D 网格条件渲染为人类外观。为了将动作与特定外观有效地绑定,他们采用了两阶段训练策略来训练扩散模型。
为了生成任意长的时间视频,他们将帧间扩散模型中的2D U-Net 扩展到3D 样式,而无需额外的训练成本,并且提出了一个简单而有效的批次重叠的时间去噪模块,以在推理过程中绕过视频长度的限制。最后,引入了一种新颖的特定身份的面部增强模块,以改善输出视频中面部区域的视觉质量。不过这一项目代码还没发布。
经过比较实验,结果显示该系统在视觉质量、时间连贯性和身份保留方面的有效性和优越性,优于当前最先进的扩散 / 非扩散方法。这一创新的框架为头像生成领域带来了新的可能性和前景。
产品入口:https://top.aibase.com/tool/make-your-anchor
论文:https://arxiv.org/abs/2403.16510v1
(责任编辑:短视频)
- ·决战拜年之巅免费在线体验入口 ChatMindAI聊天机器人过年游戏使用地址
- ·别把赚钱当梦想!董明珠:员工收入不多才有压力 给的多幸福感自然就来了
- ·宁王要归来!宁德时代股价大涨超14% 被称行业股票
- ·OpenAI副总裁称将永远提供免费ChatGPT版本
- ·12306回应高铁超载:不建议买短补长 补票需要咨询列车员
- ·高君雨账号已无MCN认证:其微博账号已限制评论
- ·定位高性能SUV!新款MINI“乡巴佬”JCW上市:售39.98万元
- ·李想长文回应MEGA被黑 比亚迪李云飞:感同身受 支持维权!
- ·高通猛龙来袭!骁龙8 Gen4多核跑分过万
- ·《魔兽世界》国服稳了 网易大神惊现预约页面!停服公告已删除
- ·网友3天使用了564张福卡成“街溜宝子” 支付宝送全国可飞的往返机票
- ·劳斯莱斯库里南车主入住酒店爱车离奇失踪:数月后竟成网红车
- ·2035年 中国将建成现代化铁路强国!高铁7万公里
- ·AI+游戏,迎来Sora时刻?来听听从业者们怎么说
- ·匿名论文提出奇招,增强大模型长文本能力居然还能这么做
- ·李想长文回应MEGA被黑 比亚迪李云飞:感同身受 支持维权!
- ·Midjourney发布角色一致性功能:定制角色图像与参照图像相符合
- ·一对夫妇做短剧每月进账4亿多 网友直呼电视剧都不敢这么写
- ·路面结冰小哥带哈士奇送外卖 网友:勇敢狗狗不怕困难
- ·别把赚钱当梦想!董明珠:员工收入不多才有压力 给的多幸福感自然就来了