AI视频生成工具ID-Animator:可保持角色一致生成视频动画
划重点:
⭐️ 提出了一种零样本人类视频生成方法,视频生成色致生成视频可根据单个参考面部图像进行个性化视频生成
⭐️ 引入面向身份的工具数据集构建流水线,提高身份信息在视频生成中的可保提取效率
⭐️ 结合控制网络,实现单帧或多帧控制图像与面部参考图像的持角融合生成视频
CSS站长资源(ChinaZ.com)4月25日 消息:近年来,生成具有指定身份的动画高保真人类视频引起了广泛关注。然而,视频生成色致生成视频现有技术在训练效率和身份保持之间往往难以取得平衡,工具要么需要繁琐的可保逐案微调,要么在视频生成过程中通常会丢失身份细节。持角研究提出了一种名为 ID-Animator 的动画零样本人类视频生成方法,可以在无需进一步训练的视频生成色致生成视频情况下执行个性化视频生成,只需单个参考面部图像即可。工具
ID-Animator是可保一种零样本个性化视频生成方法,可以根据单个参考面部图像生成个性化视频,持角无需额外训练。动画ID-Animator 继承了现有基于扩散的视频生成框架,并引入了一个面部适配器,用于从可学习的面部潜在查询中编码与身份相关的嵌入。
为了促进视频生成中身份信息的提取,研究引入了一个面向身份的数据集构建流水线,该流水线结合了从构建的面部图像池中生成分离的人类属性和动作标题的技术。基于这一流水线,进一步设计了一种随机面部参考训练方法,以精确捕获参考图像中的与身份相关的嵌入,从而提高了模型对于特定身份视频生成的保真度和泛化能力。
大量实验证明了 ID-Animator 在生成个性化人类视频方面优于先前的模型。此外,该方法与流行的预训练 T2V 模型(如 animatediff)和各种社区骨干模型高度兼容,在需要高度保持身份的视频生成的真实应用中表现出高度可扩展性。
ID-Animator特色功能亮点:
随机参考训练:在训练过程中,随机从之前提取的面部池中选择一个参考图像,通过这种蒙特卡洛技术,平均化来自不同参考图像的特征,减少身份不变特征的影响。
生成能力 :ID-Animator 在基本提示下展示了生成能力,可以通过文本定制人物的上下文信息,包括头发和服装等特征,创造新颖的角色背景,并使他们执行特定的动作,同时包括性别和年龄。
身份混合 :通过将来自两个不同 ID 的嵌入以不同比例混合,我们有效地在生成的视频中结合了两个 ID 的特征。
与 ControlNet 结合 :ID-Animator 能够提供单帧控制图像或多帧控制图像。当提供单帧控制图像时,生成的结果巧妙地将控制图像与面部参考图像融合。当提供多个控制图像时,生成的视频序列紧密遵循多个图像提供的序列。
产品入口:https://top.aibase.com/tool/id-animator
(责任编辑:电商)
- ·OpenAI 推出适用于 Apple Vision Pro 的 ChatGPT 应用
- ·百度:文心大模型日均处理Tokens文本达2490亿
- ·首发云晰柔光屏!华为MatePad 11.5S发布:2599元起
- ·Deep Paint:一款可以直接在3D空间中绘画的插件
- ·12306回应无座票去一等座:站着坐着都不行
- ·字节与荣耀、小米、OPPO、vivo等共同宣布:成立智能终端大模型联盟
- ·比Model Y便宜3万!乐道L60开启预售:21.99万元起 9月上市交付
- ·中国区AI团队被打包去美国 微软回应:仅一小部分员工可国际轮岗
- ·腾讯收购《古剑奇谭》开发商网元圣唐
- ·57岁高考钉子户梁实备战第28次考试:可能是最后一次了
- ·《完蛋!我被美女包围了!》DLC倒计时海报:美女室友让人心跳
- ·字节与荣耀、小米、OPPO、vivo等共同宣布:成立智能终端大模型联盟
- ·比iPhone 15 Pro Max高198%!余承东:华为Pura 70 Ultra实现业内进光量
- ·Google CEO表示,生成式AI对搜索业务不构成威胁
- ·OnePlus11 和 12 手机将迎来人工智能功能更新
- ·零售价近70000元!AMD宣布量产Alveo V80计算加速卡:板载32GB内存
- ·华为开放式耳机!华为FreeClip新配色暖星云发布:1299元
- ·DXO影像!余承东称华为Pura 70 Ultra能将望远镜、显微镜合二为一
- ·假冒演员靳东用微信实施诈骗 8人获刑:骗取金额超31万
- ·F1传奇车手舒马赫腕表被拍卖:2块拍出将近1500万