快手出品!DragAnything:拖动锚点精准控制视频物体和镜头运动
划重点:
⭐️ 快手科技联合浙江大学研究团队提出了 DragAnything 方法,快手控制利用实体表示实现了对任何物体的出品运动控制。
⭐️ 对比现有的拖动头运运动控制方法,DragAnything 在用户友好性、锚点对象多样性和多对象控制方面具有优势。精准
⭐️ 在实验中,视频DragAnything 在 FVD、物体FID 和用户调查方面取得了 state-of-the-art 的和镜表现,尤其在对象运动控制方面超过了以前的快手控制方法。
CSS站长资源(ChinaZ.com)3月13日 消息:快手科技联合浙江大学、出品新加坡国立大学表演实验室研究团队提出了一种名为 DragAnything 的拖动头运新方法,通过实体表示实现了对任何物体的锚点运动控制。
DragAnything可以实现用户轨迹交互,精准并具有SAM功能。视频包括可以精确控制物体的物体运动,生成高质量视频,用户只需在交互过程中绘制一条轨迹。另外DragAnything可实现对前景、背景和相机等不同元素的多样化运动控制。
研究团队通过分析发现,DragNUWA 的像素运动轨迹并不能很好地代表物体的整体运动,因为单个点无法表示整个实体。此外,他们还观察到,在 DragNUWA 合成的视频中,距离拖动点较近的像素展示了更大的运动,这并不符合他们对物体整体运动的期望。因此,他们提出了 DragAnything 方法,通过实体表示实现了对整个物体的运动控制,解决了这些问题。
与现有的运动控制技术相比,DragAnything 有几个显著的优势:
首先,基于轨迹的操作方式对用户更友好,尤其是在获取其他辅助信号(如遮罩、深度图等)较为繁琐时。用户只需在互动中绘制一条线(即轨迹)即可。
其次,DragAnything实体识别技术能够处理任何对象,这意味着它可以控制包括背景在内的各种实体的运动。
最后,这种实体识别技术还可以同时对多个对象实现不同的运动控制。
大量实验表明,该技术在 FVD、FID 和用户体验研究方面均达到了行业领先水平,特别是在对象运动控制方面,该方法比之前的技术(例如 DragNUWA)在人类评估中提高了26%。
DragAnything 方法在视频生成领域取得了显著进展,为实现对任何物体的精确运动控制提供了新的思路和方法。
产品入口:https://top.aibase.com/tool/draganything
(责任编辑:业界)
- ·支持534种语言,开源大语言模型MaLA-500
- ·2024年第三涨!国内油价即将调整:加满多花5.5元
- ·6.2GHz i9-14900KS出厂即灰烬!电压高得不可思议 功耗达409W
- ·台积电大客户!苹果为台积电贡献了全年1/4营收
- ·比利时设陷阱诱捕300万只大闸蟹 避免过度繁殖问题
- ·AMD回忆痛苦往事:一二代Zen EPYC到手后都点不亮
- ·55.98万买吗 公路高铁理想MEGA已抵达全国351家零售中心:现场火爆
- ·140万买的奔驰改装商务车一年内坏多次 卖车要损失7、80万
- ·12306回应遛娃车厢:暂未接到通知 上车后可跟乘务员询问相关事宜
- ·经常用耳机的3个60原则上热搜:听力一但受损不可逆 为了老了不戴助听器
- ·决战拜年之巅体验入口 回家过年模拟器游戏免费在线使用地址
- ·直屏党的!一加Ace 3V来了:全球首发高通骁龙7系
- ·刘德华官方严正声明:提醒警惕AI语音合成骗局
- ·2024年第三涨!国内油价即将调整:加满多花5.5元
- ·你还会玩吗!消息称微软修复跟网易关系 暴雪国服要回归节奏
- ·广汽埃安发力价格战!AION Y Plus星耀版上市:不到十万就能买
- ·谷歌Pixel原生新增卫星通信SOS功能:能发送紧急信息
- ·首发3nm PC芯片!苹果M3 MacBook Pro 14英寸翻新机开售:10999元起
- ·谷歌Brad AI聊天机器人免费在线使用地址 Gemini Pro体验入口
- ·历史人!詹姆斯达成40000分里程碑 NBA中国官方手机iQOO庆祝