会员登录 - 用户注册 - 设为首页 - 加入收藏 - 网站地图 快手出品!DragAnything:拖动锚点精准控制视频物体和镜头运动!

快手出品!DragAnything:拖动锚点精准控制视频物体和镜头运动

时间:2024-07-02 04:10:16 来源:带水拖泥网 作者:资讯 阅读:686次

快手出品!DragAnything:拖动锚点精准控制视频物体和镜头运动

划重点:

⭐️ 快手科技联合浙江大学研究团队提出了 DragAnything 方法,快手控制利用实体表示实现了对任何物体的出品运动控制。

⭐️ 对比现有的拖动头运运动控制方法,DragAnything 在用户友好性、锚点对象多样性和多对象控制方面具有优势。精准

⭐️ 在实验中,视频DragAnything 在 FVD、物体FID 和用户调查方面取得了 state-of-the-art 的和镜表现,尤其在对象运动控制方面超过了以前的快手控制方法。

CSS站长资源(ChinaZ.com)3月13日 消息:快手科技联合浙江大学、出品新加坡国立大学表演实验室研究团队提出了一种名为 DragAnything 的拖动头运新方法,通过实体表示实现了对任何物体的锚点运动控制。

DragAnything可以实现用户轨迹交互,精准并具有SAM功能。视频包括可以精确控制物体的物体运动,生成高质量视频,用户只需在交互过程中绘制一条轨迹。另外DragAnything可实现对前景、背景和相机等不同元素的多样化运动控制。

研究团队通过分析发现,DragNUWA 的像素运动轨迹并不能很好地代表物体的整体运动,因为单个点无法表示整个实体。此外,他们还观察到,在 DragNUWA 合成的视频中,距离拖动点较近的像素展示了更大的运动,这并不符合他们对物体整体运动的期望。因此,他们提出了 DragAnything 方法,通过实体表示实现了对整个物体的运动控制,解决了这些问题。

与现有的运动控制技术相比,DragAnything 有几个显著的优势:

首先,基于轨迹的操作方式对用户更友好,尤其是在获取其他辅助信号(如遮罩、深度图等)较为繁琐时。用户只需在互动中绘制一条线(即轨迹)即可。

其次,DragAnything实体识别技术能够处理任何对象,这意味着它可以控制包括背景在内的各种实体的运动。

最后,这种实体识别技术还可以同时对多个对象实现不同的运动控制。

大量实验表明,该技术在 FVD、FID 和用户体验研究方面均达到了行业领先水平,特别是在对象运动控制方面,该方法比之前的技术(例如 DragNUWA)在人类评估中提高了26%。

DragAnything 方法在视频生成领域取得了显著进展,为实现对任何物体的精确运动控制提供了新的思路和方法。

产品入口:https://top.aibase.com/tool/draganything

(责任编辑:业界)

相关内容
  • 复刻动漫“神器”,@剑客范十三 守护万千网友的英雄梦
  • 快递员称30分钟送完的货现在干12小时引热议:有人得知新规两天后离职 网友称不如放驿站
  • 解决吃鱼“卡嗓子”痛点 中国科学家研究出无刺草鱼:口感像鲈鱼
  • 周鸿祎拳砸、肘击哪吒L:直呼这车真硬
  • 扎克伯格吐槽苹果欧洲新规:认为开放只是一个幌子
  • 售价过万!董明珠回应玫瑰空调遭吐槽:要把空调做成家里艺术品
  • 女子故意不接快递电话 索赔获利3.7万元被抓:举报快递员先签收后派送
  • 零跑汽车创始人:零跑和比亚迪的赛道不同 我们向理想学习
推荐内容
  • 小红书开源「InstantID」效果炸裂,被Yann LeCun点赞,迅速蹿上Github热榜
  • 6.2GHz i9-14900KS出厂即灰烬!电压高得不可思议 功耗达409W
  • 极星手机Polestar Phone证件照出炉:基于魅族21 Pro设计
  • 韩国民众排队4个小时告别福宝:流下不舍的泪水
  • 两乘客买到“同日同座”高铁票 12306官方解释原因
  • 复旦研发出“眸思”大模型:助力视障者安全出行