会员登录 - 用户注册 - 设为首页 - 加入收藏 - 网站地图 视频生成模型Motion-I2V:支持控制视频运动轨迹!

视频生成模型Motion-I2V:支持控制视频运动轨迹

时间:2024-07-02 03:47:33 来源:带水拖泥网 作者:电商 阅读:495次

视频生成模型Motion-I2V:支持控制视频运动轨迹

CSS站长资源(ChinaZ.com)2月4日 消息:Motion-I2V是视频生成视频一种新型的视频生成模型,可以像Runway的模型运动笔刷一样控制视频生成。它能够从一张静态图片生成连贯且可控制的支持视频,效果惊人!这个技术还能对生成视频进行运动控制,控制例如可以生成一辆车在道路上行驶的运动视频,而且还能控制车辆的轨迹行驶方向和速度等细节。

项目地址:https://top.aibase.com/tool/motion-i2v

Motion-I2V的视频生成视频主要功能特点包括:

1、图像到视频的模型自动转换,能够将静态图像自动转换成连贯的支持动态视频,通过模拟图像中对象的控制自然运动,使静态图像“活”起来。运动

2、轨迹显式运动建模,视频生成视频通过两个阶段的模型处理,首先预测图像中物体的支持运动轨迹,然后根据这些轨迹生成动态视频,这种方法明确考虑物体的移动方式,使生成的视频更加自然和真实。

3、Motion-I2V还支持用户精确控制视频中的运动轨迹和运动区域,为用户提供了比传统方法更高的可控性。生成的视频不仅在视觉上连贯,而且用户可以通过简单的操作控制视频内容,使得生成的视频既满足特定的视觉要求,又能反映用户的创意意图。

4、Motion-I2V还支持将一个视频转换为另一个风格的视频,而无需额外的训练样本,这一功能基于其先进的运动增强和时间注意力技术。

工作原理是将整个图像到视频的转换过程分为两个步骤,并且在这两个步骤中明确地考虑了物体的移动情况。

第一步骤是预测图片中物体的移动轨迹,通过一个特别设计的预测器来实现,它能够基于当前的图片和一些指令来预测出物体的移动方式。

第二步骤是根据这些轨迹将图片中的内容“拖动”到视频的每一帧中去,从而创建出连贯的视频。与其他类似技术相比,Motion-I2V的优势在于它生成的视频不仅看起来更连贯,而且用户还可以更精确地控制视频中的运动情况。

此外,这个技术还能够做到从一个视频转换到另一个视频,而不需要额外的训练数据,这是通过在第二步骤中引入的一种新技术实现的。

(责任编辑:资讯)

相关内容
  • 无代码AI图像生成和分析工作流平台ML Blocks 简单拖放即可创建工作流
  • 1688入淘、淘特迁移,阿里低价主战场缩回淘宝?
  • Rewind推创新可穿戴AI设备Limitless 实现全天候对话记录与个性化AI互动
  • 英国科技部门正考虑监管人工智能模型的立法
  • 史上开源大模型重磅登场!破纪录公开代码/权重/数据集/训练全过程,AMD都能训
  • AI日报:PR重大更新!Sora加入Adobe全家桶;文心大模型4.0工具版发布;世界首届AI选美大赛开始;GPT-4整顿学术圈
  • 百度小度科技发布AI原生操作系统DuerOS X
  • Create2024百度AI开发者大会 李彦宏:未来应用开发像拍短视频一样简单
推荐内容
  • 不收费!国内首座公路、铁路同层跨海大桥通车
  • Adobe Premiere Pro发布重大更新 引入Sora、Runway、Pika等AI视频模型
  • 京东“京享值”升级为“会员等级”:每月25日定级
  • 李彦宏刘强东魏建军等大佬扎堆直播,都是雷军逼的?
  • 不收费!国内首座公路、铁路同层跨海大桥通车
  • Adobe Premiere Pro发布重大更新 引入Sora、Runway、Pika等AI视频模型