会员登录 - 用户注册 - 设为首页 - 加入收藏 - 网站地图 Pandora:根据自然语言指令生成动作和视频的通用世界模型!

Pandora:根据自然语言指令生成动作和视频的通用世界模型

时间:2024-07-02 03:45:02 来源:带水拖泥网 作者:知识 阅读:147次

Pandora:根据自然语言指令生成动作和视频的通用世界模型

划重点:

🔍 Pandora 是据自界模一个通向通用世界模型(GWM)的重要步骤,通过生成视频来模拟任何领域的然语世界状态。

🔍 Pandora 可以接受自然语言输入作为动作,言指用世并在视频生成过程中实时控制视频内容,令生与之前只能在视频开始时输入文本提示的成动文本到视频模型有着关键的不同。

🔍 Pandora 还可以生成基于相同初始状态但不同动作的作和多个替代未来的视频,让用户能够自主控制未来的视频发展。

CSS站长资源(ChinaZ.com)5月24日 消息:Pandora 是据自界模一个研究通用世界模型(GWM)的重要进展,其目标是然语通过生成视频来模拟任何领域的世界状态,并提供自然语言的言指用世实时控制。

与之前的令生文本到视频模型不同,Pandora 可以接受自由文本的成动动作输入,实现在视频生成过程中对视频内容的作和实时控制。这种实时控制的视频能力实现了世界模型的互动内容生成承诺,并增强了强大的据自界模推理和规划能力。比如生成视频的过程中,用户可以输入指令如“让汽车向左转弯转”、“汽车前方发生爆炸事故”,Pandora 会即时地根据这些指令调整视频内容,实现动态控制。

产品入口网址:https://top.aibase.com/tool/pandora

Pandora 还能够生成基于相同初始状态但不同动作的多个替代未来的视频。用户可以通过输入不同的动作来控制视频的发展方向,实现对未来的自主控制。这种能力使得世界模型不再只是模拟替代未来,而是能够真正实现对未来的控制。

Pandora 能够在各种通用领域生成视频,包括室内 / 室外、自然 / 城市、人类 / 机器、2D/3D 等场景。通过使用高质量数据进行指导和训练,模型可以学习有效的动作控制,并在不同领域中实现迁移学习。例如,Pandora 在训练时只接触过2D 游戏 Coinrun,但可以无缝地将学到的动作应用于其他2D 游戏。

Pandora 将视频模型与自主生成的 Pandora 背骨结合在一起,可以生成更长的视频,甚至可以达到无限长度。通过这种结合,Pandora 能够生成长达8秒的视频,即使训练时的视频长度最多只有5秒。

然而,作为通向 GWM 的初步步骤,Pandora 仍然存在一些限制。它可能无法生成一致的视频,模拟复杂场景,理解常识和物理定律,以及遵循指令 / 动作。

Pandora 是通向通用世界模型的重要一步,它通过自然语言动作和视频状态的模拟生成,实现了对未来的自主控制,为交互式内容生成、强大的推理和规划能力提供了支持。

(责任编辑:自媒体)

相关内容
  • 击败OpenAI,权重、数据、代码全开源,能完美复现的嵌入模型Nomic Embed来了
  • 三星积极提升用户体验:推出Galaxy S22安全维护更新
  • 热搜 女子长期乏力:全家查出吸血鬼病基因
  • 工资到账:小米汽车员工实发工资曝光 年入百万不是梦
  • 每月几十搞定!用户晒联通1000M宽带:这上下行速度飞起
  • 小米MIX Fold 4通过3C认证:支持天通卫星通信功能
  • 《黑神话:悟空》大火:三天预售额超亿元!8月20日正式上线
  • 万兆进村!北京一农村开通全国万兆直播间
推荐内容
  • 美图宣布2.85亿元收购站酷  为自家AI视觉大模型生态带来优质协同效应
  • 上海-上海 全程8小时!长三角环线高铁今日正式开通
  • 姜萍中考621分:老师王闰秋证实了这个说法
  • 姜萍中考621分:老师王闰秋证实了这个说法
  • 回怼欧盟app store侧载!苹果库克:背道而驰
  • 万兆进村!北京一农村开通全国万兆直播间