会员登录 - 用户注册 - 设为首页 - 加入收藏 - 网站地图 北大团队发起复现Sora计划“Open Sora” AnimateDiff大神响应!

北大团队发起复现Sora计划“Open Sora” AnimateDiff大神响应

时间:2024-07-02 03:55:01 来源:带水拖泥网 作者:知识 阅读:611次

北大团队发起复现Sora计划“Open Sora”  AnimateDiff大神响应

要点:

1. 北大团队联合兔展发起了复现Sora的团队计划,框架已搭建,发起复现袁粒和田永鸿领衔。计划

2. Open Sora计划采用三部分组成的神响框架,包括Video VQ-VAE、团队Denoising Diffusion Transformer和Condition Encoder。发起复现

3. 计划已经完成了初步功能的计划实现,团队在集结开源社区力量,神响希望尽可能完成复现。团队

CSS站长资源(ChinaZ.com)3月4日 消息:北大团队联合兔展启动了复现Sora的发起复现计划,该项目名为Open Sora。计划这一举措的神响背后是资源有限的情况下,团队希望汇集开源社区的团队力量,以尽可能完成复现工作。发起复现

项目的计划核心团队由北大信息工程学院助理教授袁粒和北大计算机学院教授田永鸿等领导,共有13名成员。除了团队成员外,北大校友和AnimateDiff贡献者等也积极响应,并有人表示愿意提供高质量的数据集。

项目地址:https://top.aibase.com/tool/open-sora-plan

关于Sora的复现技术细节已经公布,项目框架包括三个主要部分:Video VQ-VAE、Denoising Diffusion Transformer和Condition Encoder。

为了解决Sora视频的可变长宽比问题,团队采用了上海AI Lab提出的FiT技术,实施了一种动态掩码策略。同时,团队还通过位置插值来处理可变分辨率,并使用Video VQ-VAE来支持可变时长的视频处理。团队已经初步实现了三个功能,并在项目主页上提供了两个demo,展示了10秒和18秒视频的重建效果。

尽管已经取得了一些进展,但团队面临着诸多挑战。目前的训练是在8个A100-80G上进行的,但仍然远远不够,而且需要更多的数据和GPU进行训练。团队已经完成了一些任务,包括采样脚本和在embeddings上添加类条件,但仍有一些待办事项需要完成。

项目的领衔者之一是袁粒,他是北大信息工程学院的助理教授,曾获得福布斯30岁以下亚洲杰出人物榜单的荣誉。另一位领衔者是田永鸿,他是北京大学博雅特聘教授,拥有丰富的科研经验和荣誉。

关于谁能率先发布中文版Sora的问题,目前仍然是一个未解之谜。在业内,有传言称字节可能会成为首个发布中文版Sora的公司。尽管有一些AI模型类似于Sora,比如最近出现的Boximator和Dreamina,但它们与Sora仍存在一定差距。然而,这个问题的答案还有待时间的揭晓。

(责任编辑:小程序)

相关内容
  • 2024春节档:没有大片,只有悬念
  • 女生取24颗胆结石没事盘着玩:留着当纪念品
  • 微软工程师爆料:OpenAI训练GPT-6把微软电网搞崩 刷爆10万张H100
  • 比亚迪赵长江:做汽车真挺难、感谢小米雷军之前的赞赏
  • 超越微软、亚马逊:苹果连续17年蝉联“全球最受赞赏公司”榜首
  • 天水麻辣烫火了!南京一米线店改名成甘肃麻辣烫店
  • 全面对标GPT4!科大讯飞副总裁:星火大模型V4.0预计6月发布
  • 比亚迪赵长江:做汽车真挺难、感谢小米雷军之前的赞赏
推荐内容
  • 中国航天又破新纪录!西昌发射场最短时间实现200次发射
  • 珠峰已“开始发臭” 尼泊尔要求攀登者自带粪便下山
  • 短短几天下载量已超4亿!抖音商城版安卓软件著作权获批登记
  • 张颂文:你改下网名会不会好点 网友点赞高情商
  • 1元=1700000tokens!清华系发布国产Mistral仅2B,老手机都带得动,GitHub一天斩获300+星
  • 小米SU7续航700公里起!标准版超越特斯拉Model 3长续航版