超越Sora!AI视频模型StreamingT2V可生成120秒超长视频
划重点:
⭐ StreamingT2V技术实现了长视频生成的超越长视突破,可生成高度一致且长度可扩展的视频生成视频。
⭐ 该技术核心构架包括条件注意力模块(CAM)和外观保持模块(APM),模型秒超确保视频连续性和视觉质量。超越长视
⭐ 实现方法分为初始化、视频生成Streaming T2V生成和Streaming Refinement三个阶段,模型秒超提高了视频生成的超越长视质量和分辨率。
CSS站长资源(ChinaZ.com)3月26日 消息:近日,视频生成UT奥斯丁等机构提出的模型秒超StreamingT2V技术引发了广泛关注,将AI视频生成推向了新的超越长视高度。这项技术突破了以往视频长度的视频生成限制,实现了生成高度一致且长度可扩展的模型秒超视频。
StreamingT2V技术的超越长视核心构架包括条件注意力模块(CAM)和外观保持模块(APM)。CAM利用短期记忆单元确保视频连续性,视频生成而APM作为长期记忆单元保持视频中对象或场景的模型秒超一致性。这两个模块的结合,使得生成的视频不仅动态连贯,而且视觉效果高质量。在测试中,研究人员用Streaming T2V生成1200帧,长达2分钟的视频。
具体实现方法分为三个阶段:初始化、Streaming T2V生成和Streaming Refinement。在初始化阶段,利用文本到视频模型创造视频的前16帧;接着进入Streaming T2V阶段,通过自回归技术生成后续帧,保证视频内容连贯性;最后,在Streaming Refinement阶段对生成的视频进行优化,提高画质和动态效果。
特色亮点包括:
从文本描述生成2分钟的视频
创建具有复杂动态运动的视频
确保长视频中的时间一致性
该技术的出现标志着AI视频生成的新突破,不仅可以生成1200帧甚至无限长的视频,而且内容过渡自然平滑,丰富多样。与此同时,StreamingT2V技术的不断完善和提升也将进一步推动AI视频生成领域的发展,为视频内容创作提供更多可能性。
项目入口:https://top.aibase.com/tool/streamingt2v
论文地址:https://arxiv.org/abs/2403.14773
(责任编辑:短视频)
- ·没有取消!曝魅族21 Pro下月发布:冲击6000元高端价位
- ·谷歌Pixel 8系列手机在印度生产 全系印度制造
- ·谷歌AI Overviews引发争议: 从胶水披萨到吃石头的AI建议
- ·全程153元!广东城际“四线”今日贯通运营:横跨广州、东莞等5市
- ·支持534种语言,开源大语言模型MaLA-500
- ·OPPO Find N5首度曝光:全球骁龙8 Gen4折叠屏
- ·估值飙至138亿美元,27岁华裔天才少年再获融资
- ·搭载旗鱼系统 5.0,Jolla“S19 MAX PRO S”定制手机“买一送一”售10800里拉
- ·InternLM-XComposer2官网体验入口 视觉语言AI模型文本图像合成在线使用地址
- ·魏建军谈哈弗H6失去销冠:我们不后悔 行业有无序、恶意竞争
- ·高铁超载无法运行 有旅客被请下车!12306回应:不建议买短补长
- ·华为悬红200万全球求解难题引热议 网友:虽然不会 但是感觉自己亏了
- ·别再被一口白牙骗了:淡黄色是牙医公认的健康色号
- ·爆米花刺客被中消协点名:不明码标价 有人买两份爆米花和两份可乐花160元
- ·今日立春 兔年的第二个立春来了!
- ·OPPO Find N5首度曝光:全球骁龙8 Gen4折叠屏
- ·拜师拼多多?美团低价外卖已经步入新的阶段
- ·一加Nord CE 4 Lite通过多机构认证 售价或低于1750元
- ·6岁女孩在爸爸公司年会上自信跳舞 网友:表情管理天赋异禀
- ·全程153元!广东城际“四线”今日贯通运营:横跨广州、东莞等5市