MDTv2开源,Sora 核心组件 DiT 训练提速 10 倍
**划重点:
**1. 🌟 Masked Diffusion Transformer V2MDTv2()在ImageNet benchmark上刷新SoTA,开源FID score达到1.58。核心
2. 🚀 颜水成/程明明研究团队通过引入Masked Diffusion Transformer有效提升了DiT的组件训练速度,并解决了扩散模型在学习语义关系方面的练提难题。
3. 📄 论文和代码已开源,速倍详细信息可查阅[GitHub地址](https://github.com/sail-sg/MDT)。开源
CSS站长资源(ChinaZ.com)3月13日 消息:由颜水成和程明明领衔的核心研究团队在Sora核心技术上进行了重要的升级,推出了Masked Diffusion Transformer V2。组件该模型在ImageNet benchmark上取得了惊人的练提成绩,FID score达到1.58,速倍刷新了State-of-the-Art(SoTA)。开源
作为Sora的核心核心技术之一,Diffusion Transformer(DiT)在图像生成领域取得了显著的组件成功,但其训练成本随着模型规模的练提增大而飙升。研究者发现,速倍扩散模型难以高效地学习图像中物体各部分之间的语义关系,导致训练过程低收敛效率。为了解决这一问题,颜水成和程明明研究团队提出了Masked Diffusion Transformer(MDT),通过引入mask modeling表征学习策略,显著提升了DiT的训练效率。
MDT采用了针对Diffusion Transformer设计的mask modeling表征学习策略,增强了模型对上下文语义信息的学习能力,并加强了图像中物体之间语义信息的关联学习。通过在扩散训练过程中引入类似于MAE的mask modeling表征学习方案,MDT能够重建不完整输入图像的完整信息,提升图像生成的质量和学习速度。
具体而言,MDT通过VAE encoder将图片映射到latent空间,并在latent空间中进行处理以节省计算成本。在训练过程中,MDT首先mask掉部分加噪声后的图像token,并将剩余的token送入Asymmetric Diffusion Transformer来预测去噪声后的全部图像token。Asymmetric Diffusion Transformer架构包含encoder、side-interpolater和decoder,在训练和推理阶段分别处理未被mask的token和所有token,确保了模型的一致性。
最新版本的MDT,即MDTv2,通过更为高效的宏观网络结构进一步优化了diffusion和mask modeling的学习过程,实现了训练速度的显著提升。在ImageNet256基准下,MDTv2相较于DiT,不仅在训练速度上提升了10倍以上,而且在生成质量上取得了更高的FID分数。MDTv2-S/2在400k步骤训练下,FID指标为39.50,明显领先于DiT-S/2的68.40。
总体而言,MDT的创新设计在扩散模型训练中引入了有效的语义信息学习,提高了图像生成的质量和训练速度。研究者认为,通过视觉表征学习增强对物理世界的语义理解,有望提升生成模型对物理世界的模拟效果。这一工作符合Sora的期望,通过生成模型构建物理世界模拟器的理念,为未来的表征学习和生成学习研究提供了有力的启示。
项目入口:
(责任编辑:业界)
- ·小米年度机皇预热!产品经理换上小米14 Ultra
- ·Apple Intelligence完全指南:苹果AI个人智能化系统使用方法教程与免费下载体验入口
- ·用眼睛就能操控iPhone和iPad:iOS 18辅助功能上新
- ·坏消息假期结束好消息只上4天:距离中秋节还有三个月之久
- ·爽翻!小伙挂临牌19分钟内闯8个红灯 记48分罚款1200元:官方科普临牌意义
- ·向特斯拉Model Y发起挑战 余承东官宣:智界全新SUV车型命名R7
- ·史诗级更新上热搜:iPhone录音会通知对方引热议 苹果回应了
- ·今年秋季 Apple AirPods 将推出3个实用功能(仅适用于这些型号)
- ·鞠婧祎成《荣耀》品牌大使 持伞跳舞美翻了
- ·IllumiNeRF:无逆渲染的 3D 重新照明 随意切换任何光效