字节万卡集群技术细节公开:2天搞定GPT-3训练,算力利用率超英伟达Megatron-LM
时间:2024-07-04 05:13:37 来源:带水拖泥网 作者:资讯 阅读:799次
随着对Sora技术分析的字节展开,AI基础设施的集群技术重要性愈发凸显。来自字节和北大的细节训练一篇新论文在此时吸引关注:文章披露,字节搭建起的公开万卡集群,能在1.75天内完成GPT-3规模模型(175B)的天搞训练。具体来说,定G达字节提出了一个名为MegaScale的算力生产系统,旨在解决在万卡集群上训练大模型时面临的利用率超效
......
本文由CSS站长资源合作伙伴自媒体作者“量子位公众号”授权发布于CSS站长资源平台,本平台仅提供信息索引服务。英伟由于内容发布时间超过平台更新维护时间,字节为了保证文章信息的集群技术及时性,内容观点的细节训练准确性,平台将不提供完全的公开内容展现,本页面内容仅为平台搜索索引使用。天搞需阅读完整内容的定G达用户,请查看原文,获取内容详情。
即将跳转到外部网站 安全性未知,是否继续 继续前往(责任编辑:业界)
最新内容