会员登录 - 用户注册 - 设为首页 - 加入收藏 - 网站地图 全球!中国电信发布单体稠密万亿参数语义模型Tele-FLM-1T!

全球!中国电信发布单体稠密万亿参数语义模型Tele-FLM-1T

时间:2024-06-29 23:59:02 来源:带水拖泥网 作者:深度 阅读:495次

全球!中国电信发布单体稠密万亿参数语义模型Tele-FLM-1T

快科技6月19日消息,全球据中国电信”官微发文,中国中国电信人工智能研究院(TeleAI)联合北京智源人工智能研究院发布全球首个单体稠密万亿参数语义模型Tele-FLM-1T,电信单体成为国内首批发布稠密万亿参数大模型的发布机构。

面对大模型训练过程中算力消耗巨大的稠密参数挑战,TeleAI与智源通过深度研发,语义结合模型生长和损失预测等关键技术,模型成功推出了Tele-FLM系列模型。全球这一系列模型在算力资源的中国使用上,仅消耗了业界普通训练方案的电信单体9%,展现出极高的发布算力能效。

通过使用112台A800服务器,稠密参数TeleAI团队在短短4个月内完成了3个模型总计2.3T tokens的语义训练,全程无需任何调整和重试,模型充分证明了模型训练的全球稳定性和收敛性。

值得一提的是,Tele-FLM-1T版本即将开源,此举旨在为社区提供训练万亿稠密模型的技术参考,有效解决万亿模型训练收敛难等问题,进一步推动大模型技术的进步。

TeleAI不仅在技术创新上不断突破,还积极通过开源方式推动大模型技术的普及和国产化进程。他们接连开源了7B、12B、52B参数规模的大模型,这些模型在开源社区中引发了广泛讨论和使用,开源模型下载量已超过万次,吸引了超过40万用户

(责任编辑:小程序)

相关内容
  • 只需0.5秒!MobileDiffusion:在手机设备上就能实现快速文本生成图像
  • 专家质疑插电车油箱比燃油车还大 博主怒怼:强制你加满油才能走了吗
  • 今天起 长沙至广州高铁跑进2小时
  • 专家质疑插电车油箱比燃油车还大 博主怒怼:强制你加满油才能走了吗
  • 小伙高速堵2天2夜翻栏杆进村买面包 南方暴雪致交通受阻
  • 曾称汽车低价会牺牲产品质量和安全!余承东:华为没能力卷价格
  • 重大考古发现:南海两艘古代沉船揭开神秘面纱
  • 三星Galaxy Z Fold6配置泄露:轻薄机身强大摄影功能
推荐内容
  • 怕不怕:调查称单身更容易使人变傻、死亡率更高
  • Intel 13/14代酷睿i9不稳定的根源找到了!需更新微代码和BIOS
  • 国内车企太卷了!岚图CEO被营销策划逼到悬崖边上测试自动泊车
  • 中国首批L3没华为又如何!靳玉志:希望明年开放高速L3级智能驾驶 华为能力秒搞定
  • 多地暴雪、冻雨!申通快递对12省份快件提价:3公斤以上单价上涨
  • 全球量产风阻低过小米SU7 极狐阿尔法S5上市:17.68万起