全球!中国电信发布单体稠密万亿参数语义模型Tele-FLM-1T
时间:2024-06-29 23:59:02 来源:带水拖泥网 作者:深度 阅读:495次
快科技6月19日消息,全球据中国电信”官微发文,中国中国电信人工智能研究院(TeleAI)联合北京智源人工智能研究院发布全球首个单体稠密万亿参数语义模型Tele-FLM-1T,电信单体成为国内首批发布稠密万亿参数大模型的发布机构。
面对大模型训练过程中算力消耗巨大的稠密参数挑战,TeleAI与智源通过深度研发,语义结合模型生长和损失预测等关键技术,模型成功推出了Tele-FLM系列模型。全球这一系列模型在算力资源的中国使用上,仅消耗了业界普通训练方案的电信单体9%,展现出极高的发布算力能效。
通过使用112台A800服务器,稠密参数TeleAI团队在短短4个月内完成了3个模型总计2.3T tokens的语义训练,全程无需任何调整和重试,模型充分证明了模型训练的全球稳定性和收敛性。
值得一提的是,Tele-FLM-1T版本即将开源,此举旨在为社区提供训练万亿稠密模型的技术参考,有效解决万亿模型训练收敛难等问题,进一步推动大模型技术的进步。
TeleAI不仅在技术创新上不断突破,还积极通过开源方式推动大模型技术的普及和国产化进程。他们接连开源了7B、12B、52B参数规模的大模型,这些模型在开源社区中引发了广泛讨论和使用,开源模型下载量已超过万次,吸引了超过40万用户
(责任编辑:小程序)
最新内容
- ·2299元 Redmi K70首降价:2K屏 骁龙8 Gen2在同档位绝无仅有
- ·从ALOHA迈向Humanplus,斯坦福开源人形机器人,「高配版人类」上线
- ·上海-上海 全程8小时!长三角环线高铁今日正式开通
- ·比亚迪超跑仰望U9首战纽北赛道 初步数据令人振奋
- ·115网盘正式上线“飘流瓶”功能:扔瓶者一次可获得4.75G空间
- ·性能!一加Ace 3 Pro启用全新Logo
- ·Google 支持的 Tempus AI 在纳斯达克亮相,首日交易上涨 9%
- ·专访荣耀赵明:荣耀做小折应该是“水到渠成之作”
- ·苹果Vision Pro头显已开售!米哈游官宣:《崩坏:星穹铁道》2月6日登陆
- ·国内车企太卷了!岚图CEO被营销策划逼到悬崖边上测试自动泊车