OpenBuddy发布新一代中文跨语言大模型 基于Llama 3 70B打造
时间:2024-07-04 04:44:31 来源:带水拖泥网 作者:热点 阅读:303次
CSS站长资源(ChinaZ.com) 5月10日 消息:OpenBuddy 团队发布了基于 Meta Llama370B 的布新最新成果:OpenBuddy-Llama3-70B-v21.1-8k,这是代中大模B打他们首次在 Llama370B 基座上的中文跨语言训练尝试。
Llama370B 是文跨一个15T 训练集训练而成的稠密大模型,然而由于训练集中缺少中文数据,语言于Meta 官方的型基 Llama3系列对话模型在中文领域的认知、理能力较弱,布新容易出现以英文回答中文问题的代中大模B打现象。
因此,文跨OpenBuddy 团队在此次训中选择了 Llama370B Base 模型作为基础,语言于重点提升模型的型基跨语言理解、认知能力。布新
测试过程中,代中大模B打OpenBuddy-Llama3-70B 展现出了优秀的文跨中文理解能力,具备了更的语言于认知潜力和量化后性能。在此次发布的型基模型中,他们对 Llama3现有词表进行了扩,增加了7000余个中文字词,进一步提升了模型中文编码密度。
值得一提的是,于量化版模型能力下降较为明显,他们本次只发布了模型的完整版权重,后续会尝优化70B 模型的量化后性能,并挑选合适时机发布量化版。
模型链接:
https://www.modelscope.cn/models/OpenBuddy/openbuddy-llama3-70b-v21.1-8k/summary
(责任编辑:小程序)
最新内容
- ·中石油官方提醒:“移动加油站”的油千万别加!不合格伤车
- ·华为余承东:行政级豪华轿车享界S9今年7-8月发布
- ·4个月卖出超10万台 余承东:华为鸿蒙智行站稳2024年销量新势力
- ·亚马逊音乐推出 Maestro:AI 根据文本提示创建个性化播放列表
- ·女子因彩礼和相恋8年男友分手:18.8万都会带到新家 还陪嫁车
- ·AI日报:微软发布iPhone可运行AI模型;全国首例AI声音侵权案判了;Kimi创始人套现数千万美金;中文聊天模型Llama3发布
- ·暴雪捐赠三千万蛆虫拯救鸟类引热议 网友:好抽象的捐赠
- ·获周杰伦外套女孩发声:青春终于圆满了
- ·从上海回贵州开车开了三天还没到 女子春节回家历经风雨雪雾
- ·男子车位被霸停5天一怒焊死:十分无奈 对方不接电话
热点内容
- ·独立开发变现周刊(第122期):一个文字生成视频在线SaaS工具,年收入7.5万美元
- ·vivo官宣BlueImage蓝图影像 vivo X100 Ultra首发
- ·微软发布iPhone可运行的ChatGPT级AI模型Phi-3系列 挑战OpenAI地位
- ·雷军:预计小米 SU7 毛利率约 5%-10%
- ·爽翻!小伙挂临牌19分钟内闯8个红灯 记48分罚款1200元:官方科普临牌意义
- ·余承东喊网友猜问界新M5售价:低于30万的华为高阶智驾亏本卖
- ·余承东喊网友猜问界新M5售价:低于30万的华为高阶智驾亏本卖
- ·AI日报:微软发布iPhone可运行AI模型;全国首例AI声音侵权案判了;Kimi创始人套现数千万美金;中文聊天模型Llama3发布
- ·谷歌推时间序列预测模型TimesFM 可预测股市、天气等
- ·苹果下半年大量采用生成式人工智能 本地AI处理能力将大幅提升