阿里开源千亿参数模型 Qwen1.5-110B,性能超越 Meta-Llama3-70B
时间:2024-07-02 04:04:40 来源:带水拖泥网 作者:热点 阅读:884次
CSS站长资源(ChinaZ.com)4月28日 消息:近日,阿里阿里巴巴宣布开源其最新的开源 Qwen1.5系列语言模型 - Qwen1.5-110B。这是千亿 Qwen1.5系列中规模最大的模型,也是参数该系列中首个拥有超过1000亿参数的模型。
据悉,模型Qwen1.5-110B采用了与其他Qwen1.5模型相同的阿里Transformer解码器架构,并引入了分组查询注意力(GQA)机制,开源在模型推理时更加高效。千亿该模型支持32K tokens的参数上下文长度,同时仍然是模型多语言的,支持英、阿里中、开源法、千亿西、参数德、模型俄、日、韩、越、阿等多种语言。
与最近发布的SOTA语言模型Meta-Llama3-70B和Mixtral-8x22B进行对比,结果显示Qwen1.5-110B在基础能力方面至少与Llama-3-70B相媲美。
阿里巴巴表示,与之前发布的72B模型相比,在两个聊天模型的基准评估中,110B模型表现显著更好,这表明即使在没有大幅改变后训练方法的情况下,更强大、更大规模的基础语言模型也可以带来更好的聊天模型性能。
Qwen1.5-110B是Qwen1.5系列中规模最大的模型,也是该系列中首个拥有超过1000亿参数的模型。它在与最近发布的SOTA模型Llama-3-70B的性能上表现出色,并且明显优于72B模型。
(责任编辑:深度)
最新内容
热点内容
- ·30年来头次见!安徽一女子拍下罕见“冰针”雪:形成条件苛刻
- ·贾跃亭想赚中东富豪的钱:FF91 2.0 Futurist成为阿联酋皇室婚礼专用车
- ·车主车内架相机专拍应急车道占道车 一条举报奖金30元
- ·大学生寒假给爷爷奶奶劈柴700多斤:提前准备好夏天柴火
- ·亿万富翁投资者 David Tepper 将58%的投资组合投入这7只AI股票
- ·女子返程 车尾挂着妈妈养的4只鸭:怕被闷死 已到达工作地
- ·小米14 Ultra正式官宣:2月22日见
- ·长春一家人春节聚会近20人同住:喜欢大家庭团聚氛围
- ·AutoMathText体验入口 数学内容的AI模型数据集免费在线下载地址
- ·曝苹果可折叠iPhone开发暂停:供应商屏幕测试表现不佳