会员登录 - 用户注册 - 设为首页 - 加入收藏 - 网站地图 IBM 发布开源模型 Granite Code,在编程任务中超过谷歌模型!

IBM 发布开源模型 Granite Code,在编程任务中超过谷歌模型

时间:2024-07-04 05:22:00 来源:带水拖泥网 作者:深度 阅读:756次

IBM 发布开源模型 Granite Code,在编程任务中超过谷歌模型

划重点:

🔍 IBM 发布了一套名为 "Granite Code" 的布开编程专门用于编程的模型,这些模型在基准测试中超过了一些较大的源模开源竞争对手,并旨在帮助企业完成各种软件开发任务。型G型

🔍 Granite Code 模型包括基础模型和指导模型,任务每种模型都有4个不同规模的中超变种,参数从30亿到340亿不等,过谷歌模通过对比评估表现出色。布开编程

🔍 IBM 计划定期更新这些模型,源模并很快推出具有更大上下文窗口和针对 Python 和 Java 的型G型专业化版本。

CSS站长资源(ChinaZ.com) 5月13日 消息:IBM 最近发布了一组名为 "Granite Code" 的任务开源型,旨在帮助企业完成各种软件开发任务,中超并在基准测试中表现出色。过谷歌模这些模型不仅过了一些较大的布开编程开源竞争对手,而且在编程任务中展现出了强大的源模性能。

Granite Code 型分为基础模型和指导模型,型G型每种模型都有四个不同规模的变种,参数数量从30到340亿不等。这些模型的上下文窗口相对较短,例如,其中一个模型的上下文窗口只有128K,这限制了其在包含特定文档或自己的代码库等提示信息时的有效性。不过,IBM 目正在开发具有更大上下文窗口的版本。

基础模型的训练分为两个阶段。第一阶段使用自116种编程语言的3-4万亿个标记进行训练,以建立广泛的理解能力。在第阶段,这些模型使用来自高质量代码和自然语言数据的5000亿个标记进行进一步训练,以强逻辑推理能力。

指导模型是通过对基础模型进行改进而创建的,改进方法包括筛选提交记录、自然语言指令记录和合成生成的代码数据集。

在包括代码合成、调试、解释、编辑、学推理等多个基准测试中,Granite Code 模型在各个规模和基准测试中表现出色,常常超过开源模型两倍以上的大小。例如,在 HumanEvalPack 基准测试中,Granite-8B-Code-Base 的平均得为33.2%,超过谷歌最佳表现的 CodeGemma-8B 模型的21.3%,尽管 Granite-8-Code-Base 所使用的标记数量明显较少。

这些模型的大部分训练数据来自一个清理过的 GitHub 集 StarCoderData 和其他公开可用的代码库。这一点非常重要,因为目前有一些关于其他代码型(包括 GitHub 本身)涉嫌侵犯训练数据版权的诉讼。

IBM 计划定期更新这些模型,很快将推出具有更大上下文窗口以及针对 Python 和 Java 的专业化版本。这些模型已经在 Hugging FaceGitHub 上可用,并且也是 IBM 的 watsonx 企业平台的一部分。

IBM 的 Granite Code 是一专门用于编程的开源模型,它们在基准测试中表现优异,同时具有较少的参数数量。些模型的特点包括灵活的规模选择、基于广泛训练数据的逻辑推理能力和良好的性能未来,IBM 还计划不断改进和更新这些模型,以满足不同编程任务的需求。

产品入口:https://top.aibase.com/tool/granite-code-models

(责任编辑:短视频)

相关内容
  • !华为问界“无图NCA”首批推送开启:全国都能开
  • 春晚60万华为“全家桶”大奖得主现身:00后、反诈意识极强
  • Groq最快AI推理芯片成本推算高得离谱 运行LIama2得1171万美元
  • 春节结束后机票价格跳水:上海飞青岛票价只要14元
  • Photo Factory官网体验入口 人工智能AI肖像生成服务平台在线使用地址
  • 情侣捡14万项链后丢弃被判赔4.5万 法院:未妥善保管
  • 女子高速上拍占应急道车辆 一天举报50辆获1500元奖金
  • 三星以65亿元出售所持ASML全部股份!为半导体技术升级筹措资金
推荐内容
  • 谷歌产品大更新:Bard可生成图像;文生音乐平台等5大免费功能
  • 分析师:苹果iPhone 16系列将会升级麦克风 信噪比较前几代更高
  • 小米史上款!小米14 Ultra支持双向卫星通信:永不断联
  • 员工请病假暗中考研还领高薪 法院判了:退还超额薪酬
  • AI智能短视频批量剪辑软件下载地址 AIMIX智剪字幕制作配音合成工具体验入口
  • HuggingFace推出的开放合成数据集Cosmopedia 250亿个tokens