IBM 推出高效 LLM 基准测试方法,计算成本降低99%
划重点:
⭐️ IBM 研究推出了一种创新的出高测试成本 LLM 基准测试方法,可以将计算成本降低99%。基准计算降低
⭐️ 该高效方法利用微型化基准测试,出高测试成本显著减少了评估 LLM 所需的基准计算降低时间和金钱成本。
⭐️ 新方法已经引起 AI 社区的出高测试成本关注,并被广泛采用,基准计算降低有望推动人工智能模型评估领域的出高测试成本快速发展。
CSS站长资源(ChinaZ.com)6月4日 消息:IBM 研究发布了一项突破性的基准计算降低 LLM(大型语言模型)基准测试方法,承诺将计算成本降低高达99%。出高测试成本传统的基准计算降低基准测试,如斯坦福的出高测试成本 HELM,需要耗费超过一天的基准计算降低时间,并且成本高达1万美元,出高测试成本这对开发人员和研究人员来说是基准计算降低一个昂贵的过程。随着 LLMs 能力的出高测试成本增强,基准测试的过程变得更加严格,需要大量的计算能力和时间。
IBM 的创新方法源自以色列的 IBM 研究实验室,由 Leshem Choshen 领导的团队开发了一种新方法,大幅降低基准测试的成本。他们并非运行全尺寸基准测试,而是设计了一个使用原始基准测试规模的1% 的 “微型” 版本。令人惊讶的是,这些微型基准测试已被证明几乎同样有效,可以在98% 的准确度内估计出全尺寸测试的性能。
该团队利用人工智能从完整基准测试中选择最具代表性的问题,包含在微小版本中。这种选择性方法确保较小的基准测试仍然高度预测整体模型性能,消除了不贡献有意义评估的冗余或无关紧要的问题。
IBM 的高效方法引起了 AI 社区的关注,尤其是在2023年 NeurIPS 的高效 LLM 比赛中。面临使用有限计算资源评估大量模型的挑战,组织者与 IBM 合作实施了一个名为 Flash HELM 的简化基准测试。这种高效方法使他们能够迅速淘汰表现较差的模型,并将计算资源集中在最有前途的候选模型上,从而进行及时和具有成本效益的评估。
Flash HELM 的成功展示了 IBM 高效基准测试方法的潜力,促使其在 IBM 的 watsonx 平台上评估所有 LLMs。成本节约可观;例如,在像 HELM 这样的基准测试中评估 Granite13B 模型可能耗费高达1000个 GPU 小时,但使用高效基准测试方法显著降低了这些成本。
高效基准测试不仅降低成本,还通过允许更快速地迭代和测试新算法来加速创新。IBM 研究人员,包括 Youssef Mroueh 在内,指出这些方法使得更快速、更经济的评估成为可能,促进了更加灵活的发展过程。
这一概念已经超出了 IBM 的范畴。斯坦福实施了 Efficient-HELM,这是其传统基准测试的简化版本,为开发人员提供了选择示例数量和希望分配的计算资源量的灵活性。这一做法强调了一个新兴共识,即更大的基准测试不一定意味着更好的评估。
“大型基准测试不一定通过变得更大而增加价值,”Choshen 说。“这是我们的见解,我们希望它能够引领更快速、更经济的 LLM 性能评估方法。”
IBM 的高效基准测试方法代表了人工智能领域的重大进步,为评估先进语言模型所需的不断增加的成本和资源需求提供了实际解决方案。
(责任编辑:资讯)
- ·问界夺新势力销冠!余承东:“余大嘴”变成“余小嘴”了
- ·女子兑200元中奖彩票被店员撕毁 长春体彩通报:停机整顿
- ·华为申请合界商标 此前已注册享界、傲界等类似商标
- ·《完蛋!我被美女包围了!》DLC今日开售:反差幼儿园老师新女主上线
- ·AI智能剪辑软件AIMIX 支持短视频批量混剪、文案、字幕生成、语音合成等
- ·春节穿汉服可免费乘苏州地铁 苏州轨道交通推出春节免费乘车活动
- ·活了这么久 次见高铁10码速度缓慢行驶
- ·12306回应一些车次为何开售即秒光 称未将票额分配给第三方平台
- ·周星驰短剧商标已被申请注册 《金猪玉叶》预计 5 月在抖音上线
- ·女子兑200元中奖彩票被店员撕毁 长春体彩通报:停机整顿
- ·70万用户评价:iPhone 15 Pro满意度 续航差成槽点
- ·腾讯收购《古剑奇谭》开发商网元圣唐
- ·腾讯收购《古剑奇谭》开发商网元圣唐
- ·专家称调休假装上班 不如真实放假上热搜:中国人年休假天数全球倒数第三
- ·高速服务区充电1小时花99元 充电站回应:价格按标准执行
- ·OpenAI 推出适用于 Apple Vision Pro 的 ChatGPT 应用
- ·Galaxy S24系列AI编辑功能引发争议 三星回应:正与监管机构合作
- ·女子兑200元中奖彩票被店员撕毁 长春体彩通报:停机整顿
- ·环卫工人用毛巾擦树枝引吐槽 官方回应:是在治理煤污病
- ·婚宴遇大雪宾客在猪圈里吃席 宾客:比淋雪要舒适得多