微软开源 SliceGPT:大模型体量压缩25%左右,性能保持不变
划重点:
⭐️ 可将大模型体量压缩25% 左右,微软性能保持不变。开源
⭐️ SliceGPT 利用计算不变性简化和压缩模型。大模
⭐️ 切片操作后的型体模型可以在消费级显卡上运行,无需额外代码优化。量压
CSS站长资源(ChinaZ.com)2月11日 消息:微软和苏黎世联邦理工学院的缩左研究人员联合开源了 SliceGPT,该技术可以极限压缩大模型的右性权重矩阵,将模型体量压缩25% 左右,微软同时保持性能不变。开源实验数据显示,大模在保持零样本任务性能的型体情况下,SliceGPT 成功应用于多个大型模型,量压如 LLAMA-270B、缩左OPT66B 和 Phi-2。右性
SliceGPT 的微软核心技术在于利用计算不变性来简化和压缩模型。通过对每个权重矩阵应用正交矩阵变换,SliceGPT 实现了对模型的极限压缩。此外,切片操作后的模型可以直接在消费级显卡上运行,如 N 卡的4090、4080,无需进行额外的代码优化,使得部署更加便捷。
在实验中,研究人员发现 SliceGPT 的切片技术非常简单高效,可以在几个小时内使用单个 GPU 完成模型压缩,无需复杂的细调过程。切片操作后的模型保持了高质量的生成任务性能,同时吞吐量得到提升,整体效果令人满意。
SliceGPT 的开源为压缩大模型提供了一种新颖且有效的途径,将大幅节省部署资源同时保持模型性能不变。这一技术的推出,有望为广大开发者和企业提供更加便捷、高效的大模型应用解决方案。
开源地址:https://github.com/microsoft/TransformerCompression
论文地址:https://arxiv.org/abs/2401.15024
(责任编辑:知识)
- ·小米小爱同学AI助手通过大模型备案
- ·5G套餐用户超3亿!中国电信5G套餐用户达到3.2174亿户
- ·曝iPhone 16 Pro相机模块设计或将改变 垂直摄像模组实机照片曝光
- ·首批Vision Pro退货潮调查:缺乏应用 外形笨重
- ·华为申请合界商标 此前已注册享界、傲界等类似商标
- ·分析师:苹果iPhone 16系列将会升级麦克风 信噪比较前几代更高
- ·AI视野:英伟达推文生图模型ConsiStory;高度可控AI试衣OOTDiffusion;开发者推SoraWebui开源项目;Groq最快AI推理芯片成本推算高得离谱
- ·《荣耀》2024年款免费皮肤来了:喜庆感满满
- ·和自家兄弟“抢饭碗”!特斯拉Model Y海外售价降至Model 3同价
- ·女子高速上拍占应急道车辆 一天举报50辆获1500元奖金
- ·从上海回贵州开车开了三天还没到 女子春节回家历经风雨雪雾
- ·柯基跑丢后被人关鸡棚看了一年鸡 奇特经历引发热议
- ·FreeControl官网体验入口 AI文本到图像生成工具免费在线使用地址
- ·高通骁龙7Gen3即将发布 一加Ace 3V或将首发
- ·苹果宣布将在今年公布新的AI功能 去年已创建大模型Ajax
- ·官方暴降7万!全新凯迪拉克CT5上市:21.97万起售
- ·A股深V反弹逼近3000点 李想:千万不要忽视A股对2024年重要作用
- ·上海飞青岛票价只要14元!春节后国内机票平均价格下降15%
- ·首发骁龙8 Gen4!曝小米15系列10月发售
- ·联发科天玑!天玑9400性能首度曝光:领先苹果A17 Pro