微软新工具LLMLingua-2:可将 AI 提示压缩高达80%,节省时间和成本
划重点:
🔍 微软研究发布了 LLMLingua-2,微软一种用于任务不可知压缩提示的新工模型,可以将原始长度减少高达20%,具L节省从而降低成本和延迟。提示
📊 LLMLingua-2通过智能压缩长提示,压缩去除不必要的高达词语或标记,同时保留关键信息,时间使得提示长度可减少至原长度的和成20%。
🚀 LLMLingua-2在多个数据集上进行了评估,微软显示出与强基线相比的新工显著性能改进,并在不同 LLM 之间展现了稳健的具L节省泛化能力。
CSS站长资源(ChinaZ.com)3月25日 消息:微软研究发布了名为 LLMLingua-2的提示模型,用于任务不可知的压缩提示压缩。该模型通过智能地去除长提示中的高达不必要词语或标记,同时保留关键信息,时间使得提示长度可减少至原长度的20%,从而降低成本和延迟。研究团队写道:“自然语言存在冗余,信息量不尽相同。”
LLMLingua-2比其前身 LLMLingua 和类似方法快3到6倍。LLMLingua-2使用了 MeetingBank 中的示例进行训练,该数据集包含会议记录及其摘要。要对文本进行压缩,首先将原始文本输入训练好的模型。模型对每个词语进行评分,根据周围语境为其分配保留或移除的点数。然后选择具有最高保留值的词语,以创建缩短的提示。
微软研究团队在多个数据集上对 LLMLingua-2进行了评估,包括 MeetingBank、LongBench、ZeroScrolls、GSM8K 和 BBH。尽管模型规模较小,但在各种语言任务(如问答、摘要和逻辑推理)中,它始终优于原始的 LLMLingua 和选择性上下文策略。同样,相同的压缩策略对不同 LLM(从 GPT-3.5到 Mistral-7B)和语言(从英语到中文)都有效。
LLMLingua-2只需两行代码就可以实现。该模型还已集成到广泛使用的 RAG 框架 LangChain 和 LlamaIndex 中。微软提供了演示、实际应用示例以及说明提示压缩的好处和成本节省的脚本。该公司认为这是一个有前途的方法,可以通过压缩提示实现更好的泛化能力和效率。
论文地址:https://arxiv.org/abs/2403.12968
项目入口:https://top.aibase.com/tool/llmlingua-2
(责任编辑:自媒体)
- ·1元=1700000tokens!清华系发布国产Mistral仅2B,老手机都带得动,GitHub一天斩获300+星
- ·小牛说车被封号 官方:故意夸大歪曲事实、抹黑诋毁企业及其创始人
- ·8月20日全球上线!《黑神话:悟空》PC配置公布:GTX 1060就能玩
- ·高德地图功能升级:无灯路口有来车能提醒了
- ·Coze 扣子怎么用?如何将搭建的chatbot发布到公众号?
- ·起售价7599元!苹果上架M3 MacBook Air官翻机:比全新便宜上千元
- ·《黑神话:悟空》登顶Steam热销榜!国区售价268元起全球
- ·马斯克预告星舰第5次试飞!将实现新突破:用塔臂接住
- ·怕不怕:调查称单身更容易使人变傻、死亡率更高
- ·多地高考结束!官方提醒考生:别晒这7样东西到社交媒体
- ·泰国小镇被3500只猴子占据 昔日繁荣已荡然无存
- ·Llama3-8B700亿巨兽?北大博士生等全新「BoT」框架推理暴涨70倍,24点图形推理一步成神
- ·李想:理想自动驾驶的研发灵感 有一个是来自妻子
- ·NVIDIA桌面GPU市占率飙升至88%!Intel被忽略不计
- ·工人从长江大桥桥顶释放铁环除冰 确保桥面通行安全顺畅
- ·高考钉子户梁实结束第28次高考:情况不妙 明年弃考的可能性很大
- ·vivo S19系列首销战报出炉:首日销量同比提升155%
- ·理想今年最走量车型:全新L6累计交付超2万台
- ·苹果库克回应Vision Pro头显中国上市时间:快了
- ·iPhone 16系列四款机模曝光:标准版相机更大了