谷歌推创新框架AGREE 可增强大模型生成内容准确性
时间:2024-07-04 05:24:59 来源:带水拖泥网 作者:知识 阅读:519次
CSS站长资源(ChinaZ.com)6月11日 消息:谷歌研究院推出了一个名为AGREE的谷歌创新框架,旨在增强大型语言模型(LLM)生成内容和引用的推创准确性。这一框架通过检索文档中的新框性相关段落来增强大模型生成回答的事实基础,并提供相应的可增引用,从而提高回答的模型准确性,并为用户提供验证信息真实性的生成途径。
核心技术:
训练阶段微调:使用基础大模型生成回答,内容并利用自然语言推理模型(NLI)评估段落是准确否支持特定声明。AGREE框架使用NLI模型从未标记的谷歌查询中自动构建训练数据集,通过匹配回答和检索到的推创文档,为每个声明找到最相关的新框性支持性段落。
测试时自适应:一种动态、可增迭代的模型推理增强方法,帮助大模型在面对新的生成内容查询时,主动从大型语料库中检索相关信息,内容并对生成的回答进行补充和修正。
AGREE的工作流程:
在微调阶段,AGREE框架采用LORA的轻量级微调技术,通过在大模型的权重矩阵上添加低秩更新,实现高效且针对性的调整,减少计算资源消耗,同时保持模型泛化能力。
测试时自适应从接收到新查询开始,微调后的大模型根据训练阶段学到的知识生成初步回答,然后进入自动迭代过程,自我评估并识别需要额外支持的声明。
一旦识别出需要额外信息的声明,启动检索过程,在预构建的语料库中搜索相关段落,并将这些段落与先前回答结合,生成更完善、准确的内容。
实验结果:
研究人员在Llama-2-13b等知名大模型上进行了实验,结果显示AGREE在提升内容回答准确性和引用性方面表现突出。
论文地址:https://arxiv.org/pdf/2311.09533
(责任编辑:深度)
最新内容
热点内容
- ·刘强东老家光明村就业率 2023年人均收入2.5万元 增长30%以上
- ·大幅领先iPhone 15系列!三星S24系列“好评率”历史超越iPhone
- ·AI 将主导今年安卓和 iPhone 更新,但也带来严重的隐私新问题
- ·比亚迪车主发文感谢蔚来超充桩:又快又便宜
- ·Coze中文版体验入口 字节中国版免费GPTs「扣子」AI应用使用地址
- ·小米产品经理分享手机拍烟花教程:6步记录完美瞬间
- ·iPhone SE4即将发布:采用与iPhone 15系列相似的灵动岛设计
- ·今年爆火的“电子年货”,我们用AI帮你们备齐了
- ·比亚迪1月销量出炉:201493辆 稳居中国新能源销冠
- ·新一代性能小钢炮!Redmi Note 13 Turbo年后亮相:将配骁龙7系列平台