金融分析多模态LLM FinTral:基于Mistral-7B模型 得分接近GPT-4
划重点:
1. 💡 金融NLP领域的金融l基近创新:FinTral采用多模态方法,处理文本、分析分接数字、多模表格和视觉数据,金融l基近通过FinSet数据集展现卓越性能,分析分接超越GPT-4等模型。多模
2. 🌐 模型特色:使用Mistral-7b模型为基础,金融l基近经过领域特定的分析分接预训练、指导调整和AI反馈,多模结合视觉数据处理和工具检索,金融l基近实现在金融分析中的分析分接精准和深度。
3. 🚀 强大性能验证:实验证明FinTral在多个金融任务中表现出色,多模特别是金融l基近FinTral-DPO模型在超过ChatGPT的情况下,接近GPT-4的分析分接平均得分。
CSS站长资源(ChinaZ.com)2月29日 消息:近日,多模来自不列颠哥伦比亚大学和Invertible AI的研究人员推出了一款具有突破性的大型语言模型(LLM)——FinTral,专为金融领域量身定制。FinTral采用了多模态方法,能够处理文本、数字、表格和视觉数据,以应对金融文件的复杂性。该模型引入了FinSet,一个全面评估金融LLM的基准。实验证明,FinTral在多项任务中表现出色,包括具有增强视觉和工具检索功能的版本,在众多任务中超越了GPT-4等已建立的模型。
FinTral以Mistral-7b模型为基础,经过领域特定的预训练,利用包含来自C4、新闻和财务文件等多元来源的FinSet数据集,共计20亿标记,以提高对金融查询的理解和响应能力。为了进一步增强性能,FinTral通过指导调整和人工智能反馈结合人类和AI反馈,优化了模型。FinTral通过CLIP编码器进行视觉数据处理,并通过工具处理数值任务,从而有效增强了其功能。该模型通过直接策略优化和检索增强生成进一步提升了在金融分析领域的准确性和深度。
实验结果显示,FinTral在各种金融任务中表现出色,FinTral-INST模型通过对预训练模型进行微调,在平均得分达到0.49的情况下,超越了所有其他模型。经过带有AI反馈的强化学习的模型也取得了显著进展,FinTral-DPO在平均得分达到0.59的情况下,表现卓越,仅略低于GPT-4的平均得分0.69。然而,实验结果也指出了一些需要改进的方面,包括实时数据处理、维护和更新、标注数据的稀缺等。
FinTral是一款先进的金融语言模型,利用大量数据集和多样的训练方法分析复杂的金融数据。通过以清洁的金融数据进行预训练并采用检索方法,降低了模型的虚构风险,提高了准确性和可靠性。其对金融市场的实时适应性和动态数据检索能力可以显著提高预测准确性和决策制定。研究人员承认了研究中存在的限制和风险因素,并对未来发展充满乐观。
论文网址:https://arxiv.org/abs/2402.10986
(责任编辑:电商)
- ·堆料最猛的小米手机!小米14 Ultra要涨价
- ·苹果拼了!iPhone 15官旗降至第三方渠道价:同样价格买苹果还是华为小米
- ·南京阿姨手冲咖啡爆火却遭逃单 网友表示要寻找逃单者
- ·Slack隐私政策引发争议,遭指责隐瞒AI培训政策
- ·特斯拉隐藏式门把手被冻上:一张纸巾就能解决难题
- ·GPT-4o团队引发OpenAI组织创新热议!应届生领衔Sora,本科生带队GPT-1,经验职级都是浮云
- ·谷歌推3D生成模型CAT3D 1分钟完成3D场景创建
- ·雷军入局电池制造行业!小米汽车宁德时代合资公司成立
- ·AI智能短视频批量剪辑软件下载地址 AIMIX智剪字幕制作配音合成工具体验入口
- ·雷军模仿者“雷民”改名 模仿视频全部删除