Hugging Face 发布医疗任务评估基准Open Medical-LLM
划重点:
⭐️ Hugging Face 发布了一个新的布医医疗任务评估基准,旨在测试生成式人工智能模型在健康相关任务上的疗任表现。
⭐️ Open Medical-LLM 基准由现有测试集拼接而成,估基涵盖多个医学领域,布医如解剖学、疗任药理学、估基遗传学和临床实践。布医
⭐️ 一些医学专家对 Open Medical-LLM 提出了警告,疗任强调实际临床实践与医学问题回答之间存在较大差距,估基强调基准测试结果不能替代真实世界测试。布医
CSS站长资源(ChinaZ.com)4月19日 消息:近期,疗任Hugging Face 发布了一项名为 Open Medical-LLM 的估基新基准测试,旨在评估生成式人工智能模型在健康相关任务上的布医表现。
该基准由 Hugging Face 与非营利组织 Open Life Science AI 和爱丁堡大学自然语言处理小组的疗任研究人员合作创建。Open Medical-LLM 的估基目标是标准化评估生成式人工智能模型在一系列医学相关任务上的性能。
Open Medical-LLM 并非从零开始的基准测试,而是由现有测试集(如 MedQA、PubMedQA、MedMCQA 等)拼接而成,涵盖多个医学领域,如解剖学、药理学、遗传学和临床实践。基准测试包含多项选择和开放性问题,需要医学推理和理解,涵盖了美国和印度的医学执照考试以及大学生物学测试题库的内容。
尽管 Hugging Face 将该基准视为医疗界生成式人工智能模型的 “健全评估”,但一些医学专家在社交媒体上对 Open Medical-LLM 提出了警告,指出实际临床实践与医学问题回答之间存在较大差距。他们强调,基准测试结果不能替代在真实世界条件下的仔细测试。
对此,Hugging Face 的研究科学家克莱门汀・弗里尔(Clémentine Fourrier)在社交媒体上表示,这些排行榜只能作为探索特定用例的第一近似值,但实际上需要进行更深入的测试阶段,以检查模型在真实条件下的局限性和相关性。她指出,医学模型绝不能单独由患者使用,而应该被训练成为医生的支持工具。
尽管 Open Medical-LLM 等基准测试具有一定的参考意义,但结果排行榜也反映出模型在回答基本健康问题时表现不佳。然而,Open Medical-LLM 和其他任何基准测试都不能替代经过深思熟虑的真实世界测试。例如,谷歌曾试图将用于糖尿病视网膜病变筛查的人工智能工具引入泰国的医疗系统,但尽管理论上准确度很高,该工具在实际测试中却表现不佳,导致患者和护士对其结果的不一致性感到沮丧,与实际临床实践缺乏协调性。
至今,美国食品药品监督管理局已批准的139个与人工智能相关的医疗设备中,没有一个使用生成式人工智能。测试生成式人工智能工具在实验室中的性能如何转化为医院和门诊诊所的实际情况,以及这些结果可能随时间变化的趋势,都是异常困难的。
官方博客:https://huggingface.co/blog/leaderboard-medicalllm
(责任编辑:短视频)
- ·iPhone销售额达697亿美元!苹果称大中华区业绩下滑13%
- ·河南“车坚强”成功到家过年 感动网友:边哭边跑 撞成这样也得回家
- ·谷歌推时间序列预测模型TimesFM 可预测股市、天气等
- ·孩子玩手机把导航从回江西换到福建引热议:网友称导航软件Bug 别太依赖
- ·湖北多地下冻雨 车子像被包浆一样:裹了一层“胶”
- ·通过纠正检索增强生成 (CRAG) 提高大语言模型的准确性
- ·限时免费!Adobe Firefly AI即将登陆Vision Pro,用户可在现实空间中创造个性化图像
- ·12306回应一些车次为何开售即秒光 称未将票额分配给第三方平台
- ·苹果天价头显Vision Pro首摔来了:玻璃盖板碎成蜘蛛网 维修要5750元
- ·专访椰树 | 一年播放10亿,我是如何打造爆款直播间