破解查询难题：首个电子病历对话QA基准问世！

在医疗领域，电子病历承载着海量患者诊疗数据，利用大语言模型驱动的智能体实现自然语言查询电子病历数据，有望彻底变革临床研究与患者护理模式。然而，现有“文本到SQL”基准存在显著局限，难以捕捉真实临床场景中数据访问的复杂性，导致大语言模型驱动的智能体在电子病历领域的落地受阻。
为此，研究人员提出了“电子病历-对话QA”基准，这是首个针对电子病历数据库智能体的交互式问答基准，旨在全面评估智能体从对话到查询执行的端到端工作流程，为该领域的技术发展提供关键支撑。

现有“文本到SQL”基准主要聚焦于将单一、格式规范的问题转换为SQL查询，却忽略了临床场景中两个核心现实挑战：一是查询模糊性，临床用户提出的问题往往缺乏具体细节，如“显示近期实验室检查结果”未明确检查类型和时间范围，需要进一步澄清才能准确捕捉意图；二是术语不匹配，电子病历中的临床术语受数据库命名规范影响，与日常表述存在差异，例如药物“洛普雷索”对应数据库中的“酒石酸美托洛尔”，形成术语鸿沟，直接影响SQL生成的准确性。这些挑战使得静态、单轮的SQL生成模式无法满足临床实际需求，亟需构建一个支持智能体通过对话澄清意图、调用工具解决术语差异，并最终生成精准SQL的交互式评估环境。

“电子病历-对话QA”构建了一个包含模拟用户、智能体、工具套件和验证器的闭环模拟环境。其核心组件包括基于MIMIC-IV和eICU两个公开电子病历数据库脱敏演示版本构建的366个任务实例，涵盖增量查询优化和自适应查询优化两种交互流程。为避免大语言模型依赖记忆的原始数据库模式生成SQL，研究对数据库表名和列名进行了重命名，强制代理使用工具探索模式。

研究团队对多款主流大语言模型进行了5次独立试验评估，包括闭源模型如o4-mini、GPT-4o、Gemini-2.5-Flash，以及开源模型如Llama 3.3-70B、Qwen3-32B。核心结果显示，闭源模型显著优于开源模型，o4-mini表现最佳，在增量查询优化上的成功率-5达81.0%，自适应查询优化上达43.8%，Gemini-2.5-Flash紧随其后。自适应查询优化任务平均需要5.5次用户交互和10.2次工具调用，显著高于增量查询优化的4.9次用户交互和7.0次工具调用，其更高的复杂性导致性能大幅低于增量查询优化。

该研究提出了首个针对电子病历数据库智能体的交互式基准，首次全面评估智能体的对话能力、工具使用能力、术语不匹配解决能力和端到端流程处理能力。基于真实临床场景设计两种交互流程，覆盖查询模糊性和术语不匹配的多样化模式，为智能体开发提供更贴近实际的评估场景。
同时揭示了当前主流大语言模型在电子病历数据访问任务中存在的稳健性缺陷，通过失败模式分析为后续研究指明了关键优化方向。针对实验发现的问题，未来工作应重点关注优化智能体的探索策略，提升术语不匹配问题的解决能力，确保全面检索相关数据库条目；强化上下文管理技术，通过明确的查询状态表示或针对性微调，减少对话路径变化对性能的影响；完善模拟环境的稳定性，提升模拟用户的指令遵循能力，进一步降低评估噪声。

总之，“电子病历-对话QA”基准的提出填补了电子病历数据库智能体交互式评估的空白，通过模拟真实临床数据访问场景，全面考察了智能体在澄清模糊查询、解决术语不匹配、生成精准SQL等关键环节的能力。实验结果表明，当前主流大语言模型虽在部分场景下表现出一定潜力，但在稳健性方面存在显著不足，难以直接应用于安全关键的医疗领域。该基准的发布为研究人员提供了标准化的评估工具，相关发现将推动电子病历数据库智能体在上下文管理、术语映射、临床知识融合等方面的技术突破，加速其在临床实践中的可靠落地。
#热门微博# #科技快讯# #ai医疗# #哈勃观察员[超话]#