搜索
近日，复旦大学智能机器人与先进制造创新学院认知与智能技术实验室（简称CITLab）撰写的题为《MedAide: Information Fusion and Anatomy of Medical Intents via LLM-based Agent Collaboration》的学术论文被中科院SCI一区TOP期刊Information Fusion（IF）录用，2020级直博生杨鼎康、2023级硕士生魏金杰和2021级直博生李明程为第一作者，张立华教授为通讯作者。
论文简介
近年来，大语言模型与信息融合技术在医疗领域的快速发展，使得智能化诊疗与辅助决策成为可能。在实际的临床场景中，医生与患者之间的对话往往涉及多模态信息（语言描述、医学影像、病史数据等），并且存在复杂的诊疗意图和跨阶段的信息关联。然而，现有研究大多聚焦于单模态输入或浅层的意图识别，对诊疗全流程的系统性建模不足，导致模型在面对复杂医疗语境时表现出鲁棒性差、泛化能力不足、可解释性有限等问题。在实际应用中，这些问题会带来显著挑战。例如，在诊前阶段，患者的描述可能存在不完整或模糊性；在诊断阶段，疾病的复杂性要求模型具备跨任务、多意图的整合能力；而在用药和诊后环节，模型需要结合医学知识库和个体化差异做出合理建议。复杂医疗意图建模和多智能体协作机制的缺失，往往导致诊疗辅助系统难以在真实环境中落地。
针对上述问题，该研究提出了MedAide框架，这是一个基于多智能体协作的医疗信息融合框架，通过结构化的意图抽取、动态的意图匹配和轮转式的智能体协作机制，显著提升了医疗大模型在复杂诊疗任务中的表现。其核心创新点包括：（1）提出了一种正则化引导的信息抽取机制，通过正则化约束实现多模态医疗信息的结构化抽取，能够有效识别和分离关键诊疗因素（如主要症状、并发因素、药物背景等），提升了对复杂医疗场景下语义的细粒度建模能力，相比传统信息抽取方法，其能减少冗余信息和模糊语义带来的干扰，使得下游模型能够更精准地捕捉诊疗意图；（2）设计了一种动态意图原型匹配机制，借助原型表示动态对齐患者输入与医疗知识库中的多意图表征，确保模型在跨任务迁移与未知场景下依然具备较强的泛化能力，其能够在诊前问诊、疾病诊断、药物推荐和诊后随访等多环节任务中实现统一建模，突破了以往方法局限于单一任务的不足；（3）提出了一种轮转式智能体协作机制，构建了分别负责诊前信息抽取、诊断推理、药物咨询和随访反馈的多个智能体，并通过轮转和动态协作的方式共享信息、递归推理，其不仅提升了系统的鲁棒性，还显著增强了任务执行的解释性与可控性。
图1 MedAide框架结构图
综合实验结果表明，MedAide在多个医疗基准任务（包括诊前问诊、诊断、用药咨询和诊后随访）上的系统实验表明，MedAide框架在准确性、鲁棒性和泛化能力方面均显著优于现有方法。在专家医生评估与GPT-4o自动化评估的双重验证下，MedAide不仅在客观指标上表现优异，还在临床合理性、语义解释性和患者体验方面获得了更高评价。这一框架对于辅助规培医生的临床决策训练、提升患者的医疗咨询体验、增强诊疗全流程的智能化水平具有重要价值。
图4 专业医生评估情况下的对比实验结果
结合当前 科技创新2030-“新一代人工智能”重大项目“标准化儿童患者模型关键技术与应用“对高保真模拟诊疗系统的需求，MedAide框架能够作为核心算法模块，为未来的智能诊疗和医学教育提供坚实的技术支撑，推动多模态医疗大模型在真实临床环境中的落地与应用。
认知与智能技术实验室（原智能感知与无人系统实验室）隶属于复旦大学智能机器人与先进制造创新学院、复旦大学智能机器人研究院，近年来一直在机器直觉、人机物融合智能等新一代人工智能理论、物理仿真与数字孪生、智能感知与人机交互、行为识别与情感分析、智能机器人与无人系统、脑机解码与脑启发人工智能以及智慧医疗、智能网联汽车等领域开展交叉创新研究，相关学术成果发表于Nature，中国科学，TPAMI，RAL，NeurIPS，CVPR，ICCV，ECCV，AAAI，ACM MM，ICRA以及IROS等国内外顶级学术期刊与会议。
