搜索
近日，复旦大学智能机器人与先进制造创新学院认知与智能技术实验室（简称CITLab）在人工智能领域的创新成果-“基于医疗行为数据的医疗行为操作合规性评估系统”、“基于情境感知的多模态情感识别方法和系统”分别获第50届日内瓦国际发明展的金奖和银奖。
成果简介
基于医疗行为数据的医疗行为操作合规性评估系统
目前，社会对医疗资源和医疗服务的需求不断增加，医务人员的数量缺口亟待填补。然而，医务人员的培训具有周期长、人力成本高昂的特点。因此，设计基于人工智能技术的医疗行为合规性评估系统，能够在保证医疗培训质量的前提下提高效率、降低成本，是有效缓解医疗系统压力的关键。
现有研究对医疗场景下的行为识别进行了初步探索，但仍存在算法适配效果差、行为划分粒度粗、人机交互性差等问题。为解决这些问题，复旦大学张立华教授团队成功发明了一种基于医疗行为数据的医疗行为操作合规性评估系统，以实现医疗行为的细粒度识别与医疗技能的合规性评估，获同族和外围发明专利7项，在国际顶级期刊和人工智能会议上发表学术论文5篇，同时起草并报批了两项相关的中国电子工业标准。该发明分为医疗行为复合错误识别、医疗流程知识图谱动态匹配、医疗行为时序分割三个阶段。在医疗行为复合错误识别阶段中，该发明使用视觉特征组合训练机制，充分地利用单类错误样本进行特征组合训练，从而有效地提升了模型对复合错误样本的识别精度。进一步地，该发明将多模态对比预训练框架 CLIP与提示词工程引入到复合错误行为识别任务中，使系统具备了初步的人机交互能力。在医疗流程知识图谱动态匹配阶段，该发明使用 PURE算法对临床技能教材中的内容进行关系抽取，并以此构建了时序医疗行为知识图谱。在医疗行为时序分割阶段，该发明提出了基于时序聚类注意力机制的时序行为分割框架 kM-Att。同时，此阶段使用动态规整算法完成预测序列与标准序列的对齐，从而识别错误或遗漏的操作，完成序列动作的合规性检验。该发明在复合错误识别、多模态行为识别、时序动作分割等多种任务中性能突出，识别准确率领先于现有方法，且效率远高于人工识别。该发明以实验室承担的科技创新2030-“新一代人工智能”重大项目为依托，在200类医疗行为上实现了动作识别与合规性检测，已成功在CPR胸外按压、胸腔穿刺以及通用医疗行为在内的多个场景中实现了落地应用。
图1 基于医疗行为数据的医疗行为操作合规性评估系统案例展示
情感被誉为人类社会生活的文法。情感识别作为理解人类交际意图的核心技术，当前已在智慧医疗和驾驶监控等重要领域受到了广泛关注。从面部表情、身体信息以及骨骼姿势等多个模态中提取互补的语义线索有利于改进情感识别系统的准确性。然而，在现实世界中主体的多模态表达通常遭受记录噪声和自然遮挡的干扰，导致了系统在实际应用中灾难性的性能瓶颈。为解决这些问题，复旦大学张立华教授团队成功发明了一种基于情境感知的多模态情感识别方法和系统以精确地识别主体的离散和连续情绪状态，获同族和外围发明专利5项，在国际SCI一区期刊和顶级人工智能会议上发表学术论文8篇，同时起草并报批了一项相关的中国电子工业标准。该发明首先包括四个并行的情境感知模块以从野外环境中提取情感相关的互补特征。具体来说，多模态情境模块集成了来自主体的表情，面部界标点，手势以及步态模态，提供了以人为中心的情感语义；场景情景模块收集周围环境中反映主体情感水平的目标和元素，利用可解释性的空间语义挖掘机制来聚合有价值的外部刺激并得到精炼场景表征；社会动力学情境模块通过社会关系图来建模周围不同代理的情感强度对主体的动态影响，帮助推理主要的意图状态；代理-物体情境模块用于吸纳周围元素之间交互所触发的情绪线索，以消除针对主体情感预测的歧义和模糊性。该发明通过自适应相关性融合策略来捕获联合的多模态表征，并满足真实场景下离散情感识别和连续情感状态预测的需求。该发明依托实验室牵头的科技创新2030-“新一代人工智能”重大项目，在包括基层儿科医生临床能力评估、新一代智能驾驶座舱感知等场景中得到了有效的应用。
图2 基于情境感知的多模态情感识别方法和系统案例展示
延伸阅读
日内瓦国际发明展（International Exhibition of Inventions of Geneva）创办于1973年，每年举办一届，由瑞士联邦政府、日内瓦州政府、日内瓦市政府、世界知识产权组织（WIPO）共同举办，是全球举办历史最长，规模最大的发明展之一。
复旦大学认知与智能技术实验室（简称CITLab）隶属于复旦大学智能机器人与先进制造创新学院、复旦大学智能机器人研究院、复旦大学元宇宙智慧医疗研究所，近年来一直在机器直觉与具身智能、物理仿真与数字孪生、多模态感知与行为识别、情感分析与大语言模型、脑机解码与人机交互以及智能机器人与无人系统、智能驾驶与智能医学等领域开展交叉创新研究，相关学术成果发表于Nature主刊、中国科学、T-PAMI、T-ITS、T-CSVT、RA-L、NeurIPS、CVPR、ICCV、ECCV、AAAI、ACM MM以及ICRA、IROS等国内外顶级学术期刊与学术会议。
