搜索
近日，复旦大学智能机器人与先进制造创新学院认知与智能技术实验室（简称CITLab）撰写的题为《Towards Unified Molecule-Enhanced Pathology Image Representation Learning via Integrating Spatial Transcriptomics》的学术论文被中科院计算机科学一区Top类期刊Pattern Recognition录用。2022级直博生韩铭浩、2020级直博生杨鼎康为共同第一作者，张立华教授为通讯作者。
论文简介
本研究依托于张立华教授承担的国家自然科学基金重大项目课题-“肝癌智能化精准外科的共性关键技术体系的建立”，聚焦于当前计算病理模型在临床应用中面临的分子信息缺失和分布偏移的瓶颈问题。通过提出一种名为UMPIRE (Unified Molecule-enhanced Pathology Image REpresentation Learning) 的统一分子增强病理图像表征学习框架 ，该工作创新性的将大规模空间转录组学数据与病理图像进行深度融合。UMPIRE不仅显著提升了模型在不同组织类型、测序平台和下游任务中的泛化能力和鲁棒性 ，更为构建通用、鲁棒的下一代计算病理基础模型奠定了坚实基础。
当前存在的难点
病理图像的AI分析是癌症诊断的核心，但现有模型从实验室走向临床应用（Bench-to-Bedside）时，常面临三大挑战：
1. 分子视角缺失：当前主流的视觉-语言模型虽然强大，但缺乏对潜在分子机制的理解，限制了其在精准诊断中的深度应用。
2. 少样本难题：数据分布偏移：不同医院、不同设备产生的病理图像存在染色、扫描等差异，导致模型在真实临床环境中性能下降。
3. 配对数据稀缺：同时拥有病理图像和空间组学信息的“金标准”数据集非常稀少，难以支撑强大模型的训练 。
图 1UMPIRE的两阶段预训练框架。阶段一（a）利用海量无标签的空间转录组数据预训练一个强大的基因编码器（Visiumformer）；阶段二（b）利用有限的配对数据，通过对比学习将基因编码器与视觉编码器进行高效对齐
我们做了什么
针对以上难题，论文提出了UMPIRE框架，它通过一个创新的两阶段训练策略，将病理学的“形态”与分子生物学的“功能”无缝结合。其核心创新点包括：
1. 构建最大规模空间转录组数据集：我们整理并发布了 ViSTomics-4M数据集，包含超过400万个空间转录组基因表达数据点 ，是目前全球最大的基于Visium技术的空间转录组数据集，为训练稳健的基因编码器提供了前所未有的数据基础。
2. 创新的两阶段预训练框架：首先，在ViSTomics-4M上对基因编码器进行无监督预训练，使其充分学习基因表达模式；然后，通过多模态对比学习，将该基因编码器与先进的病理视觉模型对齐，让视觉特征学习拥有分子层面的“指导”。
3. 分子信息引导的鲁棒学习：相较于主观且多变的文本描述，基因表达数据提供了更客观、稳定的生物学信号 。UMPIRE利用这一优势，引导模型学习跨越平台和数据差异的、真正与生物学功能相关的视觉模式，从而大幅提升模型的泛化能力。
图 2UMPIRE 所支持的不同下游任务
性能表现
我们在三大类下游任务、横跨五种不同器官以及多种测序平台上对 UMPIRE进行了全面、严格的评估。实验结果证明：
1. 全面的SOTA性能：无论是在基因表达预测、组织区域分类还是WSI级别的基因突变预测任务中，UMPIRE均显著超越了现有SOTA方法 ；
2. 卓越的跨平台泛化能力：仅在Visium数据上进行预训练，UMPIRE就能直接在其他测序平台（如Spatial Transcriptomics）的数据上取得优异表现 ，展现了其强大的“举一反三”能力；
3. 赋能精准医疗：该框架能够仅通过常规的H&E病理图像，就准确预测关键的预后生物标志物或癌症驱动基因（如EGFR, KRAS）的突变状态 ，为实现低成本、规模化的精准诊断和个性化治疗方案筛选提供了全新的高效工具。
图 3UMPIRE在组织类型分类上的可视化比较
延伸阅读
复旦大学认知与智能技术实验室（简称CITLab）隶属于复旦大学智能机器人与先进制造创新学院、复旦大学智能机器人研究院、复旦大学元宇宙智慧医疗研究所，近年来一直在机器直觉与具身智能、物理仿真与数字孪生、多模态感知与行为识别、情感分析与大语言模型、脑机解码与人机交互以及智能机器人与无人系统、智能驾驶与智能医学等领域开展交叉创新研究，相关学术成果发表于Nature、中国科学、T-PAMI、T-ITS、T-CSVT、RA-L、NeurIPS、CVPR、ICCV、ECCV、AAAI、ACM MM以及ICRA、IROS等国内外一流学术期刊与学术会议。
