学术科研

6-7月科研速递

时间:2026-08-03来源:复旦大学智能机器人与先进制造创新学院

【6-7月科研速递】

耕耘不息奋斗不止

智能机器人与先进制造创新学院科技工作者

 近期又取得了一系列科研成果

小编汇总了部分进展

一起先睹为快

1.智慧纳米机器人与纳米系统国际研究院Nature Materials:Magnetoelectric microrobots for spinal cord injury regeneration

我院陈相仲副教授联合苏黎世联邦理工学院Salvador Pané教授、Bradley J. Nelson教授、苏黎世大学Stephan C. F. Neuhauss教授以及沈阳药科大学罗聪教授研究团队,报道了一种基于NPC的新型生物杂交微型机器人(NPCbots),该机器人具备磁控和磁电刺激的双重功能,可以实现体内磁导航和复杂生物环境中的特定神经元分化。NPCbots采用生物杂交微型结构,将人类iPSC衍生的NPC与CoFe2O4–BaTiO3(CFO-BTO)磁电核壳纳米颗粒集成,并借助微流控芯片(LoC)设备实现大规模量产。外部磁场驱动磁致伸缩CFO核心实现体内磁控导航;交变磁场(AMF)则触发CFO-BTO磁电耦合产生电输出,实现非侵入式地高效驱动NPC定向分化。相关成果以“Magnetoelectric microrobots for spinal cord injury regeneration”为题发表于Nature Materials。


图1. NPCbots制造和应用流程示意图(图片来源于Springer Nature)


在非再生性小鼠脊髓损伤模型中,NPCbots成功实现了运动功能的显著恢复,NPCbots成功实现了后肢运动功能的显著恢复(BMS评分达3.9,步态及脚趾外展近乎完全改善)。组织免疫荧光与运动诱发电位(MEP)分析显示,病灶部位实现了明确的神经元与星形胶质细胞分化及局部连接,MEP振幅显著增强,与磁电刺激促进皮质运动系统功能重塑的修复机制高度一致。血清学及主要器官组织学分析显示肝肾功能保留、无免疫原性反应或组织损伤,证实器件具有良好的体内生物相容性和长期安全性。


论文作者:Ye, H., Zang, J., Zhu, J., von Arx, D., Zhao, J., Pustovalov, V., Mao, M., Tang, Q., Veciana, A., Torlakcik, H., Zhang, E., Sevim, S., Sanchis-Gual, R., Gao, Q., Chen, X.-Z., Ahmed, D., Sanchez-Vives, M. V., Puigmartí-Luis, J., Luo, C., Nelson, B. J., Neuhauss, S. C. F., Pané, S. Magnetoelectric Microrobots for Spinal Cord Injury Regeneration. Nat. Mater.,2026.

原文链接:https://doi.org/10.1038/s41563-026-02625-3.


2.智慧纳米机器人与纳米系统国际研究院Advanced Materials:Recent Progress in Infrared Detection From Material Advances to Integrated Intelligent Systems

近日,我院梅永丰教授团队联合中国科学院上海技术物理研究所吴斌民博士、甄红楼研究员等,在材料领域一区权威期刊Advanced Materials发表综述论文《Recent Progress in Infrared Detection From Material Advances to Integrated Intelligent Systems》。该文围绕“材料-器件-系统”三个层级,系统梳理了红外探测从高性能探测单元向集成化、智能化、多功能平台演进的最新进展。

在材料层面,本综述总结了传统红外材料通过能带调控、异质结设计、势垒结构和低暗电流工程提升器件性能的研究进展,重点讨论了HgCdTe、量子阱、II型超晶格和量子点等体系在高工作温度探测、低噪声探测和多波段响应方面的代表性突破。同时,新兴的二维材料、黑磷、过渡金属硫族化物、纳米薄膜和热敏材料等新材料体系为室温宽谱、偏振敏感、柔性化及片上集成红外探测提供了新的材料基础(见图1)。




图1:红外探测技术在材料、器件与系统层面的研究进展框架


在器件层面,从光子探测、热探测以及光热电探测等基本机制出发,对响应率、比探测率、时间响应和暗电流来源进行了系统归纳,为器件性能优化建立了清晰的物理框架。在系统层面,从材料创新、微结构设计到系统架构三个尺度建立了较完整的红外探测发展图谱,为紧凑型智能红外系统、多功能成像、分布式传感、健康监测和片上光计算等应用提供了重要参考。


我院章城、牛艺霖和张子煜为共同第一作者;中国科学院上海技术物理研究所吴斌民博士、甄红楼研究员和我院梅永丰教授为该论文共同通讯作者。该工作得到了国家自然科学基金、中国科学院战略性先导科技专项、上海市科委、中国博士后科学基金及上海市超级博士后等项目的资助和支持。


原文链接:https://doi.org/10.1002/adma.202521432



3. 可信具身智能研究院IEEE TPAMI :LRANet++:基于低秩近似网络的实时端到端文本识别器

 近日,可信具身智能研究院在端到端文本识别领域取得重要进展,相关成果以 “LRANet++: Low-Rank Approximation Network for Accurate and Efficient Text Spotting” 为题发表于人工智能领域权威期刊《IEEE Transactions on Pattern Analysis and Machine Intelligence》(IEEE TPAMI)。端到端文本识别是视觉问答、文档理解及多模态智能体交互等领域的关键感知入口,但长期受困于精度与效率难以兼具的瓶颈,严重制约了其在实时复杂场景中的大规模落地应用。针对这一挑战,本研究从底层表征与架构解耦的视角出发,探索出一条兼顾高精度与高效率的新路径。团队首先定量揭示了精准定位是高质量识别的前置根本,创新性地将任意形状文本检测建模为数据驱动下的低秩子空间重构问题,利用基于l1范数最小化的快速中值子空间投影,有效克服了人工标注噪声干扰,仅需少量系数即可鲁棒表征复杂轮廓。同时,设计了“教师–学生–辅助”架构的三重分配检测头,通过自蒸馏机制实现了复杂特征学习与轻量推理的高效协同。此外,针对当前单阶段方法的流行趋势,通过结合大尺度图像缩放策略与轻量级Transformer识别头,重新验证了经典的RoI两阶段范式依然具备超越最新单阶段方法的突出潜力。实验结果表明,LRANet++在多个极具挑战的数据集上取得了优异的速度-精度结果。例如,在 CTW1500上率先突破70%的F-measure,且速度比现有方法快3.5倍 ,同时在中文ReCTS及越南语VinText等多语言基准上均取得了SOTA性能。

论文第一作者为2023级博士生苏宇辰,通讯作者为我院陈智能教授。研究得到国家自然科学基金和上海市科委项目资助。

论文作者:苏宇辰,陈智能,杜永坤,吴祖煊,谢洪涛,姜育刚

原文链接:https://ieeexplore.ieee.org/abstract/document/11328880/


4.可信具身智能研究院IJCV:UniCam: 基于噪声空间的统一相机可控视频生成框架

近日,我院在视频生成领域取得新进展,相关成果以“UniCam: Taming Unified Diffusion Models in Noise Space for Camera-controllable Video Rendering”为题,被国际计算机视觉顶刊International Journal of Computer Vision (IJCV) 录用。在视频扩散模型中控制相机位姿,对于新视角视频生成至关重要。然而,现有方法难以实现精准的相机控制。将数值化的相机参数直接注入扩散模型骨干网络,往往难以捕捉细微的视角变化,并容易产生结构畸变或视觉伪影。为解决上述问题,提出UniCam。该统一框架引入了一种具有时序一致性的随机表示——CameraNoise,并依据相机内参与外参对其进行形变。不同于传统方法,CameraNoise将相机位姿直接编码至噪声空间,使其在忠实表征相机运动的同时,不依赖具体的场景外观。提出一种新颖的几何引导重投影流,并设计CameraNoise形变算法,在相机变换过程中联合保持扩散噪声的高斯先验,确保噪声传播的一致性。通过将CameraNoise融入扩散过程,UniCam能够在文生视频、图生视频和视频生视频任务中实现稳定、高质量且精准的相机控制。在三个公开基准上的大量实验表明,UniCam在生成保真度和相机可控性方面均显著优于现有方法。

论文第一作者为2022级博士生赵浩宇,通讯作者为我院吴祖煊教授。研究得到新一代人工智能国家科技重大专项和国家自然科学基金项目资助。

论文作者:赵浩宇,吴祖煊,姜育刚

原文链接:https://rdcu.be/fwGR7

项目主页:https://gulucaptain.github.io/UniCam/。


5.我院Timon Rabczuk/庄晓莹/金亚斌团队IJMS:On-demand optimal design of Rayleigh wave metasurfaces

 近日,我院Timon Rabczuk、庄晓莹和金亚斌团队在瑞利波超表面按需优化设计领域取得重要研究进展,相关研究成果以 “On-demand optimal design of Rayleigh wave metasurfaces” 为题,发表于国际权威期刊 《International Journal of Mechanical Sciences》。该研究面向表面波调控中“目标功能明确但结构布局难以反向确定”的关键问题,提出了一种基于多重散射理论与梯度下降优化的瑞利波超表面设计方法,为振动隔离、波能聚焦、传感与能量采集等领域提供了新的理论支撑和设计路径。

研究团队提出了一种面向目标功能的瑞利波超表面优化设计框架。该框架首先建立机械谐振器与半无限弹性基体之间的多重散射模型,用于准确描述瑞利波与表面谐振器阵列之间的相互作用;在此基础上,进一步构建梯度下降优化方法,并解析推导目标函数关于各谐振器位置的梯度,实现谐振器布局的高效迭代更新。通过该方法,研究团队实现了瑞利波在指定目标点的聚焦、多个声源条件下的聚焦、目标区域内的波动隔离,以及基于不同谐振频率谐振器组合的频率相关型聚焦与隔离。有限元模拟结果与理论计算吻合良好,验证了所提出方法的有效性和可靠性。

本研究提出了一种面向瑞利波超表面按需功能调控的优化设计新方法,为复杂弹性表面波的聚焦、隔离与多频调控提供了高效理论工具。该研究不仅为弹性超表面的智能设计提供了通用理论工具,也为人工智能与力学深度融合提供了新的研究范式。未来,该方法有望进一步推广至兰姆波、声波、电磁波等多种波动系统,实现面向目标功能的自动化器件设计,推动智能超材料和新型波动调控器件的发展。

原文链接:https://doi.org/10.1016/j.ijmecsci.2026.111821


6. 可信具身智能研究院ICML 2026:Just Ask: 好奇代码智能体自主窃取前沿大语言模型系统提示

 近日,可信具身智能研究院联合香港城市大学(CityUHK)、伊利诺伊大学厄巴纳-香槟分校(UIUC)、墨尔本大学(UniMelb)和新加坡管理大学(SMU),在AI安全与大语言模型安全方向取得重要突破,相关成果以 Just Ask: Curious Code Agents Reveal System Prompts in Frontier LLMs 为题,被机器学习领域国际权威会议 International Conference on Machine Learning(ICML 2026) 录用。本研究提出 JustAsk自进化系统提示提取框架,将系统提示提取建模为好奇心驱动的语言强化学习,使代码智能体在交互中自主进化提取策略,实现黑盒条件下对前沿大语言模型系统提示的高效窃取。核心贡献包括:(1)构建 JustAsk提取框架,以代码智能体为攻击主体,配备工具、技能与持久记忆,通过好奇心驱动的探索-利用权衡自主发现高成功率提取策略,无需人工干预;(2)提出 跨模型迁移协议,将Claude Code上发现的提取策略零样本迁移至10个前沿模型(含GPT、Gemini、DeepSeek等),证明该风险的普遍性与跨模型迁移性;(3)发布系统化评估结果,在41个模型上完成大规模实验,发现所有受测前沿模型均存在系统提示泄露风险,其中Claude Code成功率高达80%以上,并提炼出若干高泛化性的提示策略。大量实验表明,JustAsk在黑盒条件下可稳定提取多个前沿模型的系统提示片段,显著优于传统静态提示工程基线,充分证明自我进化代码智能体对当前部署中LLM构成真实且紧迫的威胁,为AI安全红队方法论与防御机制设计提供了关键支撑。

论文作者:郑翔、吴玉涛、黄瀚珣、李一戈、马兴军†、李博、姜育刚、王聪

原文链接:https://icml.cc/virtual/2026/poster/61428



7.可信具身智能研究院ECCV 2026:WATERec:面向艺术文本识别的数据与模型系统性建模

近日,我院可信具身智能研究院在场景文本识别领域取得重要进展,相关成果以“Advancing WordArt-Oriented Scene Text Recognition: Datasets and Methods”为题发表于人工智能领域权威会议ECCV 2026。艺术字兼具语言信息与视觉符号的双重属性,广泛存在于海报、招牌、杂志封面和广告设计中,是视觉问答、多模态内容理解与生成等下游应用的关键感知入口。然而,艺术字因高度定制的字体、纹理和复杂布局,使得现有场景文本识别模型及通用视觉语言模型在该任务上表现不理想,核心瓶颈在于大规模高质量训练数据的匮乏与模型架构对任意形状输入的支持不足。针对上述两大挑战,本研究从数据与模型两个维度协同推进,进行系统性建模。数据方面,团队构建了200万规模的合成数据集WATER-S,通过"工具渲染+扩散模型生成"双轨策略,兼顾了文本准确性与场景多样性。模型方面,提出WATERec识别模型,引入支持任意形状输入的场景文本识别器,打破固定模板在艺术字识别上的结构瓶颈。实验结果表明,WATERec在WordArt-Bench这一公认的艺术字识别基准上正确率突破90%大关,大幅超越通用和领域专用视觉语言模型,且仅需他们的百分之一甚至千分之一的参数量,在效率与精度之间取得了双赢的结果。


论文第一作者为2024级硕士生叶兴松,通讯作者为我院陈智能教授。研究得到国家自然科学基金项目资助。

论文作者:叶兴松,杜永坤,张家鑫,张浩杰,孙冲,李琛,吕静,陈智能

原文链接:https://arxiv.org/abs/2606.24484


8.可信具身智能研究院ECCV 2026:DreamWorld:基于几何引导视频扩散的三维一致世界建模

近日,我院可信具身智能研究院在三维世界生成领域取得新进展,相关成果以“DreamWorld: Geometry-Grounded Video Diffusion for 3D-Consistent World Modeling”为题,被国际计算机视觉权威会议ECCV 2026录用。相机可控视频扩散模型能够根据单张图像和用户指定的相机轨迹生成新视角视频,但现有方法大多缺少显式三维几何约束,在大幅视角变化下容易出现结构畸变、空间漂移和跨视角不一致。针对这一问题,本研究提出DreamWorld,将三维基础模型的空间结构先验与视频扩散模型的高保真生成能力相结合,构建“先几何、后外观”的两阶段世界生成框架。首先,几何视频扩散模型从不完整的投影视图中预测目标视角下完整且一致的几何特征,并通过知识蒸馏继承三维基础模型的结构先验;随后,外观视频扩散模型以生成的几何特征作为结构支点,合成高质量的新视角视频。该解耦设计使几何分支专注于空间结构补全和相机轨迹一致性,外观分支专注于纹理与视觉细节生成,有效缓解了几何推理与外观合成之间的任务干扰。实验结果表明,DreamWorld在RealEstate10K、Tanks-and-Temples和WorldScore等基准上均取得领先性能。


论文第一作者为2024级博士生杨海波,通讯作者为我院陈智能教授。研究得到国家自然科学基金项目资助。

论文作者:杨海波,陈杨,潘滢炜,陈智能,姚霆,梅涛

原文链接:https://yanghb22-fdu.github.io/DreamWorld



9. 可信具身智能研究院ECCV 2026:HAD:结合层次化扩散策略和指标解耦强化学习的端到端轨迹规划方法

 近日,可信具身智能研究院团队在自动驾驶轨迹领域取得重要进展,相关成果以 "HAD: Combining Hierarchical Diffusion with Metric-Decoupled RL for End-to-End Planning" 为题被计算机视觉领域权威会议 ECCV 2026接收。在自动驾驶轨迹规划中,现有端到端方法直接从整个驾驶空间中筛选轨迹,面临着极高的优化难度,且基于传统高斯噪声的扩散轨迹采样容易破坏轨迹的动力学结构,生成不合理的震荡轨迹;此外,传统强化学习方法依赖单一融合奖励评价轨迹,难以同时平衡碰撞规避、车道保持和舒适度等多维驾驶目标。针对这些挑战,本研究提出了一种结合层次化扩散策略与指标解耦强化学习的端到端轨迹规划方法HAD。该方法提出了层次化扩散策略,将轨迹规划分解为高层意图明确与低层轨迹精细化两个阶段,首先大致确定合理的驾驶区域,随后再对局部空间进行细致的探索,降低了模型优化的难度;在进行局部空间探索时,团队提出了保持结构的轨迹扩展算法,在极坐标系下对轨迹进行径向缩放与角度偏移扰动,完美保持了轨迹固有的运动学结构。为了更好地在多维驾驶目标上优化驾驶策略,团队开发了指标解耦策略优化(MDPO)算法,将强化学习奖励解耦为多个独立分支,分别针对特定驾驶指标进行精细化优化,并配合离线轨迹奖励检索方案实现了高效的轨迹奖励分数获取,去除了对自动驾驶仿真器的依赖。实验结果表明,HAD在NAVSIM和HUGSIM等开环和闭环自动驾驶轨迹规划基准上均达到了业内领先水平,大幅超越了其他方法,充分验证了该方法在复杂动态环境中的鲁棒性与轨迹规划能力。


论文第一作者为2023级硕士生姚文浩,通讯作者为我院吴祖煊教授。研究得到国家自然科学基金和上海市科学技术委员会的资助。

论文作者:姚文浩,孙醒龙,李臻欣,兰石懿,王资,Jose M. Alvarez,吴祖煊

原文链接:https://arxiv.org/abs/2604.03581


10.可信具身智能研究院ECCV 2026:Selfment:一种完全基于自监督学习的目标分割框架

近日,可信具身智能研究院团队在自监督目标分割领域取得重要进展,相关成果以 "Learning Accurate Segmentation Purely from Self-Supervision” 为题被计算机视觉领域权威会议 ECCV 2026接收。目标分割作为计算机视觉理解、多模态感知及具身智能的重要基础任务,长期依赖大量人工像素级标注或预训练分割模型,导致标注成本高且泛化能力受限。针对这一挑战,本研究提出了Selfment,一种完全基于自监督学习的目标分割框架,在无需任何人工标注、预训练分割模型或后处理的条件下,实现了高精度目标分割。团队首先充分挖掘自监督视觉基础模型的语义表示能力,将图像Patch特征构建为亲和图,并利用归一化图割(Normalized Cut)获得初始前景-背景划分。针对传统谱聚类结果易受噪声干扰、空间一致性不足的问题,本研究进一步提出迭代Patch优化(Iterative Patch Optimization, IPO)策略,通过特征空间中的聚类中心迭代更新与方向一致性约束,不断提升Patch级语义一致性和空间连续性,生成更加精细稳定的伪标签。在此基础上,研究设计了结合对比学习、区域一致性约束及二分类监督的轻量级自监督训练框架,使模型能够持续学习鲁棒的目标表示。实验结果表明,Selfment在多个无监督显著目标检测基准上均取得业内领先性能,并在无需任何额外微调的情况下在伪装目标检测任务上展现出优异的零样本泛化能力,充分验证了自监督学习在高精度目标分割中的巨大潜力。

论文第一作者为2023级硕士生尤祖尧,通讯作者为我院吴祖煊教授和姜育刚教授。研究得到国家自然科学基金和上海市科学技术委员会的资助。

论文作者:尤祖尧,吴祖煊,姜育刚

原文链接:https://arxiv.org/abs/2602.23759

项目主页:https://geshang777.github.io/Selfment/



11. 可信具身智能研究院ECCV 2026:SegDiff:面向一致性与实时自适应机器人操作的分段轨迹扩散框架

 近日,可信具身智能研究院团队在机器人模仿学习领域取得重要进展,相关成果以 "SegDiff: Segmented Trajectory Diffusion for Consistent and Adaptive Robot Manipulation" 为题被计算机视觉领域权威会议 ECCV 2026接收。在模仿学习领域中,现有连续动作预测方法容易产生长期累积误差,并可能因多模态动作之间的频繁切换导致不安全行为;关键姿态预测方法则依赖外部规划器,难以实时适应动态环境。针对这些挑战,本研究提出分段轨迹建模机制,以关键姿态作为预测锚点,将专家演示划分为多个运动片段,使扩散模型从任意当前状态直接预测通向下一关键姿态的完整连续轨迹,从而兼顾关键状态约束、长时程推理与闭环控制能力。在推理阶段,团队进一步提出基于DDIM反演的动态时间集成机制,通过实时评估动作缓存的有效性及新旧轨迹的模式一致性,自适应地选择随机噪声生成轨迹或先验引导轨迹:当环境发生变化、原有缓存失效时,模型能够及时丢弃过时动作并快速响应最新观测;当缓存仍然有效但检测到动作模式切换时,则利用反演先验维持连续预测的一致性与执行稳定性。实验结果表明,SegDiff在RLBench、RoboMimic两项仿真基准及五项具有多模态、动态干扰和高精度操作要求的真实机器人任务上均展现出优越且稳健的性能,有效缓解了轨迹预测中的累积误差与模式切换问题,同时仅引入较小的额外计算开销,为复杂动态环境中的实时、稳定机器人操作提供了新的解决方案。


论文第一作者为2024级硕士生曹海东,通讯作者为我院吴祖煊教授。研究得到国家自然科学基金、上海市科学技术委员会和新基石科学基金的资助。

论文作者:曹海东,曹文骏,李全昊,谢思程,杜智颖,冷佳骐,吴祖煊,姜育刚



12. 可信具身智能研究院ECCV 2026:从运动中看到触觉:基于触觉运动相关性的统一视觉-触觉策略

近日,可信具身智能研究院在端到端文本识别领域取得重要进展,相关成果以《Seeing Touch from Motion: A Unified Modality-Aware Visuo-Tactile Policy with Tactile Motion Correlation》为题,发表于人工智能领域权威会议《European Conference on Computer Vision》(ECCV)。视触觉策略借助光学触觉传感器,在接触密集型操作中展现出巨大潜力。该类传感器通过内置相机观测弹性凝胶表面的形变,间接推断触觉信息,从而兼具高空间分辨率与多维力感知能力。然而,如何准确提取接触密集型操作所需的细粒度接触状态,仍是一个悬而未决的关键难题。现有方法多采用原始触觉图像或累积运动场来表征触觉线索,但二者均易陷入感知歧义:原始图像主要捕捉外观变化,累积运动场仅反映凝胶的整体形变,导致多种细粒度接触状态往往呈现高度相似的表征模式,难以对细微接触差异进行显式区分。针对上述挑战,本研究从触觉运动的动态先验这一全新视角切入,揭示出一条关键规:瞬时运动与累积运动之间的相关性,能够显式区分细粒度接触状态。基于此洞见,团队提出了一种运动感知的触觉表征方法,为接触密集型操作提供了更具判别力的感知基础。此外,视觉与触觉两种模态的有效融合同样至关重要。现有融合方法大多采用直接拼接各模态特征或分别训练模态专属网络再融合其输出的方式,难以在建模跨模态交互的同时保留各模态的独特属性。为此,本研究充分发挥混合Transformer(Mixture-of-Transformers)架构的优势,提出了一种统一的模态感知视触觉策略,既能捕捉跨模态的互补性,又能保持各模态的特异性。在四项接触密集型操作任务上的实验结果表明,所提方法在性能和鲁棒性上均优于现有方法。


论文第一作者为2025级博士生许晟旗,通讯作者为我院吴祖煊教授和姜育刚教授。研究得到国家自然科学基金、上海市科学技术委员会和新基石科学基金的资助。

论文作者:许晟旗,刘扬,钟国金,王凡杰,罗虎,周寒宇,张为尧,叶子逸,吴祖煊,姜育刚

原文链接:https://arxiv.org/pdf/2606.29941


13.智能机器人研究院张文强研究员课题组 ECCV 2026:CAT——面向机器人操作的轨迹级连续动作表征

 近日,我院智能机器人研究院联合中国电信 TeleAI,在机器人操作的动作表征学习方面取得重要进展。相关成果以“Trajectory-Level Continuous Action Representation for Robotic Manipulation”为题,被 European Conference on Computer Vision(ECCV 2026)录用。

现有视觉运动策略通常在时间步层面表示动作,控制频率提高会导致表示规模增长和冗余动作编码,削弱对接触转换、短时修正等关键动作的建模。已有离散码本或预设基函数方法虽能压缩轨迹,但仍依赖时间步划分或固定时间参数化,难以从根本上解决上述问题。研究团队提出轨迹级连续动作表征框架 CAT,将固定真实时间窗口内的动作轨迹压缩为固定数量的连续潜变量,并通过频率感知位置编码 F-RoPE 对齐不同控制频率下的时间坐标,实现与时间步密度解耦的动作建模。在 LIBERO、MimicGen、RoboTwin 2.0 及真实机器人任务上的实验表明,CAT 能够稳定提升不同模型和控制频率下的策略性能。其中,LIBERO 上 SmolVLA 的平均成功率由 87.3% 提升至 90.8%,π0 由 94.2% 提升至 96.5%;在四项真实长时序任务中,平均得分由 45.0 提升至 60.5。

论文作者:杨同*、贾景开*、徐悦程*、陈学尧、张弛、张文强。


14.智能机器人研究院张文强研究员课题组 ECCV 2026:VLA-Hijack——通过劫持视觉本体感知实现跨模型补丁攻击

   近日,复旦大学智能机器人研究院联合香港理工大学,在视觉-语言-动作模型(VLA)的安全性研究方面取得重要进展。相关成果以“VLA-Hijack: A Transferable Patch Attack against Vision-Language-Action Models via Visual Proprioception Hijacking”为题,被 European Conference on Computer Vision(ECCV 2026)录用。

 现有对抗补丁通常直接针对模型特定的动作输出进行优化,但不同 VLA 架构采用的动作编码差异显著,导致攻击容易过拟合代理模型,难以跨架构迁移。研究团队发现,不同 VLA 模型普遍依赖“定位机械臂—识别目标—规划动作”的视觉本体感觉闭环,并据此提出 VLA-Hijack:首先抑制模型对真实机械臂的视觉表征,形成“感知真空”;随后通过语义概念锚定与视觉原型投影,将伪造的机械臂身份注入对抗补丁,从而诱导模型产生“幻影本体”并破坏其动作规划。在 LIBERO 和 BridgeData V2 基准以及 OpenVLA、UniVLA、CronusVLA 等12个模型上的实验表明,该方法的白盒攻击失败率达到100%;黑盒迁移攻击的平均失败率达到61.64%,相比最优基线提升24.11个百分点;从真实场景到仿真环境的平均迁移失败率达到63.68%,约为现有方法的3倍。

论文作者:符纪元*、姜开勋*、贾景开、陈兆宇、陈学尧、洪凌屹、高述勇、谭辰治、杨鼎康、张文强

原文链接:https://arxiv.org/abs/2605.28083


15. 可信具身智能研究院ECCV 2026:VICAL:面向长尾视觉识别的邻域一致性对齐

 近日,可信具身智能研究院在长尾图像识别领域取得重要进展,相关成果以 "VICAL: Vicinal Consistency Alignment for Long-Tailed Visual Recognition" 为题发表于计算机视觉领域权威会议 ECCV 2026。长尾视觉识别是开放环境感知、细粒度分类及多模态智能系统中的重要基础能力。由于训练数据通常呈现高度不均衡的类别分布,模型容易偏向样本充足的头部类别,而难以充分学习尾部类别。多专家模型通过引入具有不同类别偏好的专家缓解这一问题,其性能提升通常被归因于专家多样性。然而,专家差异是否必然带来更优的集成性能,仍缺乏系统验证。针对这一问题,本研究重新审视多专家长尾学习中的多样性假设,揭示出一条关键规律:通过Logit Adjustment或显式正则强制扩大专家差异,并不能稳定提升集成精度,反而可能损害单个专家的表征能力。相比之下,降低预测方差对提升模型泛化能力更为关键。基于此,团队提出邻域一致性对齐框架VICAL。该框架通过自一致性学习,在增强视图及其插值邻域之间约束单个专家的预测一致性,抑制模型对不稳定高频模式的依赖并缓解尾类过拟合。同时,利用低分辨率视图开展集成蒸馏,促进不同专家在低频语义层面的稳定对齐,避免跨专家知识传递产生优化冲突。此外,引入冲突知识过滤机制识别并排除有害蒸馏信号,从而保护各专家已形成的判别能力。在多个具有不同规模和不均衡程度的长尾识别基准上的大量实验表明,VICAL能够有效降低模型偏差与预测方差,并在头部类别性能基本稳定的同时显著改善尾部类别的识别能力,验证了其有效性与泛化能力。


论文第一作者为2025级博士生竺江港,通讯作者为我院陈静静教授。研究得到国家自然科学基金资助。

论文作者:

竺江港,王铮,朱斌,陈依萍,陈静静

16.可信具身智能研究院ECCV 2026: WeEdit:面向以文本为中心的图像编辑的数据集、基准与字形引导框架

  近日,可信具身智能研究院与腾讯微信基础模型团队在以文本为中心的图像编辑领域取得重要进展,相关成果以 “WeEdit: A Dataset, Benchmark and Glyph-Guided Framework for Text-centric Image Editing” 为题发表于计算机视觉领域权威会议 ECCV 2026。以文本为中心的图像编辑是信息图表更新、海报修改及多语言界面翻译等实际应用的关键技术,但该方向长期受困于模型复杂指令遵循差、易生成模糊或幻觉字符的瓶颈,严重制约了其在真实复杂场景中的落地应用。针对这一挑战,本研究从数据构建、评估基准与算法优化的系统性视角出发,探索出一条实现高保真文本编辑的新路径。团队首先创新性提出了一种基于HTML的自动化数据构建流程,生成了涵盖7种编辑操作和15种语言的33万对高质量训练数据,并建立了标准化的双语及多语言评估基准。同时,本研究在算法层面引入了字形引导的监督微调机制,将预测的目标字形图像作为显式的空间与内容先验,有效攻克了精准文本定位与字符级准确生成的难题。此外,本研究设计了多目标强化学习阶段,通过联合优化指令遵循度、文本清晰度和背景保留度,实现了编辑质量的全面提升。实验结果表明,WeEdit在多个极具挑战的基准测试上取得了领先的编辑效果。例如,在双语及15种语言的多语言基准上,WeEdit不仅在各项核心指标上大幅超越现有的所有开源模型,更展现出媲美甚至超越顶尖闭源系统的SOTA性能。

论文第一作者为2021级博士生张辉,通讯作者为我院吴祖煊教授和姜育刚教授。研究得到国家自然科学基金和上海市科委项目资助。

论文作者:张辉,刘俊涛,刘宗凯,牛力强,孟凡东,吴祖煊,姜育刚

原文链接:https://arxiv.org/pdf/2603.11593


17.可信具身智能研究院ACM MM 2026:AgentHazard:面向计算机使用智能体有害行为的系统化评测基准

近日,我院在智能体安全领域取得新进展,相关成果以“AgentHazard: A Benchmark for Evaluating Harmful Behavior in Computer-Use Agents”为题,被国际多媒体领域权威会议 ACM International Conference on Multimedia 2026(ACM MM 2026)Dataset Track 录用。随着大语言模型从文本生成拓展到对工具、文件和执行环境的持续操作,计算机使用智能体带来了新的安全挑战:有害行为往往不是由单条恶意指令触发,而是由一系列局部合理但整体导致未授权操作的步骤累积产生。现有安全评测多聚焦于提示级越狱,难以刻画执行层面的轨迹依赖风险。为此,本研究提出 AgentHazard,一个面向计算机使用智能体有害行为的系统化评测基准,包含 2,653 条实例,覆盖 10 类风险类别与 10 种攻击策略。每条实例将有害目标嵌入真实工作流,由局部合理但最终诱导不安全执行的步骤组成。在 Claude Code、OpenClaw 和 IFlow 三个框架上,使用 Qwen、Kimi、GLM 等开源模型开展的系统评测表明,当前智能体整体仍然高度脆弱:GLM-4.6 在 Claude Code 下的攻击成功率最高达 82.90%,Qwen3-Coder 为 73.63%,说明模型层对齐难以保证执行层安全。同一模型在不同框架间差异显著,且有害行为具有明显轨迹依赖性;现有安全分类器难以提前检出有害意图,最佳检出率仅为 27.03%。研究团队希望 AgentHazard 能为多步、工具驱动的智能体安全评测提供统一基准,推动更强的防御与安全评估方法发展。

  

论文第一作者为2023级博士生丁一凡,通讯作者为我院马兴军青年研究员。研究得到新一代人工智能国家科技重大专项和国家自然科学基金项目资助。

论文作者:丁一凡, 冯云浩, 高翌峰, 李一戈, Oscar Wu, 郭延明, 谭映水, 翟坤, 马兴军

原文链接:https://arxiv.org/abs/2604.02947

  

18.可信具身智能研究院ACM MM 2026:BackdoorVLM:面向视觉语言模型后门攻击与防御的系统化评测基准

近日,我院在多模态大模型安全领域取得新进展,相关成果以“BackdoorVLM: A Benchmark for Backdoor Attacks and Defenses on Vision-Language Models”为题,被国际多媒体领域权威会议 ACM International Conference on Multimedia 2026(ACM MM 2026)录用。后门攻击通过向机器学习系统中植入隐藏行为,并在推理阶段由特定触发条件激活,严重威胁模型的可靠性与可信性。尽管后门攻击在传统单模态任务中已得到广泛研究,但其在多模态基础模型,尤其是视觉语言模型中的影响仍缺乏系统性探索。针对这一问题,本研究提出 BackdoorVLM,构建面向视觉语言模型后门攻击与防御的综合评测基准,旨在系统分析不同场景下多模态后门威胁及其防御能力。该基准从统一视角出发,围绕视觉语言模型中的核心任务开展后门注入与分析,包括图像描述生成和视觉问答等任务,并将多模态后门威胁归纳为五类典型攻击范式:目标拒答、恶意注入、越狱攻击、概念替换以及感知劫持。上述类别分别刻画攻击者通过不同路径操控视觉语言模型行为的方式。在实验评测方面,BackdoorVLM覆盖文本触发、图像触发以及图文双模态触发等多种攻击形式,系统评估了12种代表性攻击方法,并在2个开源模型、3个多模态数据集以及5种典型防御方法上进行了全面验证。实验分析发现,视觉语言模型对文本指令具有较强敏感性,在双模态后门场景下,文本触发通常会在后门映射形成过程中占据主导作用。此外,基于文本模态的后门攻击仍具有较强的攻击能力,即使仅使用1%的数据投毒比例,也能够在多数任务中实现超过90%的攻击成功率。此外发现,现有防御方法在不同触发类型和后门场景之间缺乏良好的泛化能力,难以为多样化的多模态后门威胁提供稳定可靠的防护。这些发现揭示了当前视觉语言模型中尚未被充分认识的安全漏洞。

论文第一作者为2024级硕士生黎俊成,通讯作者为我院马兴军青年研究员。研究得到新一代人工智能国家科技重大专项和国家自然科学基金项目资助。

论文作者:Juncheng Li, Yige Li, Hanxun Huang, Yunhao Chen, Xin Wang, Yixu Wang, Xingjun Ma, Yu-Gang Jiang

原文链接:https://arxiv.org/abs/2511.18921



19.可信具身智能研究院ACM MM 2026:RedDiffuser:基于强化扩散的视觉语言模型安全审计框架

近日,我院在多模态大模型安全领域取得新进展,相关成果以“RedDiffuser: Auditing Multimodal Safety Failures in Vision-Language Models via Reinforced Diffusion”为题,被国际多媒体领域权威会议 ACM International Conference on Multimedia 2026(ACM MM 2026)录用。 视觉语言模型正逐渐应用于社交媒体、用户生成内容和多模态智能体等开放场景,但现有安全评测主要关注显式恶意指令和越狱攻击,较少考察模型在有害图文上下文中的安全稳定性。视觉信息可能放大文本中隐含的风险信号,使仅依赖文本测试的评测方式难以发现潜在的多模态安全失效。针对这一问题,本研究提出黑盒安全审计框架 RedDiffuser,通过生成与不完整有害文本语义相关的视觉上下文,系统评估视觉语言模型的安全对齐能力。 该框架首先利用大语言模型开展反馈驱动的贪心提示词搜索,筛选更容易暴露模型安全问题的图像提示词;随后采用强化学习优化扩散模型,并联合设计毒性奖励与语义对齐奖励,在提升审计有效性的同时保持生成图像的自然性和语义一致性。此外,研究还提出检查器感知的优化策略,将外部图像安全过滤器的反馈纳入训练,从而将审计对象由单一模型拓展至完整的多模态安全防护链路。 实验结果表明,RedDiffuser将LLaVA在主要评测集和留出集上的不安全响应率分别提高10.69%和8.91%,并能够迁移至Gemini和LLaMA-Vision等不同模型。其中,LLaMA-Vision的不安全响应率由15.02%提升至41.85%。 在引入外部安全过滤器后,检查器感知版本仍取得94.50%的过滤器绕过率,并持续揭示模型的不安全行为。研究表明,现有以显式恶意指令为核心的评测方式存在重要盲区,未来多模态安全评估需要进一步关注有害上下文暴露及完整安全链路中的潜在风险。



论文第一作者为2023级博士生王若凡,通讯作者为我院马兴军青年研究员。研究得到新一代人工智能国家科技重大专项和国家自然科学基金项目资助。

论文作者:王若凡,马兴军

原文链接:https://arxiv.org/abs/2503.06223

  

20.集群机器人系统实验室ACM MM2026:聚焦多模态理解中的表征失衡问题

近日,我院集群机器人系统实验室(MAGIC Lab)针对多模态理解中的表征失衡问题,撰写的题为《Mitigating Shared-Private Branch Imbalance via Dual-Branch Rebalancing for Multimodal Sentiment Analysis》的学术论文被国际顶尖学术会议ACM International Conference on Multimedia(简称ACM MM,CCF-A类会议)录用。研究团队提出多模态理解双分支再平衡框架(Dual-Branch Rebalancing Framework,DBR),先分别治理共享与私有分支,再进行上下文感知的协同融合新思想。

多模态理解需要同时理解一句话的词义、说话者的语气和面部表情。理想的模型既要提炼不同模态之间一致的情感信号,又要保留声音、视觉和语言各自不可替代的细节。现有方法通常把表示拆分为“共享”与“私有”两部分,但分开并不等于平衡。研究团队通过诊断发现,模态异质性并未被简单消除,而是以两种相互关联的形式重新分布:高频或占主导地位的共同模式容易在共享分支中不断聚集,造成信息冗余和模态偏置;同时,反复的跨模态交互又可能把共同语义带入私有通道,使原本可区分的模态特征逐渐趋同。如图1所示,论文将这一现象概括为“共享-私有分支失衡”。针对上述问题,如图2所示,DBR沿用标准的多模态解耦作为起点,但不急于把所有信息立即融合。它先对共享分支和私有分支分别进行有针对性的再平衡,再通过双向交互完成最终预测,把问题从“如何堆叠更强的融合模块”转化为“如何更合理地组织共享证据与模态特有证据”。这种设计的关键并非彻底隔离各模态,而是在“共享”与“保留个性”之间建立可调节的边界:共同信息不过度占据表示空间,模态特有线索也不会在交互中被抹平。

图1. 共享-私有分支失衡诊断:共享分支出现冗余与模态偏置,私有分支在交互后趋于同质化;失衡程度升高时,F1、共享信息多样性(SID)和私有模态可分性(PMS)同步下降。

图2. DBR总体框架。模型先进行多模态解耦,再由TSF治理共享分支、AGPR保护私有分支,最后通过BRF完成上下文感知的双向融合。


论文在多个权威数据集上进行了验证,覆盖情感回归、情感分类和多模态意图识别,DBR均取得了卓越的性能表现,充分证明了其在不同任务上的强大泛化能力与鲁棒性。

论文第一作者为我院2023级博士生孟春雷,甘中学教授为共同作者,欧阳春青年副研究员为通讯作者。

原文链接:https://arxiv.org/abs/2604.25179



21.智能机器人研究院Advanced Science:超长期时序预测——“未来引导现在”的新范式



近日,智能机器人研究院甘中学、冷思阳教授课题组在时间序列预测领域取得重要进展,相关成果以“Causal-Guided Ultra-Long-Term Time Series Forecasting via Anticipated Covariates”为题发表于综合科学领域权威期刊《Advanced Science》。

传统时间序列预测方法聚焦于提升中长期预测精度,但随着预测时长向超长期延伸,逐渐累积的误差一直是难以解决的核心问题。针对这一挑战,研究团队从耦合动力系统的因果结构出发,获得了一项关键发现:在耦合动力系统中,提供结果变量X的未来状态可以实现对原因变量Y的精准超长期预测。即使是在存在无法观测的变量Z驱动目标变量(即链式影响Z→Y→X)这一经典困难场景下,预测误差仍能保持在合理范围。我们发现,未来结果信息具备引导当前原因变量演化轨迹的能力,通过将已知的未来结果信息作为一种特殊的协变量——预期协变量(Anticipated Covariates)输入预测器,使其与一般协变量或外生变量保持形式上一致,该范式与现有主流预测框架可实现便捷集成。研究团队在多个广泛采用的真实世界/合成数据集上对该范式进行了系统验证和深入分析,并进一步从非线性动力系统的可观测性视角出发进行了机制分析。通过引入往往被视为未知的未来信息,这一研究为多项现实时序预测难题提供了全新解决方案,尤其适用于数据成本高昂、历史数据有限或驱动要素不可观测等困难场景。




智能机器人研究院2024级博士生赵晋桐为论文第一作者,冷思阳教授为论文通讯作者。该工作得到了科技创新2030-重大项目、国家自然科学基金、上海数学与交叉学科研究院等资助。

原文链接:https://doi.org/10.1002/advs.76201


22.我院孙耀杰/王瑜课题组Applied Energy:多社区分层共享储能系统整合通信可靠性以提升运行效率与可行性

 

  近日,我院孙耀杰教授、王瑜青年副研究员团队提出并验证了一种将通信可靠性纳入分层储能共享调度决策的新方法,为公共网络环境下用户侧储能系统的安全高效运行提供了全新思路,相关成果以研究论文在能源领域旗舰期刊Applied Energy上发表,题目为"Integrating communication reliability into multi-community hierarchical energy storage sharing for enhanced operational efficiency and viability"。

该研究针对地理分散的社区储能系统依赖公共网络通信、易受网络拥塞与电磁干扰影响这一现实问题,构建了电力运行与通信可行性联合优化的分层储能共享架构。在不完美通信条件下,该调度模型将调度成功率从61.8%提升至97.8%,且相较全局优化的基准仅产生0.27%的成本溢价。研究进一步量化了通信可靠性对能源共享效益的促进作用:当通信可靠性从0.60提升至0.95时,购电成本降低6.83%,系统总共享量增加20.64%,并识别出兼顾系统性能与运行效益的帕累托最优通信可靠性区间。这项工作突破了传统储能共享研究中通信质量波动被简化或忽略的局限,也为公共网络条件下多社区储能共享的实际部署提供了兼具成本效益与通信可行性的解决方案。

论文第一作者为复旦大学智能机器人与先进制造创新学院硕士生赵雨晴;共同通讯作者为王瑜青年副研究员、孙耀杰教授。该工作获得智能电网国家科技重大专项和上海综合能源系统人工智能工程技术研究中心资助。

图1融合通信可靠性的分层储能共享框架



原文链接:https://www.sciencedirect.com/science/article/pii/S0306261926007129


23.超越照明研究所上海碳化硅功率器件工程技术研究中心ISPSD 2026: Bipolar Behavior of SiC MOSFETs with Charge-Balance-Assisted Structures

   近日,超越照明研究所下上海碳化硅功率器件工程技术研究中心(简称SiCPower)张清纯教授团队与复旦大学宁波研究院、清纯半导体等重点单位合作完成的研究成果 《Bipolar Behavior of SiC MOSFETs with Charge-Balance-Assisted Structures》被国际功率半导体器件顶会ISPSD 2026录用(IEEE International Symposium on Power Semiconductor Devices and ICs,简称IEEE ISPSD)。22级直博生段于涵为第一作者,刘盼副教授和雷光寅研究员为通讯作者。复旦大学智能机器人与先进制造创新学院为第一通讯单位。

基于所制备的电荷平衡辅助 SiC MOSFET器件,团队研究发现,与传统结构相比,空穴注入效率降低以及少数载流子寿命缩短是导致其双极行为差异的主要原因。电导调制的延迟出现使器件在大电流条件下表现出更高的正向压降,同时电荷平衡辅助器件的浪涌电流鲁棒性相对较弱。在反向恢复过程中,柱区的引入增加了电容性电荷分量,同时明显降低了双极电荷分量;其中,该双极电荷分量在室温下几乎不随导通电流变化。尽管不同柱区设计的器件均表现出相似的整体趋势,但彼此之间未表现出明显差异。这些研究结果加深对 SiC超结器件双极行为的认识,也揭示了柱区设计中需要重点权衡的关键关系。

图1器件结构示意图及关键参数分布

图2静态特性和动态特性测试结果

原文链接:https://ieeexplore.ieee.org/document/11554006



24.集群机器人系统实验室IROS 2026:Agentic RAG-VLM:面向机器人抓取的可供性认知检索增强生成与自我反思规划

 近日,我院集群机器人系统实验室(简称MAGIC Lab)甘中学教授、刘力政工程师团队撰写的题为《Agentic RAG-VLM: Affordance-Aware Retrieval-Augmented Generation with Self-Reflective Planning for Robotic Grasping》的学术论文被2026 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2026) 录用。

在杂乱环境中实现具备泛化能力的机器人抓取,是让机械臂进入非结构化人类空间的关键。然而,现有基于视觉-语言模型(VLM)的方法主要依赖视觉相似性进行目标匹配,忽视了可抓取性、材料易碎性等物理可供性;同时,这类方法多以开环方式运行,缺乏空间推理和失败恢复能力,因此在物体密集堆放或物理属性差异较大的场景中效果受限。

研究团队提出 Agentic RAG-VLM统一框架,包含三个紧密耦合的组件:1)层级式可供性感知 RAG(HAA-RAG),它编码类型、材料、易碎性和可抓取区域四维可供性描述符,并依据功能可供性的兼容性而非视觉外观来检索抓取策略;2)场景图约束推理器,它基于 VLM感知构建空间关系图,并将邻近、遮挡和支撑等约束转化为具体的抓取参数调整;3)智能体式自我反思流水线,它包含 14类失败分类体系和三级自适应重试机制,用于闭环优化抓取过程。该框架通过将检索增强生成(RAG)、视觉-语言模型(VLM)与智能体式自我反思规划相结合,弥合了基于 VLM的语义理解与具备物理约束的抓取执行之间的鸿沟。

论文第一作者为2024级硕士生陈涛,我院甘中学教授为论文共同作者,刘力政为论文的通讯作者。

原文链接:http://arxiv.org/abs/2606.31200


25.可信具身智能研究院IROS 2026:Ask-to-Clarify:通过多轮对话解决指令歧义问题

近日,可信具身智能研究院、上海创智学院、UC Berkeley在具身智能机器人操作方向取得重要进展,相关成果以 “Ask-to-Clarify: Resolving Instruction Ambiguity through Multi-turn Dialogue”为题,被机器人领域重要国际会议 IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS 2026)接收。本研究提出 Ask-to-Clarify,一个将多轮消歧对话与低层视觉运动控制统一起来的端到端具身智能框架,使机器人能够在执行动作前主动识别歧义、向用户提问,并根据用户反馈生成明确指令后完成操作。该框架由基于视觉语言模型的 Cognitive Planner和基于扩散策略的 Motor Executor组成,并引入 Semantic-Visual Alignment Adapter,将高层语义意图与视觉感知特征对齐,从而为低层动作生成提供更精确的条件信息。同时,研究发现视觉运动微调会严重破坏模型原有的对话能力,因此进一步提出两阶段 Knowledge-Insulation训练策略,将消歧对话能力学习与精细操作能力学习解耦,有效避免灾难性遗忘。实验结果表明,Ask-to-Clarify在 11个真实机器人操作任务上超过了当前 SOTA方法。该研究为构建能够主动沟通、理解人类意图并可靠执行操作的协作式具身智能体提供了新的技术路径。

论文第一作者为2025级博士生林星耀,通讯作者为我院吴祖煊教授。研究得到国家自然科学基金和上海市科委项目资助。

论文作者:林星耀,朱行昊,陆天一,钟国金,谢思程,张辉,邱锡鹏,吴祖煊,姜育刚

原文链接:https://arxiv.org/abs/2509.15061



26.认知与智能技术实验室IROS 2026:MulDP:面向复杂地形四足机器人自主跑酷导航的多模态扩散策略

近日,我院认知与智能技术实验室(简称CITLab)撰写的题为《MulDP: Multimodal Diffusion Policy for Autonomous Quadruped Parkour Navigation across Complex Terrains》的学术论文被2026 IEEE INTELLIGENTROBOTS &SYSTEMS(IROS 2026)录用。


如何在高度非结构化的复杂地形中实现长时序、强预见性的自主导航与越障,并确保其在真实世界中的安全性与鲁棒性,一直是四足机器人领域的核心挑战。针对上述难题,本研究创新性地提出了MulDP(Multimodal Diffusion Policy)框架。该框架在仅依赖前向深度相机与本体感知的条件下,成功实现了四足机器人在复杂地形中的自主跑酷导航,涵盖了跨越壕沟、攀爬楼梯、翻越障碍、穿越草地等多样化高难度技能。核心创新点:一是设计了多模态时序编码器与当前空间编码器,融合历史视觉-本体信息与地形特征,实现对环境的深度理解;二是引入了生成式扩散策略,通过迭代去噪生成时序一致、具有前瞻性的速度指令序列,有效解决了传统方法中感知与控制脱节的问题;三是构建了首个四足跑酷导航数据集QPND,通过轨迹级与感知级数据增强,大幅提升了仿真到真实环境的泛化能力。


研究团队在Unitree Go1四足机器人上进行了大量仿真与真实世界实验。实验结果表明,MulDP不仅能在固定目标导航任务中达到89.7%的成功率,更能在长达1公里的户外动态目标跟踪任务中实现完全自主、无人工干预的连续跑酷导航,展现出卓越的长时序决策能力与环境适应性。该研究为四足机器人在灾害救援、复杂地形侦察等非结构化场景中的自主应用奠定了坚实的技术基础,充分展示了其在极端环境下的极限运动潜能与自主导航能力。


论文第一作者为2024级硕士生胡康麦,我院张立华教授与翟鹏青年研究员为论文的通讯作者。



27.超越照明研究所上海碳化硅功率器件工程技术研究中心ECTC 2026:In-situ anomaly detection for power MOSFET’s degradation based on unsupervised LSTM-Autoencoder

 题为《In-situ anomaly detection for power MOSFET’s degradation based on unsupervised LSTM-Autoencoder》的论文被2026年ECTC国际会议录用为口头报告论文,同时获得2026 ECTC Student Travel Grant资助(中国大陆地区仅3人获资助)。第一作者为硕士研究生谢少键,通讯作者为樊嘉杰青年研究员,我院为第一单位。

本文提出 LSTM自编码器无监督检测算法,无需标注即可学习器件健康时序规律;设计并开展了多工况功率循环老化试验,采集器件时序参数,以LOOCV验证模型性能。整体检测流程分为数据采集、时序预处理、数据重构、异常判定四部分。试验采集器件全生命周期时序数据,经滑动窗口处理后送入网络;模型通过编解码结构学习正常器件特征,依靠重构误差判别器件退化异常。

混淆矩阵结果表明:该方法能够精准区分器件正常与退化两类运行状态,各类样本识别结果匹配度高,在器件严重退化阶段具有较高的异常识别能力。采用重构误差分布特征设定检测阈值后,中等长度时序样本下模型检测效果较优。ROC对比显示:LSTM-AE退化异常识别能力更强、结果更稳定,综合检测性能优于对比方法。由此可见,本研究提出的LSTM-AE方法无需标注数据或复杂硬件改造即可实现功率MOSFET的健康监测,能够有效捕获弱退化特征并在故障前发出预警,为功率电子器件可靠性提供了一种高效、实用的在线检测方案。本研究得到国家自然科学基金、国家留学基金委等项目资助。

原文链接:DOI: 10.1109/ECTC51846.2026.00173


28.超越照明研究所上海碳化硅功率器件工程技术研究中心ECTC 2026:Interface Enhancement Method for Silver-Sintered Flexible Strain Sensors Toward Improved Reliability and Sensitivity

 题为《Interface Enhancement Method for Silver-Sintered Flexible Strain Sensors Toward Improved Reliability and Sensitivity》的论文被2026年ECTC国际会议录用,第一作者为硕士研究生葛佳瑜,通讯作者为副教授刘盼,我院为第一通讯单位。



 

(a)PI薄膜的表面处理;(b)传感器制备;(c)烧结后PI薄膜实物图

面向柔性电子系统对高可靠、高灵敏度应变传感器的迫切需求,刘盼团队提出并研制了一种基于银烧结技术的柔性应变传感器界面增强方法。研究团队创新性地提出了一种协同设计策略,从烧结层本体及其界面两个层面同时入手。一方面,通过无压烧结工艺实现了对银层孔隙率的有效调控(20%-40%);另一方面,开发了一种基于两步化学刻蚀(KOH+HCl)的纳米级表面调制方法,显著增强了银层与聚酰亚胺(PI)基底之间的界面结合强度。

该技术巧妙利用碱性刻蚀对PI表面进行水解与质子化处理,通过调控刻蚀时间(20 min、40 min、60 min)实现对表面粗糙度的精确控制。原子力显微镜(AFM)测试结果显示,刻蚀时间由0 min增加至60 min时,表面均方根粗糙度(Rq)从1.41 nm逐步提升至185 nm。研究表明,适度的表面粗化(40 min刻蚀,Rq≈76.2 nm)能够显著改善银浆的润湿性与颗粒重排,使烧结银层的孔隙率降至25.78%,同时剪切强度达到最大值996.8 kPa,相比未处理样品提升了147%。更重要的是,该界面增强策略有效抑制了热循环应力下的性能退化。在−45°C至85°C的250次热循环测试中,40 min刻蚀样品的电导率平均退化率仅为2.97%,显著低于未处理样品的13.86%,展现出优异的长期可靠性。该研究为高性能、高可靠柔性应变传感器的界面工程提供了系统的理论模型与实验依据,有望广泛应用于软体机器人、可穿戴健康监测等下一代柔性电子系统。

原文链接:https://xplorestaging.ieee.org/document/11561500/



29.超越照明研究所上海碳化硅功率器件工程技术研究中心ECTC 2026:Location-Dependent Microstructure and Mechanical Properties Evolution of TGV-Cu via an EBSD–Nanoindentation Co-Localization Characterization

 题为《Location-Dependent Microstructure and Mechanical Properties Evolution of TGV-Cu via an EBSD–Nanoindentation Co-Localization Characterization》的论文被2026年ECTC国际会议录用,论文第一作者为24级博士生陈俊伟,通讯作者为樊嘉杰青年研究员,我院为第一单位。

本文以全铜填充TGV-Cu结构为研究对象,通过−40 ℃至125 ℃热冲击循环,结合EBSD与纳米压痕共定位表征,系统揭示了TGV-Cu在循环热载荷下的微观组织和局部力学性能演化规律。研究发现,TGV-Cu的微观力学性能呈现非单调变化,并具有明显位置依赖性;晶粒长大、位错积累共同决定局部软化和强化行为。进一步结合混合Potts-相场模拟,本文揭示了孔内应力松弛与孔口等效塑性应变累积机制,解释了裂纹生成的原因。该研究为玻璃基板TGV互连的失效预测、寿命评估和结构优化提供了微观尺度依据。相关结果为高可靠玻璃中介层封装结构的设计、优化与寿命评估提供了坚实的实验依据与理论支撑。玻璃基板作为 2.5D/3D先进封装的核心载体,对满足以 AI为代表的先进算力需求至关重要,也可为下一代高性能、高可靠的算力芯片封装提供重要参考。本研究得到国家自然科学基金、国家留学基金委等项目资助。

原文链接:DOI: 10.1109/ECTC51846.2026.00395



30.超越照明研究所上海碳化硅功率器件工程技术研究中心ECTC 2026:Wafer-Level Integrated 1200 V SiC MOSFET Package with Room-Temperature Wafer Bonding and Embedded Microfluidic Cooling

 题为《Wafer-Level Integrated 1200 V SiC MOSFET Package with Room-Temperature Wafer Bonding and Embedded Microfluidic Cooling》的论文被ECTC 2026大会收录为口头报告(来自中国大陆地区共3篇),第一作者为博士研究生聂嘉晶,通讯作者为副教授刘盼、研究员雷光寅及青禾晶元半导体科技有限责任公司董事长母凤文博士,我院为第一单位。

针对电动汽车和数据中心等领域对大功率半导体器件的需求,急需开发高效可靠的散热技术。本研究基于提出了一种1200V碳化硅MOSFET晶圆级功率封装方案。该方案通过芯片与封装协同设计,首先通过基于COMSOL的多物理场仿真验证 建立了热流固耦合模型,内部的微流道设计能够直接对核心发热区域进行冷却。仿真结果详细对比了单片集成设计与离散结构的差异,验证了新结构在降低总热阻方面的优势。

(a)采用DBC基板并配备外部冷却系统的SiC模块

(b) 晶圆级封装方案


研究进一步结合了常温晶圆键合技术。采用常温键合工艺减少了制造过程中产生的翘曲。优化芯片结构平衡了热扩散与机械应力,在保证结构稳定性的同时提高了传热效率。

通过优化芯片的几何形状,器件在热扩散与机械应力之间达到了平衡。该结构在保持机械稳定性的同时,使总热阻降低了35.14%。结果显示,与传统碳化硅模块相比,该晶圆级微流道封装的总热阻降低了35.14%。这种设计改善了芯片温度的均匀性,提升了整体散热能力,适合未来的高功率密度应用场景。这种协同设计方法为未来的高功率密度器件提供了新的参考。

原文链接:https://xplorestaging.ieee.org/document/11561386/


31.认知与智能技术实验室RA-L 2026:QLIMB:面向四足移动操作与复杂地形平衡的端到端全身控制框架

近日,我院认知与智能技术实验室(简称CITLab)撰写的题为《QLIMB: End-to-End Whole-Body Control for Quadruped Loco-Manipulation and Balance on Complex Terrains》的学术论文被IEEE Robotics and Automation Letters(RA-L)录用。

对于小型四足移动操作系统而言,机械臂运动引起的质心偏移与反作用力会显著扰动机身姿态,复杂地形又进一步放大了运动稳定性与操作精度之间的矛盾。针对上述挑战,本研究提出了端到端全身控制框架QLIMB。该框架面向“移动—操作—移动”的连续任务,将敏捷移动与稳定六自由度末端控制统一到单一策略之中。核心创新点:一是设计基于掩码的双估计器与潜在信念混合机制,解耦移动与操作阶段的状态估计误差,使策略能够在不同任务模式间平滑切换;二是通过结构化交替指令采样和优势混合训练,平衡复杂地形移动与机械臂操作的学习目标,促进腿—臂协同控制;三是引入面向静止操作稳定性的足端接触约束,使机器人在机械臂大范围运动时能够自发调整支撑姿态并保持整体平衡。



研究团队基于Unitree Go2四足机器人搭载ARX X5机械臂构建实验平台,在IsaacLab中完成训练,并在真实环境中进行了大量复杂地形验证。实验结果表明,QLIMB能够在搭载机械臂负载的情况下稳定跨越25厘米连续台阶和43厘米路沿,并在30厘米台阶、坡面、碎砖、岩石和沟壑等场景中完成抓取、放置、侧向目标操作以及按压130厘米高度电梯按钮等任务。与RoboDuet、DWC及“移动控制+逆运动学”基线相比,QLIMB在地形适应性、任务完成率和移动操作连续性方面表现更优。该研究突破了小型四足移动操作机器人在复杂地形上“能走”与“能稳准操作”难以兼顾的限制,为灾害救援、野外巡检和复杂环境自主作业提供了新的技术路径。

论文第一作者为2024级直博生钱荃橙,我院张立华教授与翟鹏青年研究员为论文的通讯作者。



32.智能机器人研究院齐立哲团队论文获评《机器人》期刊2026年优秀论文奖

 近日,我院智能工艺机器人实验室齐立哲、孙云权团队在2023年刊发的论文《基于拓扑地图的移动机器人室内环境高效自主探索算法》荣获中文期刊《机器人》2026年度优秀论文奖。颁奖典礼在“第七届中国机器人学术年会(上海)”期间举行,期刊主编于海斌院士、副主编丁汉院士与刘宏院士共同为优秀论文奖作者代表颁发荣誉证书。

获奖论文针对室内机器人自主建图重复绕行、效率低下的关键难题,提出 TMRRT自主探索算法,将变生长率的局部与全局快速扩展随机树(RRT)作为探测器来发现地图的边界,并对前沿点进行聚类;并通过将最佳探测点存储下来作为拓扑地图,避免了机器人反复到达已探索区域,进而大幅缩减机器人探索时长与行驶路径。仿真与实物实验证明,相对于RRT算法,该算法平均探索时长减小了7.5%以上,平均路径长度减小了19.8%以上,可快速完成复杂室内完整地图构建,适配仓储、室内巡检、服务机器人等落地场景,为未知环境下机器人全自主建图提供高效全新方案。

论文作者:齐立哲,何东东,陈骞,孙云权.

原文链接:https://robot.sia.cn/cn/article/doi/10.13973/j.cnki.robot.220052





  

  

  








分享文章