搜索
近日，智能机器人与先进制造创新学院集群机器人系统实验室（Multi-Agent Robotic Systems Lab，简称：Magic Lab）在电子信息领域权威期刊IEEE Transactions on Industrial Electronics上发表研究成果，论文标题为《Improving Robotic Grasp Detection Under Sparse Annotations via Grasp Transformer with Pixel-wise Contrastive Learning》。博士生刘司澳为论文的第一作者，甘中学教授与李伟青年研究员为共同通讯作者。
论文简介：
抓取检测是工业和室内制造中的基础机器人任务，它使机器人能够从给定图像中定位目标物体并预测最优抓取姿态以完成下游任务。得益于深度学习的进步，数据驱动方法利用大量带有人工抓取标注的抓取数据来训练抓取检测器，并取得了巨大成功。然而，对于一些杂乱场景，由于物理约束或专家偏好，标注足够的高质量标注并非易事。受限于人工标注的高成本，可用的抓取标注往往很少。这导致训练数据中抓取标注的稀疏性，为训练抓取检测模型带来挑战。在这种复杂情况下，只允许少数抓取标注作为监督标签，并努力利用这些有限的标注来学习可用的抓取检测器，这就是所谓的稀疏抓取检测设置。如图1，大多数数据驱动方法在这种设置下都会遭受灾难性的性能退化，即使只是移除少数抓取标注。因此，有必要开发一个高效且实用的稀疏抓取检测框架，利用有限的稀疏标注来学习通用抓取先验，并在复杂、杂乱场景中取得有竞争力的性能。
图1. 稀疏标注条件下不同方案的抓取性能及热力图
在这项工作中，我们从案例研究开始，阐明了以往抓取检测器在杂乱场景中性能退化的主要原因。(i) 多粒度感知损害。与能够同时感知多个粒度物体的人类不同，现有抓取检测器通常优先考虑具有较大物体的显著区域，而杂乱场景中的微小实体经常被忽视。(ii) 以纹理为中心的特征过度强调。对于大多数抓取检测器，特征提取器通常过度强调表面和低级别的以纹理为中心的特征以实现贪婪收敛，而不是更复杂和可泛化的几何特征，如物体形状和边缘。
图2. 本研究所提出的GT-PCL算法框架
为了解决这些问题，本研究提出了一个名为GT-PCL的稀疏抓取检测框架，该框架整合了分流注意力机制来捕获多粒度信息，并通过对比学习约束像素级语义一致性。GT-PCL的简化流程如图2所示。具体来说，我们设计了一个高效的变换器，配备多尺度注意力块来提取粗粒度和细粒度特征，并通过交叉令牌前馈层自适应地合并它们。进一步开发了像素级对比学习范式，通过对齐不同视图之间的像素一致性来提取以几何为中心的表示，从而减轻对以纹理为中心的特征的过度强调。实验结果表明，与传统对比学习范式相比，PCL更专注于在轻微变换下探索几何不变表示，这更适合机器人抓取任务。在Cornell、Jacquard和REGRAD等基准上进行了广泛的实验，采用各种设置来验证我们方法的有效性。所提出方法在所有数据集上都达到了最先进的结果，确认了其卓越的性能和鲁棒性。当使用UR5机械臂时，GT-PCL即使在复杂场景中也表现出令人印象深刻的成功率，部分真实抓取案例见图3。
图3. 真机场景测试评估实例
延伸阅读：
《IEEE Transactions on Industrial Electronics》为中科院一区top期刊，该刊收录工业电子及相关领域的高质量原创论文，涵盖电机驱动与控制、可再生能源系统、工业物联网、机器人技术、以及基于人工智能的工业应用等前沿技术，以及将这些领域交叉融合的综合系统。该期刊既接受具有重要理论贡献的基础研究论文，也接受能够推动工业电子技术实际应用的工程技术论文。
Magic Lab，是智能机器人与先进制造创新学院智能机器人研究院和智能机器人教育部工程研究中心的主要研究团队之一，智能机器人与先进制造创新学院副院长、智能机器人研究院院长甘中学教授为实验室首席PI。Magic Lab主要依托上海市人工智能市级重大专项，面向国家《新一代人工智能发展规划》中的群体智能理论、自主协同控制与优化决策理论、群体智能关键技术等重要科学方向，融合非线性动力学、模式识别、计算神经科学、强化学习、集群智能等多领域的理论与方法，重点探究人机物协同与智能融合的科学原理，突破异构群体行为协作与动态演变的关键技术，构建智慧交通与智能制造等场景下的异构集群交互系统。
