基于图像实例分割的机器人箱体拆垛方法

doi:10.3778/j.issn.1002-8331.2301-0163

摘要/摘要

摘要：为了解决工业箱体包裹拆垛任务中传统特征提取方法依赖于箱体形状，难适用于规格多变、混箱垛型的问题，提出一种基于图像实例分割的机器人拆垛方法。为获得准确箱体拣选中心，首先利用屏蔽R-CNN进行实例分割获得箱体掩膜和分类信息，并在特征提取后添加空间变换网络（空间转换网络，STN）模块，优化对旋转目标的识别；然后求解掩膜最小外接矩形并后处理获得待拣选箱体像素中心和水平旋转角度，并结合一种拆垛策略进行先行后列排序以确定拣选顺序；最后利用标定方法完成箱体定位，并对规格多变、混箱垛型进行分割和机器人拆垛实验，结果表明，待拆箱体像素中心平均像素距离约4个像素点，空间定位平均误差约1?厘米，定位精度满足工业拆垛实际需求。

关键词: 实例分割, 面具R-CNN，分类, 标定, 工业拆垛

摘要：为了解决传统特征提取方法在工业箱包拆包任务中依赖于箱形且难以应用于可变规格和混合箱形的问题，提出了一种基于图像实例分割的机器人拆包方法。为了获得准确的盒子拾取中心，使用Mask R-CNN进行实例分割以获取盒子掩码和分类信息，并在特征提取后添加STN（空间变换网络）模块以优化旋转物体的识别。然后，对掩模的最小外接矩形进行求解和后处理，以获得待拾取框的像素中心和水平旋转角度，并结合拆垛策略对第一行和第二列进行排序，以确定拾取顺序。最后，利用该标定方法完成箱体定位，并对不同规格和混合箱体堆垛类型进行了分割和机器人开箱实验。结果表明，未装箱物体像素中心之间的平均像素距离约为4个像素，空间定位的平均误差约为1？cm.定位精度满足工业去极化的实际需要。

关键词： 实例分割，面具R-CNN，分类，校准，工业去极化

邹汶材, 刘宝临. 基于图像实例分割的机器人箱体拆垛方法[J] ●●●●。计算机工程与应用, 2024, 60(10): 209-216.

邹文才、刘宝林。基于图像实例分割的机器人箱体去垛方法[J]。计算机工程与应用，2024，60（10）：209-216。

参考文献

[1] ECHELMEYER W，KIRCHHEIM A，WELLBROCK E.机器人物流：物流过程自动化的挑战[C]//2008年IEEE自动化与物流国际会议论文集，2008年。
[2] CACCAVALE R，ARPENTI P，PADUANO G，等.超市物流柔性机器人卸垛系统[J]。IEEE机器人与自动化快报，2020，5（3）：4471-4476。
[3] 阿彭蒂·P，卡卡瓦莱·R，帕杜阿诺·G，等.超市机器人去货架案例的RGB-D识别与定位[J]。IEEE Robotics and Automation Letters Letters，2020，5（4）：6233-6238。
[4] KRUG R，STOYANOV T，TINCANI V，et al.机器人调试的下一步：自动拣选和码垛[J]。IEEE Robotics and Automation Letters，2016，1（1）：546-553。
[5] 倪鹤鹏, 刘亚男, 张承瑞, 等.基于机器视觉的三角洲机器人分拣系统算法[J] .中国人民出版社，2016，38（1）：49-55。
倪海平，刘永恩，张春瑞，等.基于机器视觉的三角洲机器人分拣系统算法[J]。机器人，2016，38（1）：49-55。
[6] MAITIN-SHEPARD J，CUSUMANO-TOWNER M，LEI J，et al.基于多视图几何线索的织物抓取点检测及其在机器人毛巾折叠中的应用[C]//2010 IEEE机器人与自动化国际会议论文集。皮斯卡塔韦：IEEE，2010:2308-2315。
[7] RAMISA A，ALENYA G，MORENO-NOGUER F，et al.利用深度和外观特征对高度起皱的衣服进行智能机器人抓取[C]//2012 IEEE机器人与自动化国际会议论文集。皮斯卡塔韦：IEEE，2012:1703-1708。
[8] 姜毅，MOSESON S，SAXENA A.从RGBD图像中高效抓取：使用新的矩形表示进行学习[C]//2011 IEEE机器人与自动化国际会议论文集。皮斯卡塔韦：IEEE，2011:3304-3311。
[9] KATSOULAS D，KOSMOPOULOS D I.基于2D距离图像的高效去堆垛系统[C]//2001年IEEE机器人与自动化国际会议论文集，2001年。
[10] HOLZ D，TOPALIDOU-KYNIAZOPOULOU A，STüCKLER J，et al.用于快速机器人卸载的实时目标检测、定位和验证[C]//2015 IEEE/RSJ智能机器人和系统国际会议论文集，2015。
[11] NAKAMOTO H，ETO H，SONOURA T，et al.能够处理复杂堆叠的包裹的高速紧凑型去垛机器人[C]//2016年IEEE/RSJ智能机器人和系统国际会议论文集，2016年。
[12] JOCAS M，KURREK P，ZOGHLAMI F，et al.基于人工智能的学习方法，并考虑去极化机器人示例的安全标准[C]//设计学会学报：国际工程设计会议，2019:2041-2050。
[13] FAN X，LIU X，WANG X，等.基于双目立体视觉的自动机器人拆垛系统[C]//2014年国际安全会议论文集，2014。
[14] 韩鑫, 余永维, 杜柳青.基于改进单次多框检测算法的机器人抓取系统[J] 《中国科学院学报》，2020，40（8）：2434-2440。
韩旭，于永伟，杜立清。基于改进单点多盒检测算法的机器人抓取系统[J]。计算机应用杂志，2020，40（8）：2434-2440。
[15] 杜学丹, 蔡莹皓, 鲁涛, 等. 一种基于深度学习的机械臂抓取方法[J] .中国人民出版社，2017，39（6）：820-828。
杜晓东，蔡永华，卢涛，等.一种基于深度学习的机器人抓取方法[J]。机器人，2017，39（6）：820-828。
[16] 韩兴, 刘晓平, 王刚, 等.基于深度神经网络复杂场景下的机器人拣选方法[J] ●●●●。北京邮电大学学报, 2019, 42(5): 22-28.
韩霞，刘晓平，王刚，等.基于深度神经网络的复杂场景机器人排序方法[J]。北京邮电大学学报，2019，42（5）：22-28。
[17] 郑凯, 方春, 袁思邈, 等. 屏蔽R-CNN模型在茄花花期识别中的应用研究[J] ●●●●。计算机工程与应用, 2022, 58(18): 318-326.
郑坤，方C，袁世美，等.Mask R-CNN模型在茄子花期鉴定中的应用[J]。计算机工程与应用，2022，58（18）：318-326。
[18] 王德明, 颜熠, 周光亮, 等.基于实例分割网络与迭代优化方法的三维系统[J].2019，41（5）：637-648。
王德明，颜毅，周国良，等.基于实例分割网络和迭代优化方法的三维视觉拾取系统[J]。机器人，2019，41（5）：637-648。
[19] GU W，BAI S，KONG L.基于深度神经网络的二维实例分割综述[J]。图像和视觉计算，2022:104401。
[20] HARIHARAN B，ARBELáEZ P，GIRSHICK R，et al.同步检测与分割[C]//第十三届欧洲计算机视觉会议论文集，2014:297-312。
[21]FONTANA E，ZAROTTI W，RIZZINI D L.工业应用包裹盒检测算法的比较评估[C]//2021年欧洲移动机器人会议论文集，2021年。
[22]HE K M，GKIOXARI G，DOLLAR P，et al.Mask R-CNN[C]//2017 IEEE计算机视觉国际会议论文集。皮斯卡塔韦：IEEE，2017:2980-2988。
[23]JADERBERG M，SIMONYAN K，ZISSERMAN A.空间变压器网络[C]//第29届神经信息处理系统年会论文集，2015:2017-2025。
[24]张Z.一种灵活的摄像机标定新技术[J]。IEEE模式分析和机器智能汇刊，2000，22（11）：1330-1334。
[25] 杨尚昆, 王岩松, 郭辉, 等.基于一阶径向畸变算法的双目摄像机多位姿标定方法[J] .中国科学院，2018，38（9）：2655-2659。
杨世凯，王义思，郭H，等.基于径向对准约束算法的双目相机多剂量标定方法[J]。计算机应用杂志，2018，38（9）：2655-2659。
[26] 杨广林, 孔令富, 王洁.一种新的机器人手眼关系标定方法[J] .中国人民出版社，2006，28（4）：400-405。
YANG G L，KONG L F，WANG J.机械手手眼关系标定新方法[J]。机器人，2006，28（4）：400-405。
[27]GIRSHICK R.Fast R-CNN[C]//2015 IEEE计算机视觉国际会议论文集，2015:1440-1448。