江 舟
(安徽汽车职业技术学院 机电工程系,安徽 合肥 230601)
科技的快速发展使得机器人技术逐渐成熟,工业机器人的广泛应用在一定程度上改变了劳动密集型产业的格局。机器人作业的过程中只有实现对目标物体的精准抓取,才能够实现对目标物体的移动和运输目标,充分地发挥机器人在工业生产中的应用[1]。伴随着机器人抓取技术研究的不断深入,机器人在装配、包装、分拣、采摘等领域中得到了广泛的应用。舒奇等[2]采用视觉图像处理软件对目标物体进行特征提取,通过对比参照物来获取控制夹爪开合的比例,实现机器人对目标物体的自适应抓取。崔旭东等[3]采用双目立体视觉技术对散乱堆放状态下的工件进行测量获得三维点云数据,同时和已建立工件CAD模型离散获得的三个工件进行点云匹配,获得工件位姿,从而实现机器人对散乱堆放工件的分拣。饶期捷等[4]融合机器视觉技术提出了基于改进Canny边缘检测与Hough变换的机器人抓取检测算法,并通过Baxter机器人验证了所提出算法对目标物体抓取的准确性与鲁棒性。李秀智等[5]对机器人抓取目标物体放置方式不固定、形状不规则、准确计算机器人抓取姿态难度大的问题,基于深度学习理论提出了一种双网络架构的机器人最优抓取姿态检测算法,该算法对目标物体检测的精度高达91%,能够满足机器人抓取任务要求。深度学习是机器学习领域的新方向,使得其更加接近人工智能目标。前人的研究主要是应用于工业生产中,水果的特殊形状使得前人提出的抓取方法在水果抓取上往往不能达到预期的效果。基于此,本文构建基于深度学习的工业机器人精准抓取算法,并应用于机器人水果抓取试验中,验证算法的有效性。
工业机器人精准抓取是工业机器人实施物体搬运等作业的关键所在,由4大模块组成,分别为相机模块、图像处理模块、机器人载体模块、数据处理模块。相机模块的作用是采集机器人机械臂周边的环境以及所抓取目标物体的信息,通常是安装在工业机器人的机械臂上。图像处理模块的作用是对相机所采集的图像信息进行处理,包括图像降噪、图像轮廓提取等。机器人载体模块的作用是控制机器人移动,完成对目标物体的抓取。数据处理模块的作用是进行图像数据的进一步分析,实现对待抓取目标的识别与定位。工业机器人精准抓取系统工作流程如图1所示。
图1 工业机器人精准抓取系统工作流程Fig.1 Workflow for the precise robotic grasping system
在工业机器人作业时,相机对目标抓取物以及周边的环境进行图像采集,通过图像处理模块进行简单预处理后发送给后台的数据处理模块。后台数据处理模块利用图像处理算法、深度学习算法等进行特征提取、相机标定,通过模块匹配来识别出待抓取物体的位姿信息。在获得待抓取物体的位姿信息之后,数据模块通过TCP/IP协议和工业机器人之间进行通讯,同时将位姿信息发送给机器人,引导工业机器人实施精准抓取操作。
(1)
CNN的卷积操作是选择卷积核,利用所选择的卷积核对整个图像进行卷积操作,获取图像的特征。在进行卷积操作获取图像特征以后,对图像特征进行分类。由于卷积操作后数据出现冗余,采用池化操作来压缩数据量。设输入层为卷积层,第l层为池化层,那么卷积层计算公式为:
(2)
图2 工业机器人目标检测流程Fig.2 Target detection process of the industrial robot
式中:down(·)为下采样。
CNN的隐含层中神经元包含卷积核权重系数与偏置项,为提高CNN的计算效率,对上层特征进行卷积运算,由激活函数来提取特征图。CNN在进行图像处理的过程中不断地学习,通过学习到的知识来进行图像特征的区分。伴随着CNN层数的增加,其所能够检测特征的复杂度也在增加,CNN的深度学习能力能够有效地对图像的特征节点进行高精度、高效率分类。基于CNN的工业机器人目标检测流程如图2所示。
图4 部分相机标定图像Fig.4 Partial camera calibration image
3.1 相机坐标变换
图3 目标定位各个坐标系关系Fig.3 Relationship between target locating and each coordinate system
工业机器人对目标物体的精准抓取必须获取目标物体的位姿信息,即机器人在识别到抓取目标物体之后还要对目标进行定位。在目标物体定位的过程中,要确定抓取目标物体的三维信息,必须建立工业相机成像的模型,实现相机的坐标变换。图3为目标定位各个坐标系关系[7]。
在图3中,OWXWYWZW为世界三维直角坐标系,是用户定义在真实三维世界的坐标系,其目的是描述物体在真实世界的位置;OCXCYCZC为相机三维直角坐标系,是用户定义在相机上的坐标系,其目的是从相机的角度来对物体的位置进行描述;oxy为图像平面直角坐标系,其目的是描述物体从相机坐标系到图像坐标系之间的投影透射关系;ouv为像素平面直角坐标系。OC为相机光心点,o为图像坐标中心点,P为待抓取目标物体真实坐标点,p为P在图像平面直角坐标系中的投影点,f为工业相机的焦距。世界三维直角坐标系与相机三维直角坐标系之间可以通过旋转变换与平移变换得到,设世界坐标系和相机坐标系之间的平移矩阵为T,那么
T=(XOC-OW,YOC-OW,ZOC-OW)
(3)
世界三维直角坐标系中的点P(XW,YW,ZW)与相机三维直角坐标系中的点p(XC,YC,ZC)之间关系为:
(4)
根据投影原理,相机与图像之间坐标变换关系为:
(5)
相机坐标系中的点p(XC,YC,ZC)和图像坐标系中的点p0(x,y)之间的变换关系为:
(6)
像素坐标系中的点p′(u,v)和图像坐标系中的点p0(x,y)之间的变换关系为：
(7)
式中：dx和dy为像素当量；
(u0,v0)为图像坐标系的原点。
3.2 相机标定
相机标定就是从世界坐标系到相机坐标系,再由相机坐标系到图像坐标系的转换过程,通过相机标定来获取相机的内参矩阵与外参矩阵[8]。在相机标定的过程中选择长×宽为20 mm×14 mm的标定板,将相机垂直固定,通过改变标定板的位置与角度来获取相机标定图像,共获取标定图像60张,随机选择6张相机标定图像进行展示,结果如图4所示。
在获得相机标定图像后,借助MATLAB软件中的相机标定工具箱对工业相机进行标定,获得相机的内参矩阵和外参矩阵,进而获得待抓取目标物体的实际位姿坐标信息。
4.1 苹果检测
机器人在农业中的应用能够有效提高农业生产效率,特别是当前水果的大面积种植导致传统的人工采摘无法适应现代农业发展的需求[9]。工业机器人应用于水果采摘的关键是要精准抓取水果,这样才能进一步采摘。为了验证本文采用方法对目标抓取物检测的效果,和yolov3目标检测算法[10]进行对比,苹果检测效果如图5所示。
图5 苹果检测效果对比Fig.5 Comparison of apple detection results
由图5可知,本文方法在苹果树叶遮挡、苹果之间相互遮挡情况下对苹果的检测效果明显优于yolov3方法。
4.2 苹果抓取精确度
工业机器人精准抓取的关键在于获取待抓取苹果的实际位姿信息,由于苹果近似为球形,因此机器人只需要获取苹果中心点的坐标信息即可。在实际的苹果抓取试验中,以待抓取苹果的坐标误差来衡量工业机器人抓取的精度。表1为机器人抓取目标苹果的坐标数据及误差。
表1 机器人抓取目标苹果坐标数据及误差Tab.1 Coordinate data and error in robotic grasping of the target apple
由表1可知，x、y、z三个方向上坐标误差最大为0.5 cm，同时在z方向上的误差普遍小于x方向和y方向的误差。机器人抓取目标苹果坐标数据误差比较小，即基于深度学习的机器人抓取方法能够更好地对苹果进行识别和定位，具有优良的水果抓取能力。
工业机器人精准抓取是机器人实现对目标物体移动和运输目标的基础，设计了包含相机模块、图像处理模块、机器人载体模块、数据处理模块的工业机器人精准抓取系统。采用深度学习的典型算法卷积神经网络来进行目标物体的检测，通过相机坐标变换与相机标定来实现目标物体定位。将提出的机器人精准抓取算法应用于苹果抓取试验中，结果表明该算法能够在树叶遮挡、苹果之间相互遮挡的情况下对苹果进行检测，同时对苹果真实位置的定位准确度高，能够提升工业机器人的精准抓取率，这对工业机器人的开发具有一定的参考价值。
猜你喜欢标定坐标系物体使用朗仁H6 Pro标定北汽绅宝转向角传感器汽车维修与保养(2020年11期)2020-06-09深刻理解物体的平衡中学生数理化·高一版(2020年1期)2020-02-20我们是怎样看到物体的中学生数理化·八年级物理人教版(2018年10期)2018-12-06解密坐标系中的平移变换中学生数理化·七年级数学人教版(2018年4期)2018-06-28坐标系背后的故事数学大世界(2018年1期)2018-04-12基于匀速率26位置法的iIMU-FSAS光纤陀螺仪标定中国惯性技术学报(2017年1期)2017-06-09基于重心坐标系的平面几何证明的探讨中等数学(2017年2期)2017-06-01船载高精度星敏感器安装角的标定光学精密工程(2016年3期)2016-11-07为什么同一物体在世界各地重量不一样？科普童话·百科探秘(2015年4期)2015-05-14基于Harris-张正友平面标定法的摄像机标定算法西安建筑科技大学学报（自然科学版）(2014年6期)2014-11-10