赖汉荣，张亚伟，张 宾，尹彦鑫，刘宇航，董雨航
玉米除草机器人视觉导航系统设计与试验
赖汉荣1，张亚伟1※，张 宾1，尹彦鑫2,3，刘宇航1，董雨航1
（1.中国农业大学工学院，北京 100086；
2. 北京市农林科学院智能装备技术研究中心，北京 100097；
3. 智能农业动力装备全国重点实验室，北京 100097）
玉米苗带准确检测与精准跟踪是玉米除草机器人实现自主作业的重要基础。针对玉米除草机器人苗带检测，该研究提出了基于感兴趣区域更新的玉米苗带实时识别及导航线提取方法，首先利用单目相机采集机器人前向玉米苗带，将苗带图像进行归一化和超绿处理，采用改进自适应响应阈值SUSAN（small univalue segment assimilating nucleus）角点法以及冗余离群特征点剔除法获得玉米苗特征点，以改进的顺序聚类算法对视频帧进行玉米苗带聚类处理，再利用最小二乘法拟合出各玉米苗带，最后基于机器人航向偏差和其相对玉米苗带的横向偏差实时调整感兴趣区域和更新导航线；
同时，针对除草机器人苗带行线跟踪，提出以运动学为模型的PID（proportion integration differentiation）转向角决策方法，建立了导航跟踪控制模型；
并在Visual Studio平台下，利用OpenCV库开发了导航控制系统。试验结果表明，玉米除草机器人导航线提取准确率为96.8%，每帧图像平均处理时间为87.39 ms，具有较好的实时性和抗干扰性；
在模拟环境下，玉米苗带直线和曲线跟踪平均误差≤1.42 cm，标准误差≤0.41 cm；
在农田环境下，不同速度导航跟踪平均误差≤1.51 cm，标准误差≤0.44 cm。研究结果可为玉米除草机器人田间自主作业提供关键技术支撑。
机器人；
机器视觉；
玉米除草；
苗带识别；
导航跟踪
玉米除草机器人能够降低劳动成本，提高生产效率，且不会带来化学污染，在农业绿色生产中可发挥重要作用。除草机器人玉米苗带准确识别和精准跟踪控制是玉米除草机器人实现自主作业的关键支撑技术[1-3]，是当前的研究热点。
机器视觉因具有成本低、适用性广、使用方便等特点而成为除草机器人识别玉米苗带和杂草的主要技术方案[4]。如澳大利亚昆士兰科技大学研制的AgBot II智能除草机器人[5]、法国研制的Dino机器人[6]、瑞士ecoRobotix公司研制的AVO除草机器人[7]和丹麦奥尔胡斯大学农业研究所研制的HortiBot除草机器人[8]均通过机器视觉准确识别出作物和杂草，进而实现导航控制和除草作业。为提高机器视觉检测精度及效率，近年来国内外学者开展了大量研究，提出了很多有效方法。ZHAI等[9]采用基于双目视觉的空间分布检测提取作物行特征的方法识别作物行，检测精度为92.78%，但立体匹配难度和计算量较大，图像平均处理时间为634 ms；
VIDOVIĆ等[10-11]提出了一种模板匹配和全局最优化的作物行检测方法，根据对281幅不同大田作物图像的处理结果，该算法行线识别准确率为73.7%；
张博立等[12]基于动态网格和分区域聚类的玉米苗带识别，处理一幅图像平均耗时320 ms；
刁智华等[13]采用随机霍夫变换的玉米导航线提取，处理时间为290 ms；
宋宇等[14]采用玉米垂直投影生成根茎轮廓特点并用峰值点检测算法生成候补定位点的方法，图像处理平均耗时200 ms。以上研究发现基于视觉的苗带识别受算法耗时、田间环境等因素的影响，存在苗线拟合效果波动大，田间适应性较差，运行速度较慢等问题，算法的准确性、鲁棒性、适应性和实时性仍有较大的提升空间。
除草机器人在田埂、坑洼和土地松软等农田环境下的稳定行走和灵活转向也是目前的研究热点。BALL等[15]采用机器视觉检测，利用代价图和向量追踪技术实现农业机器人的田间路径跟踪，实现路径跟踪误差为0.0891 m；
SAMWEL等[16]基于视觉的中轴变换识别导航线，采用滑移转向控制与模糊逻辑控制结合的方式对农业机器人进行控制，实现了跟踪误差为14.6 mm；
RADCLIFFE等[17]以视觉系统的多光谱信息作为引导，采用比例积分控制农业机器人自主导航，实现导航误差为2.13 cm；
张雁等[18]提出利用模糊逻辑推理自适应调整PD控制器参数的最优控制方法，实现水稻播种机导航控制稳定，跟踪平均绝对偏差小于0.04 m；
贺静等[19]以视觉和激光融合方式识别水稻行，并设计了预瞄追踪PID控制器进行插秧机导航控制，实现了导航系统快速响应和稳定控制转向，达到试验标准差为27.51 mm，以上研究发现，在导航跟踪控制方面仍存在参数整定复杂和计算量较大等问题，控制算法整定和计算量有待提升。
本文提出了一种基于感兴趣区域更新的玉米苗带实时提取算法，采用改进自适应响应阈值SUSAN（small univalue segment assimilating nucleus）角点法以及冗余离群特征点剔除法快速获得玉米苗特征点，以改进顺序聚类，完成各玉米苗带聚类与拟合，然后进行感兴趣区域和苗带导航线更新。最后提出以运动学为模型的PID（proportion integration differentiation）转向角决策方法，建立导航跟踪控制模型，并设计了玉米除草机器人导航控制系统，展开试验以验证导航系统的跟踪精度。
1.1 除草机器人平台结构
本文除草机器人视觉导航系统主要包括阿克曼线控底盘、工业相机和导航控制终端等（图1），其中阿克曼线控底盘采用前轮转向、后轮驱动，线控底盘尺寸为1 200 mm×765 mm×490 mm，搭载煜禾森机器人锂电池（48V/20AH磷酸铁锂），可保证6h的续航作业能力，并能对外供电满足其他设备的用电需求。工业相机选用林柏视公司生产的Rmoncam G200相机，焦距为2.8mm，分辨率为1920像素×1080像素；
工业相机安装在阿克曼线控底盘前端，高度为1m，俯视角为45°用于玉米苗带识别。导航控制终端作为除草机器人的上位机，用于苗带信息处理、控制策略生成和信息呈现等。控制箱包含STM32单片机、继电器和电机控制器等，具有8通道分别用于控制步进电机、除草刀具和直线拉杆传感器等。此外，除草机器人的除草执行机构由除草刀具、滚珠丝杠和电动推杆等组成，用于机械式除草，间距和入土深度可调节。
1.除草执行机构 2.控制箱 3.阿克曼线控底盘 4.导航控制终端 5.工业相机
1.2 工作原理
玉米除草机器人视觉导航系统的工作原理如下：工业相机采集图像经过USB传输至工控机，工控机经过图像处理获得玉米苗带的横向偏差和航向偏差，并通过USB-RS23转接方式与STM32通信；
STM32进行处理获得小车转角，通过CAN与转向控制器通信，控制阿克曼线控底盘，并利用角度/速度传感器获得阿克曼线控底盘的转角和速度，反馈至STM32，完成闭环控制，以此完成除草机器人的路径跟踪。同时，STM32通过串口通信对除草执行机构进行控制。
2.1 苗带样本采集
玉米苗带图像采集于北京市昌平区小汤山镇国家精准农业研究示范基地，采集场景包含少量杂草、杂草丛生、强光照（晴天）、中光照（多云）和弱光照（阴雨天）等不同干扰因素影响下的玉米苗带图像，其中玉米苗处于3～4叶期，株距30cm、行距60cm，平均株高17 cm。
2.2 图像预处理
在采集的样本中，玉米苗和杂草为绿色，土壤为灰褐色，且存在杂草、冠层交叠等情况。在大田环境下，为实现不同光照强度下作物与背景的准确分割以及玉米株与株之间的清晰区分，先对RGB彩色图像的颜色分量进行归一化处理，以减少光照强度对玉米苗提取特征的影响，计算式为
式中、、表示红、绿、蓝3个颜色分量值；
、、为归一化后的各颜色分量值。
将RGB彩色图像进行归一化处理后，对绿色分量进行增强，进而将玉米苗与土壤背景、株与株间背景区分，计算式为
式中(,)为归一化ExG处理后的第行列像素点的灰度值。
为清晰分割出作物与背景，利用苗带和杂草所占绿色面积区域大小差距较大的特点，对最大类间方差法获得的阈值进行优化[20]。对阈值T的权重重新分配，将灰度值大于T的像素点记为绿色区域，累计绿色区域得到绿色区域面积S，设整个图像像素区域面积为，则绿色区域所占的比例为=S/。优化后的绿色最优阈值T的计算式为
利用优化后的绿色最优阈值对苗带进行提取，结果如图2所示。由图2可知，超绿算法不受自然光变换影响，在“强、中、弱”不同光照强度下都能准确的将苗带从背景中提取出来。但是在弱光照、少量杂草和杂草丛生场景下，绿色最优阈值分割效果明显优于固定阈值分割，玉米苗带分割更加清晰，作物行间间隙更加明显，为此，绿色最优阈值优于固定阈值分割，能有效分割出苗带和背景。
图2 二值化图像
2.3 苗带识别及导航线确定
2.3.1 改进自适应响应阈值SUSAN角点法
图像预处理后，由于玉米苗本身叶子为尖状且重叠在一起，为避免传统SUSAN角点法提取特征点集中在苗带的尖点和重叠处，导致的特征点信息片面，提出改进自适应响应阈值SUSAN角点法，使提取到的特征点能全面准确的反映各玉米苗带的信息，以利于后续作物行聚类[21-23]。
提取算法步骤如下：
1）选用37像素的圆形模板，通过圆形模板在图像上滑动，在模板所覆盖区域内像素与中心点处像素值做差比较，计算灰度差值，当灰度差异小于某一阈值，则判定该点与模板处于核值相似区，灰度差值为
式中（0,0）表示圆形模板中心位置；
（,）表示模板非中心的位置；
(,)表示位置(,)处的像素值；
是灰度值相似度阈值。
2）圆形模板在待检测的图像上从上到下，从左到右滑动，计算检测模板的核心和模板内各点灰度值，当遍历比较完模板圆内所有像素值，对(,;0,0)处的核值相似区面积进行统计。
式中(0,0)为模板核在(0,0)处的核值相似区的面积总和，当(0,0)的值小于某个特定阈值，则初步认定为可能的角点，当其满足角点响应函数，则判定其为角点。角点响应函数为
式中为响应阈值，其决定角点提取的敏感程度。为使其能针对不同图像做出自适应取值，定义自适应响应阈值为
式中为比例系数，根据图像数据集分析，可得图像中为5个苗带时，提取到苗带特征点分布最为均匀，为此取=5。
2.3.2 冗余离群特征点剔除法
为减少聚类计算量，提高导航线提取实时性，采用冗余离群特征点剔除法，剔除玉米苗带存在的冗余点和离群点[24]。本文采用3×3的检测窗口，设检测窗口中心点与其周围的8邻域点的灰度像素值的差值为，最优阈值为，如果满足≤，则判定该点与中心点相似。在3×3的检测模板中与中心点的相似点的数目计算式为
由检测窗口中心点周围的8邻域点确定(,)的取值范围为[0,8]，当=0时说明该中心点与其周围的8领域点都不相似，则该中心点是一个离群点，应当舍去；
当=7或者8时说明在该中心点与其周围的8领域点有7个或者8个相似，则该中心点是内部点，属于冗余特征点应当舍去；
当=[1,6]时，该中心点与其周围的8领域点有个相似点，则该中心点不是离群点和内部点，需要对该中心点周围的8领域点进行选择，保留强特征点，去除同类型冗余特征点。以=3为例，该中心点周围8领域点分布的3种情况如图3所示。
注：黑色点为检测窗口的中心点；
黑色点周围的8个点为8邻域点；
灰色点为与中心点相似的点。
1）情况1：3个相似点互不相邻，表明3个点类型不同，不需要进行冗余特征点去除，则3个点全部保留；
2）情况2：3个相似点中有2个点相邻，表明相邻这2个点类型相同，需要进行冗余特征点去除，去除2个点中的任意1个点；
3）情况3：3个相似点连在一起，表明3个点类型相同，需要进行冗余特征点去除，仅保留3个点中的任意1个点。
对于={4，5，6}情况进行同样的冗余特征点去除。
由图4可看出使用冗余离群特征点剔除法后，有效去除了冗余点和离群点，并准确保留了玉米苗信息，减少了后续聚类的计算量，提高了实时性。
图4 冗余离群特征点剔除前后对比
2.3.3 改进顺序聚类
根据苗带在玉米植株区域特征点较为密集，在非玉米植株区域特征点稀疏或者没有特征点，可采用顺序聚类提取玉米苗带[25-26]。本文在顺序聚类中融入区域分层聚类，先采取区域分层预聚类，然后对各个区域进行顺序聚类，以分层聚类与顺序聚类结合的方式，提高了聚类算法的速度，改进的顺序聚类流程如图5所示。
图5 改进顺序聚类流程图
改进顺序聚类流程具体实现步骤为：
1）区域分层预聚类
初始化区域大小，将整个图像进行区域块分割，对每一个区域内的特征点进行分层聚类，获得每个区域聚类数。具体可以分为如表1所示的4种类型。
2）顺序聚类
把已经聚类好的类C，进行顺序排列，并寻找与类C距离最近的且已经归类的类C，计算两类之间的距离(C,C)，如果(C,C)小于预设的不相似性测度阈值，则将类C归入类C合并成一类，否则生成C类新类；
直至遍历所有类或满足终止条件[24]，则完成聚类。
2.3.4 起始感兴趣区域确定及更新
对聚类后的玉米苗带特征点进行最小二乘法直线拟合，获得玉米苗带的信息并进行分析和比较。以玉米苗带相对除草机器人位置的横向偏差和航向偏差绝对值最小的苗带作为当前除草机器人的导航线，并以该导航线所属类的特征点确定起始感兴趣区域的定位点[27]，其确定步骤如下：
1）根据聚类后的簇数，对每一类进玉米苗带拟合，从左到右对拟合出的玉米苗带进行编号1、2、…、，其中为图像中玉米苗带总数，根据相机的视野范围内所能呈现最佳玉米苗带数为标准取为5。摄像头经过相机标定与坐标系转换后，通过式（9）计算出图像中玉米苗带与除草机器人之间的横向偏差和航向偏差，并分析比较玉米苗带的横线偏差和航向偏差，得到绝对值最小横向偏差和航向偏差的玉米苗带，即为除草机器人要进行导航的导航线。
表1 区域分层预聚类处理方式
注：聚类方向为虚框矩形块往实框矩形块移动。
Note: the direction of clustering is the virtual rectangular block moving to the real rectangular block.
式中d（mm）为第个玉米苗带的横向偏差，β（°）为第个玉米苗带的航向偏差，B（mm）为世界坐标系下的第个玉米苗带的截距，K为世界坐标系下的第个玉米苗带的斜率。
2）获得除草机器人导航线后，计算与其相邻左右玉米苗带在图像的上下限位置点之间的像素距离2和2l，以左右两边距离大的中点作为起始感兴趣区域的定位点，如图6的到点。记导航线的上下顶点的像素坐标为（up,up）和（down,down），则有基于像素距离和l确定上下4个定位点的像素坐标分别为（X,up）、（X,up）、（X,down）和（X,down），其中4个定位点的横坐标计算式为
注：聚类后不同玉米苗带用不同颜色点表示；
、、、为感兴趣区域的4个定位点；
l、l分别为图像上、下限处玉米苗带的像素距离。
Note: After clustering, different maize seedling belts are represented by different color dots;,,,are the 4 anchor points of the region of interest;l,lare the pixel distance of the corn seedling belt at the upper and lower limit of the image.
图6 起始感兴趣区域确定及更新示意图
Fig.6 Initial region of interest determination and update diagram
以起始感兴趣区域作为实时感兴趣区域的起始区域，在进行实时导航时，只对实时感兴趣区域内的玉米苗带进行处理，极大的减少图像处理时间和各种干扰，从而实现实时感兴趣区域的导航线动态更新，具体步骤如下：
1）在实时感兴趣区域内进行图像处理和导航线拟合，并更新实时感兴趣区域内导航线上下顶点的像素坐标为（X,Y）和（X,Y）。
2）按照式（10）计算实时感兴趣区域的4个定位点坐标，并将其作为下一帧视频的实时感兴趣区域定位点，如图6b所示，白色线为上一帧的感兴趣区域，绿色线为更新后的感兴趣区域。
3）由4个定位点确定出下一帧实时感兴趣区域，重复步骤1）和2），更新实时导航线和实时感兴趣定位点，从而实现实时感兴趣区域的动态更新。
3.1 导航跟踪控制模型与控制流程
玉米除草机器人采用阿克曼线控底盘，其前轮转向轮和后轮驱动轮结构简单、易控制、行走灵活。在田埂、坑洼和土地松软等农田环境下作业，为避免车轮打滑造成的压苗和伤苗，采用PID导航跟踪控制模型，以提高控制精度和响应速度。以阿克曼线控底盘整体为研究对象，建立二轮车运动学模型[28]，如图7所示。
为满足系统的快速响应和转向的稳定控制，在二轮车运动学模型的基础上，采用PID算法决策前轮转向角。基于横向偏差和航向偏差设计期望转向角二元线性控制规律[29]如式（11）：
式中1为横向偏差系数；
2为航向偏差系数。
为计算1和2，由小车导航平面坐标系得运动学微分方程为
注：表示全局坐标系；
表示车身坐标系，轴方向沿车辆中轴方向向前，轴为车辆方向朝左，其车辆中心在质心位置；
为玉米除草机器人的作业速度，m·s-1；
为航向偏差，mm；
为期望车轮转角，rad；
为玉米除草机器人当前横向偏差，mm；
为阿克曼线控底盘轴距，mm。
Note:Ois global coordinate system;ois the body coordinate system, the direction ofaxis is forward along the central axis of the vehicle, and the direction ofaxis is to the left of the vehicle, whose vehicle center is at the center of mass;is the operation speed of the corn weeding robot, m·s-1;is course deviation, mm;is the expected wheel angle, rad;is the current lateral deviation of the corn weeding robot, mm;is the wheelbase of ackerman wire chassis, mm.
图7 二轮车运动学模型
Fig.7 Model of two wheels kinematics
将式（12）代入式（11）利用极点配置思想，将该系统的极点放置在一个理想的位置获得最佳的系统响应为
则可得到横向偏差系数1=2/，航向偏差系数2=/2。
在导航跟踪控制模型中，定义横向偏差和航向偏差的正负号如下：横向偏差在车身坐标系轴的正半轴定义成负值，负半轴定义成正值；
根据时钟运行方向，航向偏差为逆时定义成正值，为顺时定义成负值。
前轮转角由横向偏差、航向偏差和速度决定，横向偏差、航向偏差可由苗带识别得到，速度可通过小车反馈系统得到，因此根据输入预定导航线，获得小车此时的横向偏差和航向偏差，并与视觉导航系统获得的位置和角度进行比较，并发送给玉米苗带跟踪控制器，进而获得除草机器人速度和转角，并控制除草机器人完成导航，其导航跟踪控制流程框图如图8所示。
图8 控制流程图
3.2 导航系统软件开发
利用Visual Studio开发环境，基于OpenCV图像处理库开发了玉米除草机器人视觉导航系统软件。该软件主要实现玉米导航线实时检测、获取导航线偏差和偏距与STM32控制端的同步交互和手动控制除草机器人导航和除草等功能，系统工作流程图如图9所示。
如图10所示，软件界面包括机器人视觉信息实时显示、小车导航信息显示、导航手动调试、刀具手动控制和通讯配置等功能。导航系统工作时，在导航实时显示区的左侧实时显示监控画面，右侧显示导航线识别画面；
信息交互区可进行与下位机实时通信，并显示串口号、波特率和下位机发送的信息；
小车偏差显示区可实时展示导航线的横向偏差量和航向偏差量；
手动导航区可实现手动控制除草机器人进行导航和位置调整；
刀具控制区通过点击按钮可实现刀具的启停、升降和左右刀具刀具移动等功能。
图9 系统工作流程图
图10 导航系统软件界面图
4.1 试验场景及指标
除草机器人直线和曲线跟踪模拟试验在中国农业大学校内进行，试验时间2022年6月10日，玉米苗平均株高为16cm，模拟试验场景分别如图11a和11b所示。其中直线跟踪模拟试验人工摆放玉米苗行距60cm，株距30 cm，长度为5m；
曲线跟踪模拟试验人工摆放玉米苗株距30cm，曲线最大弯曲处与曲线的起点和终点连线的垂直距离为150cm，玉米苗曲线长度为8m。田间路径跟踪试验在北京市昌平区小汤山镇国家精准农业研究示范基地进行，试验时间2022年10月4日试验场景如图11c所示，此时玉米平均株高为16cm，行距60 cm，株距30 cm。
图11 试验场景
在试验前人工手持RTK-DGPS每隔30cm获得一个玉米苗位置点作为预定跟踪路径点，并在除草机器人进行导航跟踪时开启GPS采集导航跟踪数据作为实际跟踪路径点，将预定跟踪路径点与实际跟踪路径点进行比较，分析除草机器人的跟踪误差。跟踪误差计算方法为：查找实际跟踪路径中与预定跟踪路径点距离最近的点，计算两点的欧式距离，即为跟踪误差。
4.2 导航线提取
为验证实时导航线提取算法的准确性，从采集的玉米苗带数据集中随机选取多段的视频作为测试，测试视频中包含不同光照和不同杂草程度等多种环境。
图12为不同光照强度和不同杂草程度等提取效果，以人工标记的导航线作为评价标准，并定义算法提取的导航线与人工标记的导航线之间的夹角为航向偏差，用作评价实时导航线提取的准确性。当二者之间的偏差角绝对值小于4°，则导航线提取正确[30]。对测试视频帧的航向偏差和处理时间进行统计如图13所示。
注：深色线为人工标记的导航线；
浅色线为本算法提取的导航线。
图13 导航线提取结果
由图13可知，航向偏差基本都在−4°到4°范围之间，其导航线提取正确率为96.8%，航向偏差最大幅度为6.41°，平均绝对航向偏差为1.49°，标准差为1.27°；
每帧图像处理时间在78到98 ms之间，平均处理时间为87.39 ms。表明实时导航线提取算法的精度和准确度较高，且每帧图像导航线提取时间耗时短，而个别跳动较大的导航线可能是由于相机的抖动，导致所采集的图像视野范围发生偏移，本文通过多帧融合判别剔除了跳动大的导航线。
4.3 导航线跟踪试验
4.3.1 直线跟踪模拟试验
除草机器人随机选取5个玉米苗带进行直线跟踪试验，设置车速为0.3m/s，试验开始时开启GPS采集数据，导航结束时导出试验数据，并计算跟踪误差。5个玉米苗带跟踪误差汇总如表2所示，导航系统平均跟踪误差为0.71 cm，标准误差为0.28 cm。结果表明：玉米除草机器人导航控制系统能准确控制除草机器人直线路径跟踪。
表2 5次路径跟踪试验统计
4.3.2 曲线跟踪模拟试验
为验证玉米除草机器人导航控制系统的性能，以0.3 m/s的车速进行曲线跟踪模拟试验，试验后计算跟踪误差，并分析得除草机器人实际导航路径与预定跟踪路径的轨迹对比图和跟踪误差结果如图14。
注：x为当前小车离导航起始位置的横向距离；
y为当前小车离导航起始位置的纵向距离。
结果表明，基于运动学模型的苗带跟踪控制器能实现玉米苗曲线路径跟踪，导航的平均跟踪误差为14.2 mm，标准跟踪误差为4.1 mm，最小跟踪误差为6.0 mm，最大跟踪误差31.0 mm。最大跟踪误差产生的原因可能是由于在曲线最高点，从左转变到右转转角曲率较大产生的。
4.3.3 田间导航跟踪试验
为准确验证玉米除草机器人导航控制系统实际田间导航跟踪效果，分别以0.1、0.3和0.5 m/s的速度进行田间跟踪试验，并每隔20 cm获得一个玉米苗位置点作为预定跟踪路径点，并分别导出不同速度的试验数据，分析得航向偏差和跟踪误差。
图15 不同速度跟踪误差
在0.1、0.3和0.5m/s的速度下，导航线提取的平均绝对航向误差分别为1.20°、1.31°和1.58°，提取误差随着速度提高而增大，但其值都在正确误差带范围内，满足导航要求。根据预定跟踪路径和实际跟踪路径数据进行误差分析。如图15所示，在0.1m/s速度下除草机器人跟踪误差在3.0～15.0mm之间，平均跟踪误差为8.9 mm，标准误差为3.5 mm；
在0.3m/s速度下除草机器人跟踪误差在5.0～17.0mm之间，平均跟踪误差为11.2 mm，标准误差为3.5mm；
在0.5m/s速度下跟踪误差在7.0～23.0 mm之间，平均跟踪误差为15.1mm，标准误差为4.4 mm。结果表明在3种速度下的平均跟踪误差≤15.1 mm，标准误差不大于4.4mm。在上述三种速度分析中，可知在0.3m/s速度下，平均跟踪误差在11.2mm，标准差与0.1m/s速度一样，但误差都比0.5m/s速度小，为此确定0.3m/s速度为除草机器人最佳跟踪速度。综上试验分析玉米除草机器人导航控制系统在田间试验中能准确控制除草机器人跟踪玉米苗行行走。
1）本文提出了基于感兴趣区域更新的玉米苗带实时提取方法，以改进自适应响应阈值SUSAN角点法提取玉米苗特征点后，采用进行冗余离群特征点剔除，减少计算量和提高导航线提取的实时性。以改进顺序聚类完成玉米苗带聚类，确定导航线然后进行实时感兴趣更新。导航线提取试验表明，导航线提取正确率为96.8%，每帧图像平均处理时间为87.39ms，说明该算法能有效快速地获取玉米苗的特征信息，准确地检测出玉米苗带，能为除草机器人提供连续稳定的导航线。
2）在导航线提取算法基础上，本文设计了基于二轮车运动学模型的PID算法决策前轮转向角，建立了导航跟踪控制模型，并设计了玉米除草机器人导航控制系统。导航线跟踪试验表明，在模拟环境下，玉米苗带直线和曲线跟踪平均误差≤1.42cm，标准误差≤0.41cm；
在农田环境下，不同速度导航跟踪平均误差≤1.51cm，标准误差≤0.44cm。说明该导航跟踪控制可以满足模拟环境和田间环境下不同路径和速度的导航跟踪需求，实现准确跟踪且适应性强。
玉米除草机器人导航控制系统实现了除草机器人苗带提取和导航跟踪控制，为后续除草机器人的研究提供了技术支持。下一步将开展导航控制系统在不同农田条件下稳定性和适应性的研究，进一步提高导航控制的适应性。
[1] SB A, SAG B. An overview of autonomous crop row navigation strategies for unmanned ground vehicles- ScienceDirect[J]. Engineering in Agriculture, Environment and Food, 2019, 12(1): 24-31.
[2] GARCÍA-SANTILLÁN I D, GUERRERO J M, MONTALVO M, et al. Curved and straight crop row detection by accumulation of green pixels from images in maize fields[J]. Precision Agriculture, 2018, 19: 18-41.
[3] GARCÍA-SANTILLÁN I D, MONTALVO M, GUERRERO J M, et al. Automatic detection of curved and straight crop rows from images in maize fields[J]. Biosystems Engineering, 2017, 156: 61-79.
[4] 李霞，苏筠皓，岳振超，等. 基于中值点Hough变换玉米行检测的导航线提取方法[J]. 农业工程学报，2022，38(5)：167-174.
LI Xia, SU Junhao, YUE Zhenchao, et al．Extracting navigation line to detect the maize seedling line using median-point Hough transform[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(5): 167-174. (in Chinese with English abstract)
[5] BAWDEN O, KULK J, RUSSELL R, et al. Robot for weed species plant-specific management[J]. Journal of Field Robotics, 2017, 34(6): 1179-1199.
[6] 兰天，李端玲，张忠海，等. 智能农业除草机器人研究现状与趋势分析[J]. 计算机测量与控制，2021，29(5)：1-7.
LAN Tian, LI Ruiling, ZHANG Zhonghai, et al. Analysis on research status and trend of intelligent agricultural weeding robot[J]. Computer Measurement & Control, 2021, 29(5): 1-7. (in Chinese with English abstract)
[7] 傅雷扬，李绍稳，张乐，等. 田间除草机器人研究进展综述[J]. 机器人，2021，43(6)：751-768.
FU Leiyang, LI Shaowen, ZHANG Le, et al. Research progress on field weeding robots: A review[J]. Robot, 2021, 43(6): 751-768. (in Chinese with English abstract)
[8] BAKKER T. An Autonomous Robot for Weed Control: Design, Navigation and Control[D]. Wageningen, Netherlands: Wageningen University, 2009.
[9] ZHAI Z Q, ZHU Z X, DU Y F, et al. Multi-crop-row detection algorithm based on binocular vision[J]. Biosystems Engineering, 2016, 150: 89-103.
[10] VIDOVIĆ I, CUPEC R, HOCENSKI Ž. Crop row detection by global energy minimization[J]. Pattern Recognition, 2016, 55: 68-86.
[11] VIDOVIĆ I, SCITOVSKI R. Center-based clustering for line detection and application to crop rows detection[J]. Computers and Electronics in Agriculture, 2014, 109: 212-220.
[12] 张博立，吴蒙然，温兴，等. 基于动态网格和分区域聚类的玉米苗带识别算法研究[J]. 中国农机化学报，2020，41(7)：191-196.
ZHANG Boli, WU Mengran, WEN Xing, et al. Research on corn seeding belts recognition algorithm based on dynamic grid and sub-region clustering[J]. Journal of Chinese Agricultural Mechanization, 2020, 41(7): 191-196. (in Chinese with English abstract)
[13] 刁智华，赵明珍，宋寅卯，等. 基于机器视觉的玉米精准施药系统作物行识别算法及系统实现[J]. 农业工程学报，2015，31(7)：47-52.
DIAO Zhihua, ZHAO Mingzhen, SONG Yinmao, et al. Crop line recognition algorithm and realization in precision pesticide system based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(7): 47-52. (in Chinese with English abstract)
[14] 宋宇，刘永博，刘路，等. 基于机器视觉的玉米根茎导航基准线提取方法[J]. 农业机械学报，2017，48(2)：38-44.
SONG Yu, LIU Yongbo, LIU Lu, et al. Extraction method of navigation baseline of corn roots based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(2): 38-44. (in Chinese with English abstract)
[15] BALL D, UPCROFT B, WYETH G, et al. Vision‐based obstacle detection and navigation for an agricultural robot[J]. Journal of Field Robotics, 2016, 33(8): 1107-1130.
[16] SAMWEL O, CEDRIC O, JUN Z, et al. Medial axis-based machine-vision system for orchard robot navigation[J]. Computers and Electronics in Agriculture, 2021(1): 185.
[17] RADCLIFFE J, COX J, BULANON D M. Machine vision for orchard navigation[J]. Computers in Industry, 2018, 98: 165-171.
[18] 张雁，李彦明，刘翔鹏，等. 水稻直播机自动驾驶模糊自适应控制方法[J]. 农业机械学报, 2018，49(10)：30-37.
ZHANG Yan, LI Yanming, LIU Xiaopeng, et al. Fuzzy adaptive control method for autonomous rice seeder[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(10): 30-37. (in Chinese with English abstract)
[19] 贺静，何杰，罗锡文，等. 基于多传感器融合的水稻行识别与跟踪导航研究[J]. 农业机械学报，2022，53(3)：18-26，137.
HE Jing, HE Jie, LUO Xiwen, et al. Rice row recognition and navigation control based on multi-sensor Fusion[J]. Transactions of the Chinese Society for Agricultural Machinery, 2022, 53(3): 18-26, 137. (in Chinese with English abstract)
[20] 王侨，孟志军，付卫强，等. 基于机器视觉的玉米苗期多条作物行线检测算法[J].农业机械学报，2021，52(4)：208-220.
WANG Qiao, MENG Zhijun, FU Weiqiang, et al. Detection algorithm of multiple crop row lines based on machine vision in maize seedling stage[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(4): 208-220. (in Chinese with English abstract)
[21] 张勤，陈少杰，李彬. 基于SUSAN角点的秧苗列中心线提取方法[J]. 农业工程学报，2015，31(20)：165-171.
ZHANG Qin, CHEN Shaojie, LI Bin. Extraction method for centerlines of rice seedlings based on SUSAN corner[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(20): 165-171. (in Chinese with English abstract)
[22] 宫金良，孙科，张彦斐，等. 基于梯度下降和角点检测的玉米根茎定位导航线提取方法[J]. 农业工程学报，2022，38(13)：177-183.
GONG Jinliang, SUN Ke, ZHANG Yanfei, et al. Extracting navigation line for rhizome location using gradient descent and corner detection[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(13): 177-183. (in Chinese with English abstract)
[23] 郑昊，林玉娥. 一种改进的SUSAN角点检测算法[J]. 电脑知识与技术，2020，16(22)：40-42.
ZHENG Hao, LIN Yu’e. An improved SUSAN corner point detection algorithm[J]. Computer Knowledge and Technology, 2020, 16(22): 40-42. (in Chinese with English abstract)
[24] 姜国权，杨小亚，王志衡，等. 基于图像特征点粒子群聚类算法的麦田作物行检测[J]. 农业工程学报，2017，33(11)：165-170.
JIANG Guoquan, YANG Xiaoya, WANG Zhiheng, et al. Crop rows detection based on image characteristic point and particle swarm optimization-clustering algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(11): 165-170. (in Chinese with English abstract)
[25] 廖娟，汪鹞，尹俊楠，等. 基于分区域特征点聚类的秧苗行中心线提取[J]. 农业机械学报，2019，50(11)：34-41.
LIAO Juan, WANG Yao, YIN Junnan, et al. Detection of seedling row centerlines based on sub-regional feature points clustering[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(11): 34-41. (in Chinese with English abstract)
[26] 陈少杰. 基于图像理解的水田除草机器人视觉导航系统研究[D]. 广州：华南理工大学，2016.
CHEN Shaojie. Research on Vision Navigation System of Paddy Field Weeding Robot Based on Image Understanding[D]. Guangzhou: South China University of Technology, 2016. (in Chinese with English abstract)
[27] 杨洋，张博立，查家翼，等. 玉米行间导航线实时提取[J]. 农业工程学报，2020，36(12)：162-171.
YANG Yang, ZHANG Boli, ZHA Jiayi, et al. Real-time extraction of navigation line between corn rows[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(12): 162-171. (in Chinese with English abstract)
[28] 吴才聪，吴思贤，文龙，等. 拖拉机自动导航变曲度路径跟踪控制方法研究[J]. 农业工程学报，2022，38(21)：1-7.
WU Caicong, WU Sixian, WEN Long, et al. Variable curvature path tracking control for the automatic navigation of tractors[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(21): 1-7. (in Chinese with English abstract)
[29] 王辉，王桂民，罗锡文，等. 基于预瞄追踪模型的农机导航路径跟踪控制方法[J]. 农业工程学报，2019，35(4)：11-19.
WANG Hui, WANG Guiming, LUO Xiwen, et al. Path tracking control method of agricultural machine navigation based on aiming pursuit model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(4): 11-19. (in Chinese with English abstract)
[30] 翟志强，熊坤，王亮，等. 采用双目视觉和自适应Kalman滤波的作物行识别与跟踪[J]. 农业工程学报，2022，38(8)：143-151.
ZHAI Zhiqiang, XIONG Kun, WANG Liang, et al. Crop row detection and tracking based on binocular vision and adaptive Kalman filter[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(8): 143-151. (in Chinese with English abstract)
Design and experiment of the visual navigation system for a maize weeding robot
LAI Hanrong1, ZHANG Yawei1※, ZHANG Bin1, YIN Yanxin2,3, LIU Yuhang1, DONG Yuhang1
(1.,,100083,; 2.,100097,; 3.,100097,)
Maize weeding robots play a significant role in the green production of modern agriculture. A high production efficiency can also be gained to reduce the labor costs, particularly with no chemical pollution. The autonomous operation of maize weeding robot can depend mainly on the accurate detection and tracking of maize seedling belt. In this study, an updated real-time recognition was proposed to extract the navigation line between the maize seedling belts using Region of Interest (ROI), in order to facilitate the seedling belt detection of maize weeding robot. A monocular camera was used to capture the maize seedling belt in front of the robot. Images preprocessing was firstly implemented to effectively segment the seedling zone and background using optimal threshold selection, according to the large gap between the green area of seedlings and weeds. Secondly, the feature points of seedling belt were accurately extracted using an improved adaptive response threshold Small univalue segment assimilating nucleus (SUSAN) corner method. The redundant outliers of feature points were then removed to reduce the amount of clustering calculation for the better real-time performance. Thirdly, the regional hierarchical clustering was incorporated into the sequential cluster, in order to improve the speed of clustering. The maize seedlings were also performed on the regional sequential clustering with clustering process. Moreover, the least square method (LSM) was used to fit each maize seedling belt. Finally, the ROI was adjusted to update the navigation line in real time, according to the heading deviation of the robot and the lateral deviation relative to the maize seedling belt. Meanwhile, the kinematics model was utilized to optimize the steering angle under the PID controller. The optimal steering angle was obtained to avoid the pressure and damage from the wheel skid using the seedling belt row tracking of the weeding robot. The navigation control system was developed using OpenCV library on the Visual Studio platform. A real-time detection of maize navigation line was realized for the synchronous interaction between the navigation line deviation under the STM32 control terminal, and the manual control of weeding robot navigation. A continuous video was randomly captured from the collected maize seedling belt data set as a test, in order to verify the accuracy of the real-time navigation line extraction. Results show the accuracy rate of navigation line extraction was 96.8% with the average processing time of 87.39 ms, indicating the excellent real-time and anti-interference. The average tracking error of maize seedlings with the straight lines and curves was less than or equal to 1.42cm, while the standard tracking error was less than or equal to 0.41cm in the simulated environment. In the farmland, the average tracking error of navigation at different speeds was less than or equal to 1.51cm, and the standard error was less than or equal to 0.44cm, indicating the accurate operating of the weeding robots in the maize seedling belt rows. In summary, the seedling belt extraction and navigation tracking control of weeding robot was precisely realized by the navigation control system of maize weeding robot. The fast and accurate identification of seedling band can be suitable for the strong adaptability and stability of navigation tracking control system, fully meeting the navigation requirements of maize weeding robot operation. The finding can provide the technical support for the subsequent research of weeding robots.
robot; machine vision; maize weeding; seedling belt recognition; navigation tracking
2022-10-31
2022-12-19
国家重点研发计划课题（2019YFB1312305）；
烟台市校地融合发展项目（2021XDRHXMPT29）
赖汉荣，研究方向为农业机器人视觉导航。Email：larky919@163.com
张亚伟，博士，讲师，研究方向为农机装备智能控制技术。Email：zywcau@cau.edu.cn
10.11975/j.issn.1002-6819.202210247
TP273
A
1002-6819(2023)-01-0018-10
赖汉荣，张亚伟，张宾，等. 玉米除草机器人视觉导航系统设计与试验[J]. 农业工程学报，2023，39(1)：18-27. doi：10.11975/j.issn.1002-6819.202210247 http://www.tcsae.org
LAI Hanrong, ZHANG Yawei, ZHANG Bin, et al. Design and experiment of the visual navigation system for a maize weeding robot[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2023, 39(1): 18-27. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.202210247 http://www.tcsae.org
猜你喜欢航向除草偏差玉米除草、追肥 记住这些“黄金时段”今日农业(2022年15期)2022-09-20风浪干扰条件下舰船航向保持非线性控制系统舰船科学技术(2022年10期)2022-06-17除草记趣味(作文与阅读)(2022年3期)2022-06-10小麦播种后 除草最佳时间别错过今日农业(2021年21期)2021-11-26知坐标，明航向新世纪智能(高一语文)(2021年3期)2021-07-16如何走出文章立意偏差的误区学生天地(2020年6期)2020-08-25两矩形上的全偏差数学年刊A辑(中文版)(2020年2期)2020-07-25考虑几何限制的航向道模式设计民用飞机设计与研究(2019年4期)2019-05-21基于干扰观测器的船舶系统航向Backstepping 控制电子制作(2017年24期)2017-02-02关于均数与偏差系统医学(2016年8期)2016-02-20