王迎超，张婧婧，贾东霖，周腾飞
（新疆农业大学 计算机与信息工程学院，新疆 乌鲁木齐 830052）
我国是世界上公认的苹果种植大国，每年的苹果产量占到了世界总产量的40%以上。在高产量的背后，由于我国普遍采用人工分级方式，导致苹果的质量参差不一和大量的苹果碰伤，造成了很大的利润损失[1]。苹果在线分级是解决由人工分级导致的苹果碰伤、分级准确率不高等问题的主要方法。在基于机器视觉的苹果外观品质分级领域，通过提取苹果的果径[1-3]、缺陷[4-5]、颜色[6-7]、果形[8-11]、纹理[12-13]等单一特征进行量化与分级的技术已得到广泛研究与应用。而不同体系的苹果分级标准表明，单一特征的苹果分级与主流的分级标准差异较大，多特征的苹果分级具备显著的技术优势。在多特征融合的苹果分级技术研究中[14-20]，通常在苹果图像经过预处理、背景分割、特征提取等步骤后，将苹果的果径、果形等多个特征融合并作为苹果分级的依据，弥补了单一特征进行苹果分级的局限性，其分级结果更贴合人工标准。在此类分级技术中，以支持向量机（SVM）、卷积神经网络（CNN）等分类器进行分级更为普遍[21-24]。就模型的泛化能力而言，SVM 中惩罚因子的选取会随着特征个数及特征数据本身的变化而变化，不具备较好的泛化能力[25]。从苹果分级效率出发，CNN网络结构复杂，虽然在分级结果上更为准确，但分级时间很难满足流水线的实时性需求。多层感知机（MLP）神经网络结构简单，输入特征接口数量易改变，参数易选取，适于高效、多分类的分级目标[26]。鉴于此，采集阿克苏红富士苹果的果形、果径、着色比、缺陷及纹理特征构建样本数据集，基于遗传算法和MLP 神经网络建立苹果分级模型，通过遗传算法对MLP神经网络的优化，进一步提升传统MLP 的性能，着重解决类球形果体在自动分级过程中分级效率不高、分级不准确等问题，为类球形果体外观品质的分级提供参考与借鉴。
1.1 材料
供试苹果为新疆阿克苏红富士苹果，依据GB/T 10651—2008《鲜苹果》标准采集苹果图像，使用华为Mate30-5G 手机，其摄像头为4 000 万像素，共计采集了 1 500 个苹果的正视、侧视与俯视图，如图1所示。
图1 苹果图像采集Fig.1 Apple image acquisition
为获取完整的苹果侧面图像，在采集正视与后视图时以苹果的最大横截面为标准，采集方式如图2 所示。图2 中a 表示摄像头到苹果最大横截面的距离。依据三视图的原理，当观测距离相等时，同一物体的正视图与后视图相同，均为该物体的最大横截面。试验证明，由图2 所得到的正视图与后视图可以相互重合，因此该方法能够保证苹果侧面图像采集完整。
图2 苹果侧面图像采集Fig.2 Apple profile image acquisition
1.2 方法
1.2.1 试验设计 提出一种基于K-means 聚类和改进MLP 的苹果分级方法。首先采用均值滤波方法预处理分类图像，过滤图像表面的噪声；
之后借助K-means 聚类算法进行苹果图像聚类，进一步完成背景与果体的分离。在提取苹果特征之前，使用全局亮度均衡化操作降低图像表面光照及亮斑的影响，保证特征提取过程的准确性。考虑到人工分级过程的人为因素，根据相关性分析结果与人工偏好权重，对特征数据集作综合加权，并进行数据标准化转换。最后按照7∶3的比例把数据集的70%用于遗传算法（GA）优化的MLP 神经网络训练，30%用于测试，其试验设计框架如图3所示。
图3 试验设计框架Fig.3 Experimental design framework
1.2.2 试验环境 操作系统为Windows10 家庭版，版本号为21H2，笔记本操作系统为64 位，CPU 为Intel（R）Core（TM）i7-7500U，内存大小为8 GB，开发语言为Python。
1.2.3 预处理 苹果作为类球形水果，在图像采集过程中表面会产生不同的反光，因此，需要对图像进行亮度均衡化处理，以降低光照对后续试验的影响。首先将苹果图像进行颜色空间转换，然后在YCrCb 中对亮度通道进行自适应直方图均衡化操作，有效降低光照影响。预处理后图像如图4所示。
图4 预处理后苹果图像Fig.4 Pre-processed apple images
1.2.4 背景分割 为准确地提取苹果特征，需要对苹果图像进行背景分割操作。首先，根据背景与果实区域像素阈值的不同，使用最大类间方差法（OSTU）完成图像的分割操作，结果见图5a。其不足之处在于，当背景与果实区域的像素阈值接近时无法满足预期的分割效果。基于苹果图像的简单背景，选用K-means 聚类算法设定的K 值，通过计算最短欧式距离，将苹果图像的像素点进行分类，据此完成背景的分割，如图5b 所示。对比2 种方法的分割结果，OSTU 分割得到的图像无法准确划分出背景与果实的阈值，出现较明显的误判现象。K-means 聚类方法的分割效果更加清晰，对果实区域的提取也更为完整。
图5 苹果图像分割效果对比Fig.5 Comparison of apple image segmentation effect
为进一步验证基于 K-means聚类的分割优势，引入经典的U-net 和DeepLab-V3 模型分别对同一苹果图像数据集进行测试，其平均分割时间的对比结果如表1所示。由表1可知，在3种方法分割效果趋于一致的情况下，基于U-net和DeepLab-V3的分割时间分别为3.18、12.10 s/次，比基于K-means 聚类的分割时间分别多出1.22、10.14 s/次。表明基于U-net 和DeepLab-V3 为代表的实例分割网络无法满足简单背景下苹果图像分割的高速率要求，而基于K-means 聚类的分割方法在苹果分级过程中能够确保分级的准确率和速率。
表1 各模型分割时间对比Tab.1 Comparison of model segmentation time
1.2.5 苹果特征的提取
1.2.5.1 果径 果径大小是苹果分级的重要指标之一。利用苹果的俯视图来计算苹果的果径大小。在俯视图的采集过程中，得到的最大截面的直径即为苹果的最大果径。即对俯视图像进行背景分割、二值化处理，之后进行Canny边缘检测，并依据苹果轮廓构建最小外接矩形，按照最小外接矩形的顶点坐标获得矩形的长和宽（h，w），最后对矩形的长和宽取平均值得到苹果的果径d。
1.2.5.2 果形 果形是描述苹果果实圆度（E）的重要参考指标，越接近圆形的苹果等级越高，一般E为0.9 时，近似为圆形或者近圆形。果形为苹果果实的纵径与横径之比，如公式（1）[27]，其中，纵径与横径分别取自苹果轮廓的最小外接矩形的长和宽（h，w）。
1.2.5.3 颜色特征 苹果的颜色特征是最直观的苹果分级指标之一。HSV 空间是接近于人眼感知的能够清晰表述颜色直观特征的颜色空间，因此，将RGB 按照式（2）、（3）、（4）[28]转换到HSV 空间，利用H、S、V 通道的阈值范围进行红色素的提取，如图6所示。各颜色在HSV空间的阈值范围如表2所示。
表2 HSV颜色阈值范围Tab.2 HSV color threshold range
图6 HSV各通道苹果图像Fig.6 Images of apples in each channel of HSV
式 中：R′=R/255；
G′=G/255；
B′=B/255；
Cmax=max（R′，G′，B′）；
Cmin=min（R′，G′，B′）；
Δ=Cmax-Cmin。
1.2.5.4 缺陷 苹果的缺陷包括擦伤、腐烂、虫洞等，严重影响着苹果的质量等级。在采集的图像中，苹果的缺陷一般呈现暗黑色或者黑褐色。首先对图像进行二值化并取反，接着对孔洞进行填充，并与原二值图像进行异或运算，得到苹果的缺陷图像。部分缺陷提取效果如图7所示。
图7 苹果缺陷提取Fig.7 Apple defect extraction
1.2.5.5 纹理 纹理是反映图像同质现象变化的一种视觉特征。基于灰度共生矩阵的纹理特征提取方法，能够体现苹果图像表面的组织结构的缓慢性或周期性变化。通过计算图像灰度得到灰度共生矩阵，借助ASM能量、熵（ENT）、逆差矩（IDM）、对比度（CON）、相关性（Corr）5个参数表示苹果图像的纹理特征。设l(x,y) 为苹果图像，大小为a×b，则l(x,y)的灰度共生矩阵为：
其中，#(x)为元素x的集合。
基于灰度共生矩阵，得到以下的纹理特征向量[29-31]：
1.2.6 苹果特征数据加权 考虑到人工分级中部分人为因素，试验中引入苹果等级的偏好设置。即采用相关性分析获取特征数据与分级结果的关联，结合人工分拣偏好的各特征权重，与输入特征融合并进行加权，重新进行特征数据集的构建。
在提取图像特征后，苹果等级依次划分为1、2、3、4四个等级，1代表特级果，一级果、二级果和等外果以此类推。根据相关性分析结果，将得到的相关系数定义为wj。根据人工挑选偏好权重，将苹果各个特征权重定义为aj，如表3所示。
表3 人工挑选偏好权重Tab.3 Manual selection weight
依照公式（11）[32]计算wj与aj得到各个特征的综合权重（βj）。
1.2.7 基于改进MLP的多特征融合分级
1.2.7.1 MLP神经网络 多层感知机是一个包含输入层、多个隐藏层、输出层的神经网络，最简单的MLP为3层，包含1个隐藏层，如图8所示。
图8 3层感知机Fig.8 Three layer perceptron
1.2.7.2 改进的MLP 神经网络（GA-MLP）传统机器学习的优化算法从单个的初始值开始，通过多次迭代得到最优解，容易陷入局部最优解。而遗传算法（GA）的运算过程是从问题解的串集中开始搜索，搜索范围广，覆盖的值域多，利于找寻最优解。因此，采用遗传算法替代传统优化算法，用于MLP 神经网络的优化，其优化流程如图9所示。
图9 GA优化MLP流程Fig.9 Optimization flow chart of MLP by GA
1.2.8 分级模型训练
1.2.8.1 数据标准化 设输入样本矩阵为X={x1,x2,…,xi}，对X进行标准差归一化，则归一化后数据[33]为：
1.2.8.2 初始化MLP 神经网络与GA 参数 初始化MLP神经网络隐含层节点数参考公式（13）[33]：
其中，l为隐含层节点数；
m为输入层节点数；
n为输出层节点数；
s为常数，一般取值为（0，10）。
初始化MLP 神经网络激活函数为Sigmoid 函数，如公式（14）[33]所示：
1.2.8.3 GA-MLP 模型训练与预测 首先，将预处理后的数据通过输入神经元输入到MLP 神经网络，利用遗传算法对MLP 神经网络的初始参数进行编码，编码完成后计算个体长度，计算公式如式（15）[33]所示：
其中，e为隐含层节点数。
其次，计算个体的适应度函数值。一般选取网络的输出值与预测值之间的误差绝对值作为个体的适应度值。计算公式如公式（16）[33]所示：
其中，F为适应度值，yi为网络实际输出值，oi为预期输出值，k为参数，n为输出个数。
然后，执行遗传算法的选择操作，采用比例选择算子方法。设群体的大小为n，个体为xi的适应度为f(xi)，则个体xi的选择概率如公式（17）[33]所示：
选择操作完成后，对于保留下来的个体进行交叉操作，设随机2 个个体为akj、alj，b为参数，则交叉过程如公式（18）[33]所示。
此外，选取其中的第i个个体上的第j个基因进行变异，变异过程如公式（19）[33-34]所示。
其中，f(g) =r(1-g/Gmax)2，r属于（0，1），g为当前迭代次数，Gmax为最大迭代次数。
最后，将得到的最优参数赋值给MLP 神经网络，MLP 神经网络则根据得到的参数进行训练，完成GA对MLP神经网络的优化。
将处理好的苹果特征数据送入到GA-MLP 神经网络中进行分级，并与传统的MLP 神经网络的训练结果进行对比，其中GA-MLP 神经网络与传统MLP神经网络参数设置如表4所示。其中，（15，20）表示隐藏层层数为2，神经元个数分别为15，20。（13，13）表示隐藏层层数为2，神经元个数分别为13，13。
表4 GA-MLP神经网络与MLP神经网络的参数Tab.4 GA-MLP neural network and MLP neural network parameters
图10 展现了GA-MLP 神经网络与MLP 神经网络在迭代次数为500、学习率为0.001 条件下的训练过程。由图10可以看出，基于GA-MLP神经网络的准确率全程高于 MLP神经网络，且训练速度和收敛速度都高于MLP神经网络。
图10 网络训练结果Fig.10 Network training results
将GA-MLP 神经网络与MLP 神经网络在测试集上的输出值与实际值进行拟合，其结果如图11所示。GA-MLP 神经网络与MLP 神经网络在苹果特征数据集上的输出绝对误差如图12 所示。从图11可以看出，通过MLP 神经网络及GA-MLP 神经网络的训练，其苹果等级的预测与真实值变化趋势基本一致，且GA-MLP 神经网络的预测结果更为准确。同样，如图12 中，GA-MLP 神经网络的分级误差低于MLP神经网络。
图11 分级结果拟合Fig.11 Grading result fitting
图12 GA-MLP与MLP输出绝对误差分析Fig.12 Absolute error analysis of GA-MLP and MLP output
另取400 个苹果的图像完成模型的测试验证。测试集包括前后视图及俯视图，共计1 200 副图像，仍划分为特级果、一级果、二级果和等外果4 个等级。每类苹果数量各为100个。依据上述方法完成背景分割、指标提取、相关性分析后分别送入GAMLP 与MLP 神经网络中，分类结果如表5 所示。由表5 可知，在苹果分级应用中，GA-MLP、MLP 神经网络的分级准确率分别为94.25%、93.25%。
表5 各等级苹果分类结果对比Tab.5 Comparison of apple classification results of different grades
在前人研究苹果分级中，常以阈值分割法来分割苹果图像，该方法对苹果图像背景要求较为严格，有较大的局限性。本研究将直方图均衡与Kmeans 聚类相结合，提出一种基于直方图均衡与Kmeans 聚类的分割方法，一定程度上降低了图像背景的要求。在建立数据集方面，前人研究中多认为苹果各个特征权重相同，与实际的分级场景不符。本研究充分考虑到各个苹果特征的权重问题，采用相关性分析法来模拟苹果特征的权重分配，并与人工挑选偏好权重充分结合，进一步模拟更加真实的苹果分级场景。
针对阿克苏红富士苹果外观品质分级的需求，本试验制作了阿克苏红富士苹果特征数据集，基于MLP 神经网络对该数据集进行分级训练，且采用遗传优化算法获取准确率更高的分级模型。结果表明，基于K-means 聚类和改进MLP 的苹果分级方法的平均分级准确率达到94.25%，高于一般的MLP分类，达到了较好的分级效果。基于阈值的OSTU 方法在分割苹果图像过程中，对图像的像素差别要求较高，容易造成分割误差。K-means 聚类借助欧氏距离对图像进行聚类，降低对像素阈值的依赖。在实际图像分割任务中，基于K-means 聚类的背景分割效果优于一般的OSTU 分割法，为准确提取苹果的各项特征奠定了基础。在测试集上，二级果的分级准确率偏低。考虑到特征数据集的差异，后续可通过数据增强、特征数据扩充等增加数据集的方式将二级果样本数据增加至500条左右。
在后续的研究工作中，将继续探究本研究所提方法在其他多特征果体分级案例中的表现，并展开更多的测试应用，根据其他果体的分级表现，进一步获取优化的方法与理论，推动类球形水果的自动分级研究。
猜你喜欢分级聚类神经网络神经网络抑制无线通信干扰探究电子制作(2019年19期)2019-11-23基于DBSACN聚类算法的XML文档聚类电子测试(2017年15期)2017-12-18分级诊疗路难行?中国医疗保险(2017年6期)2017-07-18基于高斯混合聚类的阵列干涉SAR三维成像雷达学报(2017年6期)2017-03-26分级诊疗的“分”与“整”中国卫生(2016年5期)2016-11-12基于神经网络的拉矫机控制模型建立重型机械(2016年1期)2016-03-01复数神经网络在基于WiFi的室内LBS应用大连工业大学学报(2015年4期)2015-12-11分级诊疗的强、引、合中国卫生(2015年10期)2015-11-10“水到渠成”的分级诊疗中国卫生(2015年6期)2015-11-08基于支持向量机回归和RBF神经网络的PID整定海军航空大学学报(2015年4期)2015-02-27