基于CW-MST++网络重建高光谱图像的高粱品种检测

何 林1,胡新军1,2*,王 俊1,田建平1,谢亮亮1,杨海栗1,陈满娇1

(1.四川轻化工大学 机械工程学院,四川 宜宾 644000;2.四川省酿造生物技术与应用重点实验室,四川 宜宾 644000)

摘 要:为实现高粱品种的快速检测,建立了光谱重建技术结合机器学习分类模型的高粱品种检测方法。将软阈值(ST)函数与压缩激励(SE)模块结合嵌入到多级光谱智能自注意网络(MST++)深层结构中,构建通道自适应阈值模块(CW)-MST++,以MST++、分层回归网络(HRNet)、基于卷积的RGB图像高光谱恢复网络(HSCNN+)为对照,以平均相对绝对值误差(MRAE)、均方根误差(RMSE)比较重建模型性能。采用4种重建网络的高光谱数据建立支持向量机(SVM)模型,以平均精度(ACC)、平均召回率(Recall)和F1分数评价检测模型性能。结果表明,与MST++、HRNet及HSCNN+网络相比,CW-MST++重建的高光谱图像误差最小(验证集MRAE=0.017 5、RMSE=0.007 6),网络参数量及网络浮点运算数较低(Params为1.77 M、Flops为20.80 G);其重建的高光谱数据建立的SVM模型预测效果最佳(测试集ACC=94.52%、Recall=94.24%、F1分数=94.14%)。与原始高光谱数据相比,CW-MST++重建高光谱数据ACC、Recall、F1分数分别仅相差2.06%、2.54%、2.52%,实现了酿酒高粱的快速准确检测。

关键词:高粱;重建光谱;深度学习;高光谱图像;品种检测

高粱(Sorghum bicolor)作为世界五大作物之一,在世界范围内被广泛种植[1-2]。不同品种的高粱价格差异巨大且对酿造的白酒品质有较大影响,但不同品种的高粱籽粒形状及颜色特征相似,使用人工肉眼难以鉴别,且具有较大主观性,而生物检测操作繁琐且效率不高,因此开发一种高粱品种快速无损检测方法具有重要意义[3]

高光谱图像包含待测对象图像及光谱信息,可以同时获取其内部信息以及外部特征[4-6],但高光谱成像设备通常非常昂贵,且大都是基于线性扫描进行的,获取高光谱图像的时间要比获得普通红色、绿色和蓝色(Red,Green,and Blue,RGB)图像的时间长的多。为了解决高光谱图像应用受限的问题,近年来,基于RGB图像重建高光谱图像技术成为了研究热点[7-9]。使用RGB图像通过基于先验或数据驱动的方式重建高光谱图像,同时保持了RGB图像获取速度快和高光谱图像信息丰富的优点[10]。ZHAO J等[11]选择基于卷积的RGB图像高光谱恢复网络(CNN based hyperspectral recovery from RGB images,HSCNN+)以番茄RGB图像重建出高光谱图像,并将重建光谱数据通过随机森林回归,预测了番茄的品质特征,在预测结果中番茄红素的决定系数为0.92,预测精度良好;GONG L等[12]利用神经网络(back propagation,BP),对智能手机拍摄的RGB图像进行光谱重建,利用重建光谱建立了叶绿素含量估算的偏最小二乘回归预测模型,验证集的相关系数R2和均方根误差(root mean square error,RMSE)分别为0.823 7和1.189 5%,证实了预测值与实测值具有较高的相关性;冯耀泽等[13]利用多元多项式最小二乘回归算法(polynomial multivariate least-squares regression,PMLR)进行重建结合极限回归机学习模型对鱼糜掺假进行检测,其预测均方根误差为3.954 4%、预测相关系数为0.983。但目前鲜见利用RGB图像重建高光谱图像快速检测高粱品种的研究报道。

本研究以酿酒高粱为研究对象,将软阈值(soft thresholding,ST)函数与压缩激励模块(squeeze-and-excitation,SE)结合,嵌入到多级光谱智能自注意网络(multi-stage spectralwise transformer,MST++)深层结构中,构建通道自适应阈值模块(channel-wise,CW)-多级光谱智能自注意网络(MST++),以MST++、分层回归网络(hierarchical regression network,HRNet)、HSCNN+、三种网络为对照,通过平均相对绝对值误差(mean relative absolute error,MRAE)、均方根误差(RMSE)比较重建模型性能;使用各网络重建的光谱数据及原始光谱数据建立支持向量机(support vector machine,SVM)模型进行品种检测,以平均精度(accuracy,ACC)、平均召回率(Recall)和F1分数为指标评价检测模型性能,以期建立一种有效且节省成本的酿酒高粱品种检测方法,为酒企在酿酒过程中的原料检测提供一种新的思路。

1 材料与方法

1.1 材料与试剂

红星高粱(HX)、粘糯高粱(ZN)(产自四川),糯优高粱(NY)、铁杆高粱(TG)(产自山东),红缨子高粱(HYZ)(产自贵州):市售。5种高粱在颜色以及形态上均为圆润的棕红色颗粒。每次选取100颗高粱装袋为一个样本,每种高粱制备50个样本并均匀放置于直径为80 mm的培养皿中。另外,每个品种再制备3个样本(共计1 500颗高粱),用于重建后的高粱品种检测。制备过程中,为确保实验可靠性,去除有杂质、残缺等高粱。

1.2 仪器与设备

FX10E高光谱相机:芬兰SPECIM公司;400 mm行程的高精度载物平台:芬兰SPECIM公司;卤素灯光源(150 W):德国OSRAM公司;装有高光谱采集软件的专用计算机:美国DELL公司。

1.3 实验方法

1.3.1 光谱数据获取

本研究用于数据采集的高光谱相机是一个集成系统,可以同时获取RGB图像数据以及397.01~1 004.52 nm波长范围内分辨率为5 nm的448个连续波段的高光谱图像数据。

数据采集:采集样品数据时,连接好电控移动平台和相机,打开卤素灯预热10 min。采集参数设置为:曝光时间8.8 ms;平台移动速度10.84 mm/s。将高粱样本置于高精度电控载物平台指定区域,电机控制载物平台搭载高粱样本匀速通过固定于辅助支架上的高光谱相机进行线性扫描,最终得到样本的高光谱图像数据和RGB图像数据。

光谱数据校正:将采集到的两种图像数据裁剪为512*512像素的尺寸,像素间一一配准。同时,将高光谱图像重采样到400~700 nm范围内的31个光谱波段,光谱分辨率为10 nm,以去除冗余信息。在数据采集过程中受光照强度以及相机暗电流的影响,使得采集到的数据可能会失真。所以需要对原始光谱进行黑白校正,以保证数据的可靠性,校正公式(1)如下:

式中:R是校正后的反射率;R1是原始光谱数据;W是标准白板图像数据;D是关闭镜头的暗电流图像数据。

光谱提取:为了获得样本中高粱籽粒的光谱曲线,需要对样本RGB图像感兴趣区域(region of interest,ROI)进行大津阈值二值化处理,随后使用分水岭算法分离粘连籽粒,计算每个连通域中所有像素点光谱反射率平均值,最终得到高梁籽粒一维光谱数据。

1.3.2 高光谱重建模型的建立

MST++网络作为2022 NTIRE挑战赛光谱重建项目的冠军网络,是目前应用于光谱重建任务中较先进的网络[14]。但MST++没有针对有噪声数据做一定的去噪处理,而高粱图像数据由于相机镜头等固有问题,会存在一定的噪声,所以直接将其用于高粱数据重建会造成重建精度降低。因此,本研究通过将ST函数与SE模块[15]结合构建CW模块,嵌入到MST++网络深层结构中,构成CW-MST++网络,可以在滤除噪声的同时,学习更多丰富自然的光谱信息。具体网络结构如图1所示。同时,建立MST++、HRNet[16]、HSCNN+[17]3种网络,将CW-MST++与3种重建网络通过平均相对绝对值误差(MRAE)和均方根误差(RMSE)进行对比得到网络重建性能差异。

图1 CW-MST++网络结构示意图
Fig.1 Schematic diagram of CW-MST++ network structure

光谱范围多头注意力块(spectral-wise multi-head selfattention,S-MSA)是提取光谱通道间相关性的核心模块,它是在传统注意力机制上改进的。由于传统注意力机制提取的是空间域的相互作用关系,而高光谱图像在空间域上是稀疏的,在光谱域上高度相关。所以S-MSA引入了光谱多头注意力机制,在处理光谱数据时,能够提取不同光谱波段之间的关联性和重要性,从而更好的获取光谱数据中的特征和结构。如图1(e)所示,当输入Xin(H*W*C)进入模块,首先会将输入变维为(H*W)*C的特征矩阵,然后将特征矩阵分别投影到查询矩阵Q、索引矩阵K、内容矩阵V,Q、KV矩阵运算如式(2)所示:

式中:WQWKWVRC×C为可学习参数,紧接着将Q、KV沿光谱通道方向分为N个头,并计算每个头沿光谱通道的自关注得分,计算公式如式(3)所示:

式中:j∈1…NKTj 表示Kj的转置矩阵,且因为光谱密度随波长变化较大,使用可学习参数σjKTj矩阵重新加权以适应自关注,随后将N个头部的输出连接起来进行线性投影,并加入位置嵌入以对不同光谱通道的位置信息进行编码,计算公式如式(4)所示:

式中:j∈1…NFX)为注意力计算值,fp为位置嵌入函数,最后将输出重构回H*W*C进行输出。

通道自适应阈值模块(CW):软阈值分割在许多信号去噪方法中经常被用作关键步骤[18]。其计算方式如公式(5):

式中:x为输入特征,y为输出特征,τ为阈值。

在常用的信号去噪算法中,这个阈值τ通常需要人为设计,但要设置一个最优值因情况而异,通常很难设置一个合适的阈值。SE模块是一种注意力机制模块,可以根据特征本身的特点,进行独特的特征加权调整。利用这一特点,CW模块通过将软阈值函数与SE模块相结合,很好的解决了传统软阈值函数的阈值参数需人工设置的问题。其结构如图1(f)所示,首先对输入特征进行绝对运算和全局平均池化(global average pooling,GAP)得到特征映射的一维向量,然后将一维向量传入一个两层全连接层网络,得到一组缩放参数,每个缩放参数对应着特征图的一个通道,然后应用sigmod函数,将缩放参数缩放到(0,1)的范围,最后与一维向量相乘,得到最终的收缩阈值,计算方式如公式(6):

式中:τcc通道的阈值,αcc通道的缩放参数,mnc分别为输入特征x的长度、宽度与通道。

通过计算得到的阈值可以保持在一个合理的范围,然后与初始输入信号进行软阈值化,得到最终输出。CW模块通过可学习的参数自动获取每个通道的阈值,可以高效去除与噪声相关的特征,提高特征识别能力。

1.3.3 高粱品种检测模型

为验证使用高粱重建光谱数据进行品种检测的可行性,并比较不同重建网络重建的高光谱数据分类效果,本研究建立了SVM模型进行高梁品种检测,并以平均精度(ACC),平均召回率(Recall)和平均F1分数作为模型检测精度指标。SVM的基本原理是通过使用核函数,将原始特征映射到一个更高维的特征空间,从而使得数据在新空间中线性可分[19]。另外,它利用结构风险最小化理论在高维空间中建立分隔超平面,使不同类别之间距离最大化,达到较小的分类误差[20]。本研究采用poly核函数作为SVM模型的核函数,由于惩罚系数c和松弛系数g的取值直接决定了模型的泛化能力,将原始高光谱数据作为模型输入,以ACC作为模型寻优依据,通过网格搜索对SVM模型的参数进行了寻优,寻优后最优参数为:c=10;g=200。

1.3.4 性能评价指标

为评价光谱重建模型精度,选取MRAE、RMSE作为评价指标。MRAE计算重建光谱图像各波段与真实光谱图像的逐像素差异,计算公式如式(7),RMSE计算重建的光谱图像与真实光谱图像之间的均方根误差,计算公式如式(8):

式中:N为像素总数,YiRYiG分别为重建光谱图像与真实光谱图像的第i个像素。通常RMSE与MARE的值越小,表示重建精度越高,模型效果越好。统计网络参数量(params)以及网络浮点运算数(floating point operations per second,Flops)用于评价网络计算空间复杂度和网络计算时间复杂度,两者值越小,表示模型越小,占用资源更少[21]

此外,为探索高粱品种检测模型对光谱数据的分类效果,选择测试集的ACC、Recall和平均F1分数评价高粱检测模型,三者值越大,表示检测精度越高,模型性能好[22]。ACC计算为正确识别的高粱数占高粱颗粒总数的比例,计算公式如式(9),Recall表示被正确识别为正确高粱的颗粒数占实际正确高粱颗粒总数的比例,计算公式如式(10),F1分数是对精确率(precision)与Recall进行整体评价,计算公式如式(11),precision计算公式如式(12):

式中:TP表示将正确样本预测为正确的个数;FN表示将正确样本预测为错误的个数;FP表示错误样本被预测为正确的个数;TN表示将错误样本正确预测为错误的个数;精确率(precision)表示被正确识别为正确高粱样本的个数占预测为正确高粱样本总数的比例。

1.3.5 实验训练细节

重建网络模型训练基于pytorch等库实现,处理器为英特尔酷睿i5-13400F,显卡为Nvidia GeForce RTX 4070Ti,显存容量为12 G。对于光谱重建模型,将5种高粱样本均按18∶1的比例划分为训练集与验证集,一起组成构建光谱重建模型的数据集。在训练过程中,网络输入被裁剪为128×128的数据对,批大小设置为10,使用Adam优化器进行修正,β1=0.9,β2=0.999。采用余弦退火学习策略,初始学习率设置为0.000 4,当观察到训练损失没有明显下降时,停止训练。训练数据通过随机旋转和翻转增强。对于高粱品种检测模型,使用联合X-Y距离(SPXY)算法[23]将重建出的光谱数据按照9∶1的比例划分为训练集与测试集。

2 结果与分析

2.1 光谱重建结果分析

2.1.1 光谱重建网络指标对比分析

分别将4种重建网络使用高粱光谱重建数据集建立高粱光谱重建模型,验证集重建精度结果见表1。由表1可知,CW-MST++模型的MRAE为0.017 5,RMSE为0.007 6。相较于MST++网络,MRAE降低了9.3%,RMSE降低了11.6%;与HRNet网络相比,MRAE降低了21.5%,RMSE降低了24.8%;与HSCNN+网络相比,MRAE降低了24.6%,RMSE降低了27.0%,表明CW-MST++重建的高光谱数据相比其他三种对比重建模型具有更高的精度。CW-MST++、MST++、HRNet、HSCNN+的Params分别为1.77 M、1.62 M、32.46 M、4.65 M,Flops分别为20.80 G、20.76 G、152.56 G、283.53 G。与HRNet和HSCNN+网络相比,网络参数量与网络浮点运算数均有大幅减少;相较于MST++网络,网络参数量和网络浮点运算数虽有小幅增加,但可以重建更高精度的高光谱数据。综上,CW-MST++模型可以以较小的数据量重建高精度的高光谱数据。

表1 不同网络重建模型评价指标
Table 1 Evaluation indexes of different network reconstruction models

方法 MRAE RMSE Params/M Flops/G CW-MST++MST++HRNet HSCNN+0.017 5 0.019 3 0.022 3 0.023 2 0.007 6 0.008 6 0.010 1 0.010 4 1.77 1.62 32.46 4.65 20.80 20.76 152.56 283.53

2.1.2 光谱重建误差对比分析

为直观比较各算法对不同高粱品种的重建误差,在高粱样本测试集中随机选择5个不同品种的高粱,采用不同算法进行重建,波长为600 nm的MRAE热力图见图2。图中颜色越蓝,重建的误差越低,光谱质量越好[24-25]。由图2可知,在五个品种中,相较于其他三种网络,由CW-MST++网络重建光谱生成的MRAE热力图高粱籽粒更接近深蓝色,籽粒轮廓几乎不可见,重建误差相对更低。而其他三种网络重建光谱生成的MRAE热力图中,高粱浅蓝色籽粒较多,在HSCNN+以及MST++两种网络重建光谱生成的MRAE热力图中部分籽粒呈蓝绿色,说明重建的光谱图像误差更大。综上所述,CW-MST++网络的重建误差在五个品种中均最低。进一步分析,HSCNN+网络在上采样与下采样过程中丢失了较多特征信息,导致重建图像误差偏大。HRNet网络使用PixelShuffle操作融合了多尺度特征,但是其对于光谱通道间的特征相似性关注不够,使其对光谱特征提取不够,导致重建图像误差较高。虽然MST++网络可以通过S-MSA模块高效提取光谱通道间特征,但其没有对存在的无用噪声信息进行降噪处理,使其重建图像误差相对较大。在MST++网络的基础上,CW-MST++网络使用CW模块对噪声等无用信息进行了有效的弱化,提高了特征信息利用率,使得重建保真度更高。

图2 CW-MST++(a)、MST++(b)、HRNet(c)、HSCNN+(d)网络重建高光谱图像和真实高光谱图像在波长600 nm处的误差图
Fig.2 Error plot of hyperspectral image reconstructed by CW-MST++(a), MST++ (b), HRNet (c), HSCNN+ (d) networks and real hyperspectral image at wavelength 600 nm

为评估高粱重建光谱反射率差异细节,在重建的高粱高光谱图像中随机提取了5颗不同品种高粱的平均光谱曲线,并与原始光谱曲线进行对比,结果见图3。由图3可知,在波长450~600 nm范围内,4种网络重建的光谱曲线与原始光谱曲线均接近,说明在该波段范围内,4种网络均能重建出具有较高精度的高光谱数据,但相较于CW-MST++网络,其他3种网络重建的光谱曲线在一些波段范围内会出现相比其他网络更大的拟合误差,在HYZ高粱(b)450~600 nm、NY高粱(c)550~700 nm、TG高粱(d)600~650 nm处,MST++、HSCNN+、HRNet 3种网络的重建光谱曲线分别出现了相较于其他三种网络更大的拟合误差,说明CWMST++重建网络具有更好的稳定性。在不同高粱样品中,在400~450 nm以及650~700 nm波段,4种重建网络均发生了更大的拟合误差,这是由于光谱相机在采集样本时,光谱带两端的高光谱图像更易受噪声影响,导致高光谱相机在中间波段的精度高于光谱带两端的精度。而在光谱带两端,CW-MST++网络重建的光谱曲线最接近原始光谱曲线,这是由于在重建过程中,CW-MST++网络通过将SE模块与软阈值函数结合,使阈值参数变成一个可学习的参数,使得函数能自动获取阈值,极大降低了光谱带两端噪声数据的影响,使得重建的光谱曲线更接近原始光谱曲线。因此,使用CW-MST++网络在400~700 nm波段内可以重建出相比其他几种网络更高质量的高粱高光谱图像。

图3 基于HX(a)、HYZ(b)、NY(c)、TG(d)及ZN(e)品种高粱重建光谱与真实光谱曲线
Fig.3 Curve of reconstructed spectrum and true spectral of sorghum based on HX (a), HYZ (b), NY (c), TG (d) and ZN (e) varieties

2.2 高粱品种检测分析

2.2.1 高粱光谱曲线分析

五种高粱样品在400~700 nm波段的平均原始光谱曲线见图4。每种颜色代表一个品种的平均光谱曲线。由图4可知,5个高粱品种的平均光谱反射率均随波长的增加而增加,但不同品种的平均光谱曲线又存在一定差异,这可能和不同高粱品种中蛋白质、油脂与淀粉含量不同相关[26]。其中HX、TG高粱与其他品种高粱平均光谱曲线反射率随波长变化的趋势存在较大差异,HYZ、NY、ZN三种高粱平均光谱曲线趋势则更加相似。综上所述,不同高粱品种在不同波段的反射率差异为高粱品种检测模型提供了有效的判断依据,使高粱品种检测模型能够分辨出不同高粱品种,HX、TG两种高粱的光谱曲线趋势差异将有助于模型识别这两种高粱,HYZ、NY、ZN三种高粱光谱曲线趋势相似,可能会使检测模型出现误识别。

图4 不同品种高粱平均原始光谱曲线图
Fig.4 Curve of average original spectra of different varieties of sorghum

2.2.2 高粱品种检测精度分析

为验证重建光谱数据在品种检测模型中的检测性能,分别建立了基于重建数据以及原始数据的SVM模型,模型在测试集中的检测效果见表2。由表2可知,原始光谱数据的ACC达96.58%,CW-MST++重建光谱数据的ACC达94.52%,其他三种对比算法分别为93.15%、91.78%、87.67%。使用本研究算法得到的高光谱数据对高粱检测的ACC均高于其他三种重建算法,特别是相比于HSCNN+网络重建的光谱数据,ACC提高了6.85%。对于Recall和F1分数,CW-MST++模型重建光谱数据结合SVM模型的Recall和F1分数也均高于其他对比算法。相比原始高光谱数据建模的ACC、Recall、F1分数,CW-MST++网络重建的光谱数据建模效果仅相差2.06%、2.54%、2.52%,且基于光谱重建技术的检测方式具有价格低廉、环境要求低的优势,因此将其用于高粱品种的便捷检测具有较大的可行性。

表2 基于各种高光谱数据建立的品种检测结果
Table 2 Variety detection results based on various hyperspectral data

指标 原始数据 CW-MST++ MST++ HRNet HSCNN+ACC/%Recall/%F1分数/%96.58 96.78 96.66 94.52 94.24 94.14 93.15 93.38 92.58 91.78 90.80 90.88 87.67 88.05 87.51

为与原始高光谱数据的差异进行对比,采用CW-MST++网络重建高光谱数据结合SVM模型考察5个品种高粱的检测精度,绘制的两种检测混淆矩阵见图5。由图5a可知,在原始数据的检测结果中,每个品种的ACC均>90%,在HX、TG 2个品种高粱的ACC均达100%,而在NY、ZN以及HYZ3个品种高粱中产生了一定的检测误差,这也证实了高粱光谱曲线分析中,HX及TG 2品种高粱的光谱曲线与其他高粱有较大差异,而NY、ZN以及HYZ 3品种高粱的光谱曲线相似,会出现误识别的情况。由图5b可知,由CW-MST++网络重建的光谱数据检测精度在HX及TG两个品种高粱中检测精度达100%,对于NY、ZN和HYZ品种高粱检测的ACC分别为90%、94.29%和86.96%。对比两种数据的检测结果可以看出,采用CW-MST++网络重建的光谱数据与原始光谱数据建模结果相差较小,表明采用CW-MST++网络重建的光谱数据可以较好的实现不同高粱品种的检测。

图5 基于原始高光谱数据(a)及CW-MST++网络重建的高光谱数据(b)高粱品种检测的混淆矩阵
Fig.5 Confusion matrix of sorghum variety detection based on original hyperspectral data (a) and reconstructed hyperspectral data by CW-MST++ network (b)

3 结论

本研究分别采用MST++、HRNet、HSCNN+、CW-MST++网络对高粱重建数据集建立重建模型发现,CW-MST++网络重建性能最佳(MRAE为0.017 5、RMSE为0.007 6),且网络参数量及网络浮点运算数较低(Params为1.77 M,Flops为20.80 G)。基于4种重建网络重建的高光谱数据以及原始高光谱数据分别建立SVM高粱品种检测模型发现,基于CW-MST++网络重建数据建立的SVM模型相比其他3种对比网络重建数据的建模效果最优(ACC为94.52%、Recall为94.24%、F1分数为94.14%),与原始高光谱数据相比,CW-MST++网络重建数据ACC、Recall、F1分数分别仅相差2.06%、2.54%、2.52%,且该方法可以降低高光谱数据获取的难度,提高检测效率。研究结果表明,光谱重建技术结合机器学习方法可以应用于酿酒高粱品种检测,并为酿酒高粱品种的检测提供了一种更加便捷、低成本的新思路。

参考文献:

[1]唐三元,谢旗.高粱——小作物大用途[J].生物技术通报,2019,35(5):1.

[2]王志伟,闫凤霞,徐嘉良,等.3种高粱品种淀粉特性和酿造黄酒的风味品质分析[J].食品科学,2019,40(13):45-51.

[3]蒋力力,尹艳艳,杨军林,等.酿酒原料高粱对白酒品质影响的研究进展[J].中国酿造,2022,41(8):6-11.

[4]张晓兵,田建平,胡新军,等.高光谱成像技术结合优化算法窖泥总氮含量的预测[J].中国酿造,2023,42(9):204-210.

[5]孙婷,田建平,胡新军,等.基于高光谱成像技术的酿酒高粱品种分类[J].食品与发酵工业,2021,47(5):186-192.

[6]邵琦,陈云浩,杨淑婷,等.基于随机森林算法的玉米品种高光谱图像鉴别[J].地理与地理信息科学,2019,35(5):34-39.

[7]刘鹏飞,赵怀慈,李培玄.对抗网络实现单幅RGB重建高光谱图像[J].红外与激光工程,2020,49(S1):143-150.

[8]ZHANG J,SU R,FU Q,et al.A survey on computational spectral reconstruction methods from RGB to hyperspectral imaging[J].Sci Rep,2022,12(1):11905.

[9]王雨晨,孔令琴,赵跃进,等.RGB图像高光谱重建的组织血氧饱和度评估[J].光谱学与光谱分析,2023,43(10):3193-3201.

[10]李勇,金秋雨,赵怀慈,等.基于改进残差密集网络的高光谱重建[J].光学学报,2021,41(7):188-197.

[11]ZHAO J, KECHASOV D, REWALD B, et al.Deep learning in hyperspectral image reconstruction from single RGB images-A case study on tomato quality parameters[J].Remote Sens,2020,12(19):3258.

[12]GONG L,ZHU C,LUO Y,et al.Spectral reflectance reconstruction from red-green-blue(RGB)images for chlorophyll content detection[J].Appl Spectrosc,2023,77(2):200-209.

[13]冯耀泽,万仕文,潘胜,等.基于RGB图像光谱重建的鱼糜掺假定量检测研究[J].农业工程学报,2023,39(20):275-282.

[14]CAI Y,LIN J,LIN Z,et al.Mst++:Multi-stage spectral-wise transformer for efficient spectral reconstruction[C]//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops.2022:745-755.

[15]ROY A G,NAVAB N,WACHINGER C.Recalibrating fully convolutional networks with spatial and channel "squeeze and excitation" blocks[J].IEEE T Med Imaging,2018,38(2):540-549.

[16]ZHAO Y, PO L M, YAN Q, et al.Hierarchical regression network for spectral reconstruction from RGB images[C]//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops.2020:422-423.

[17]SHI Z,CHEN C,XIONG Z,et al.Hscnn+:Advanced cnn-based hyperspectral recovery from rgb images[C]//2018 IEEE Conference on Computer Vision and Pattern Recognition Workshops,2018:939-947.

[18]ZHAO M,ZHONG S,FU X,et al.Deep residual shrinkage networks for fault diagnosis[J].IEEE T Ind Inform,2019,16(7):4681-4690.

[19]WANG S,SUN J,FU L,et al.Identification of red jujube varieties based on hyperspectral imaging technology combined with CARS-IRIV and SSA-SVM[J].J Food Process Eng,2022,45(10):e14137.

[20]BRERETON R G,LLOYD G R J A.Support vector machines for classification and regression[J].Analyst,2010,135(2):230-267.

[21]宋蓓蓓,马穗娜,何帆,等.Res2-Unet深度学习网络的RGB-高光谱图像重建[J].光学精密工程,2022,30(13):1606-1619.

[22]HAN L,TIAN J,HUANG Y,et al.Hyperspectral imaging combined with dual-channel deep learning feature fusion model for fast and non-destructive recognition of brew wheat varieties[J].J Food Compos Anal,2024,125:105785.

[23]JIANG X,HU X,HUANG H,et al.Detecting total acid content quickly and accurately by combining hyperspectral imaging and an optimized algorithm method[J].J Food Process Eng,2021,44(11):e13844.

[24]WANG L,SOLE A,HARDEBERG J Y.Densely residual network with dual attention for hyperspectral reconstruction from RGB images[J].Remote Sens,2022,14(13):3128.

[25]LI J, WU C, SONG R, et al.Residual augmented attentional U-shaped network for spectral reconstruction from RGB images[J].Remote Sens,2020,13(1):115.

[26]HUANG M,HE C,ZHU Q,et al.Maize seed variety classification using the integration of spectral and image features combined with feature transformation based on hyperspectral imaging[J].Appl Sci,2016,6(6):183.

Detection of sorghum variety based on CW-MST++network reconstruction of hyperspectral images

HE Lin1,HU Xinjun1,2*,WANG Jun1,TIAN Jianping1,XIE Liangliang1,YANG Haili1,CHEN Manjiao1
(1.School of Mechanical Engineering,Sichuan University of Science and Engineering,Yibin 644000,China;2.Sichuan Provincial Key Laboratory of Brewing Biotechnology and Application,Yibin 644000,China)

Abstract:In order to realize the rapid detection of sorghum varieties,a sorghum variety detection method based on spectral reconstruction technology combined with machine learning classification model was established.Firstly,the soft threshold(ST)function and squeeze-and-excitation(SE)module were embedded in the deep structure of the multi-stage spectral-wise transformer(MST++),and the channel-wise(CW)-MST++was constructed.Using MST++,hierarchical regression network (HRNet) and CNN-based hyperspectral recovery from RGB images(HSCNN+) as controls, the performance of rebuild model was compared using mean relative absolute error(MRAE)and root mean square error(RMSE).Secondly,the Support Vector Machine(SVM)model was established by hyperspectral data of four reconstructed networks,and the performance of the detection model was evaluated by average accuracy (ACC),average recall rate (Recall)and F1 scores.The results showed that compared with MST++,HRNet and HSCNN+networks,the hyperspectral image reconstructed by CW-MST++had the smallest error(MRAE=0.017 5,RMSE=0.007 6 in validation set),low number of network parameters and floating point operations(Params was 1.77M,Flops was 20.80 G), and the SVM model established by the reconstructed hyperspectral data had the optimal prediction effect (ACC=94.52%,Recall=94.24%,F1 scores=94.14 in the testing set).Compared with the original hyperspectral data, the differences in ACC, Recall and F1 scores of hyperspectral data reconstructed by CW-MST++ were only 2.06%, 2.54% and 2.52%,respectively,which realized the rapid and accurate detection of sorghum.

Key words:sorghum;reconstructing spectra;deep learning;hyperspectral images;variety detection

中图分类号:S5-33;TS255.6

文章编号:0254-5071(2024)10-0258-07

doi: 10.11882/j.issn.0254-5071.2024.10.037

引文格式:何林,胡新军,王俊,等.基于CW-MST++网络重建高光谱图像的高粱品种检测[J].中国酿造,2024,43(10):258-264.

收稿日期:2024-01-07 修回日期:2024-06-29

基金项目:四川省科技厅项目(2023YFS0451);酿酒生物技术及应用四川省重点实验室开放课题(NJ2022-04);过程装备与控制工程四川省高校重点实验室(GK202306);四川轻化工大学研究生创新基金资助项目(Y2023097)

作者简介:何 林(1997-),男,硕士研究生,研究方向为重建高光谱与机器视觉。

*通讯作者:胡新军(1987-),男,副教授,博士,研究方向为固态酿造智能化技术。