基于多光谱成像和卷积神经网络的玉米作物营养状况识别方法研究

(整期优先)网络出版时间:2020-06-02
/ 9

基于多光谱成像和卷积神经网络的玉米作物营养状况识别方法研究

吴刚 1, 彭要奇 1, 周广奇 1, 李晓龙 1, 郑永军 1*, 严海军 2

1.中国农业大学工学院,北京 100083; 2.中国农业大学水利与土木工程学院,北京 100083

摘要: 水肥一体化自动装备的使用能够有效提高水肥资源利用率,但需要在作业前获知作物的营养状况及水肥需求量,而通过人工手持测量仪器来获取这些信息,存在着时效性差和劳动强度大等缺点。针对以上问题,本研究以常见的作物玉米为研究对象,使用大疆精灵Ⅲ无人机携带RedEdge-M多光谱相机在田间上空采集玉米多光谱图像,同时使用YLS-D系列植株营养测定仪测量玉米植株的氮素和水分含量等营养信息,根据这些信息将采集的图像分为3个等级(每个等级共包含530幅五通道图像,其中480幅作为训练集,50幅作为验证集),提出了一种基于卷积神经网络的玉米作物营养状况识别方法。并基于TensorFlow深度学习框架搭建了ResNet18卷积神经网络模型,通过向模型输入彩色图像数据和五通道多光谱图像数据,分别训练出适合于彩色图像和多光谱图像的玉米植株营养状况等级识别模型。试验结果表明:训练后的模型能够识别玉米作物的彩色图像和多光谱图像,能够输出玉米的营养状况等级和GPS 信息,识别彩色图像模型在验证集的正确率为84.7%,识别多光谱图像模型在验证集的正确率为90.5%,模型训练平均时间为4.5h,五通道图像识别平均用时为3.56s。该识别方法可快速无损地获取玉米作物的营养状况,为有效提高水肥资源利用率提供了方法和依据。

关键词: 智慧农业;卷积神经网络;多光谱图像;玉米作物;营养状况识别

中图分类号: TP75 文献标志码: A 文章编号: 202001-SA001

引文格式:吴刚, 彭要奇, 周广奇, 李晓龙, 郑永军, 严海军. 基于多光谱成像和卷积神经网络的玉米作物营养状况识别方法研究[J]. 智慧农业(中英文), 2020, 2(1): 111-120.

Citation:Wu Gang, Peng Yaoqi, Zhou Guangqi, Li Xiaolong, Zheng Yongjun, Yan Haijun. Recognition method for corn nutrient based on multispectral image and convolutional neural network[J]. Smart Agriculture, 2020, 2(1): 111-120.

1 引言

玉米已成为中国第一大粮食作物,2019年产量达到26077万吨[1]。玉米作物具有生长周期短,在生长发育期内需要获取大量的水分和养分的特点,为促进玉米高效生产,应根据其需水需肥规律来指导生产,即精准灌溉施肥[2,3]

实现精准灌溉施肥的前提是快速获取作物的营养状况并以此作为参考。非破坏性获取作物营养信息的技术手段主要包括光谱分析[4]、多光谱与高光谱成像[5]以及机器视觉学习[6,7]等,通过对作物光谱响应和图像信息进行分析,可以快速、无损、有效地获取作物的养分信息。以上几种技术,均依赖于图像处理技术。而由于作物生长环境的复杂性,农业图像的处理比工业图像更复杂,传统机器视觉技术通过对作物图像进行分割,结合特征颜色,建立图像特征量与含氮量间关系模型的方法对图像预处理要求较高,且适合于定量分析,难以胜任定性分析,亟需新的图像处理算法来解决这个问题。

卷积神经网络(Convolutional Neural Networks,CNN)是近年发展兴起的一种高效识别方法,可直接处理原始图像,因而得到了广泛应用[8]:刘小刚等[9]提出了一种改进的YOLOv3识别方法,通过训练大量的草莓图像数据集,实现了草莓在复杂环境中的连续识别检测;叶发茂等[10]利用微调的卷积神经网络模型,通过提取查询图像检索特征和估计查询图像每个类别权重,提高了遥感图像的检索性能;汪传健等[11] 提出了一种基于卷积神经网络的农作物精细分类方法,将深度学习技术用于无人机遥感农作物识别,实现了农作物的精细分类;Dyrmann等[12] 设计了卷积神经网络用于鉴别幼苗种类,训练和测试了22种不同的植物幼苗,其正确率达到86.2%;Yao等[13]提出了基于卷积神经网络的高分辨率农业遥感图像分类方法,对GF-1高分辨率卫星的全色图像进行大量训练,分类正确率达到了99.66%。由此看出,卷积神经网络在作物识别分类方面具有极大的优势。

在氮素等营养水平无损检测方面,陈鹏飞和梁飞[14]设置4个氮肥梯度和4个灌溉梯度,开展了基于低空无人机影像光谱和纹理特征的棉花氮素营养诊断研究,发现影像纹理特征参数与植株氮浓度间有显著相关关系;李俊霞和杨俐苹

[15]针对“郑单958”等6个玉米主要杂交品种,设计了4个氮肥水平下(极低氮、低氮、中氮和高氮)的砂培试验,研究了玉米拔节期氮含量、叶片光谱反射率及 SPAD 值的处理间差异;张银杰[16]设置了6个施氮水平,进行了基于叶片光谱分析的玉米氮素营养诊断研究,研究表明,在同一生育期内,随着氮肥的增施,植株氮含量总体呈增加趋势。

为实现玉米作物营养快速检测,采用无人机搭载多光谱相机采集玉米植株图像,结合植株营养测定仪,利用卷积神经网络对作物原始图像进行识别分类,训练出适合于彩色图像和多光谱图像的玉米植株营养状况等级识别模型,以提高检测的时效性和减轻劳动强度,并为精准灌溉施肥提供参考依据。

2 试验区作物营养状况信息采集

2.1 试验区梯度划分 

为提高氮含量的细分梯度,相关学者有关氮素等营养水平的研究内容均是在植株氮含量为4~6水平上展开的[14-16]。因此本研究拟采用氮素6水平,并将营养分为3个等级。

由于天气变化和作物品种存在差异,目前尚没有通用的可以反映作物营养状况信息的图像库,因此需要实地采集玉米的多光谱图像和水氮含量等信息,构建玉米营养状况信息图像库。玉米营养状况信息采集时间为2018年8月4日,地点为中国农业大学通州试验站,玉米品种为“郑单958”,试验场地如图1所示。为了构建施肥梯度,将图1试验场地按区域划分,如图2所示,对不同区域的玉米植株进行差异化氮肥处理,对其生长状况制作出一定梯度。

5ed621f35f50e_html_5b393bae558fc48f.jpg

图1 试验场地鸟瞰图

Fig.1 Aerial view of the test site

5ed621f35f50e_html_6d7b93b20b337cce.jpg

图2 试验场地区域划分示意图

Fig.2 Schematic diagram of regional pision of test site

研究选取CK、N1、N2、N3、N4、N5共计6个区域作为信息采集区域,首先对这6个区域进行梯度施肥。所有底肥处理均为混掺肥750kg/hm2,折合成纯氮约为112.5kg/ hm2,追肥时试验田将施用肥料的纯氮含量分为6个梯度,所有的追肥处理使用的肥料都为尿素,施肥量如表1所示。

表1 各区域施肥量

Table 1 Fertilization amount of the pisions

施肥区域

底肥

(kg/hm2

V6期追肥

(kg/hm2

尿素(kg)

CK

112.5

0

0

N1

112.5

11

5.4

N2

112.5

27

13.2

N3

112.5

43

21.0

N4

112.5

59

28.8

N5

112.5

75

36.6

2.2 信息采集 

本研究将RedEdge-M型号多光谱相机(地面采样距离:在120m处每像素为8cm)固定在大疆精灵Ⅲ无人机机身下部,GPS(Global Positioning System)模块与DLS(Downwelling Light Sensor)模块固定在机身上部,使用充电宝为相机供电,连接后的效果如图3所示。在无风天气、飞行平稳及保持飞行高度为20m的条件下,采集喇叭口期玉米植株的多光谱图像和GPS信息。试飞结果表明,多光谱图像采集效果清晰,无畸变,可以满足作物营养状况信息采集要求。

5ed621f35f50e_html_6530905ee2826cac.jpg

注:1.多光谱相机 2. GPS模块与DLS模块

图3 无人机与多光谱相机连接图

Fig.3 Connection diagram of UAV and multispectral camera

为保证玉米植株营养状况信息与所采集的玉米多光谱图像对应,选用YLS系列植株营养测定仪(型号:YLS-D,厂家:北京盟创伟业科技有限公司),该仪器能够实时检测玉米的叶绿素相对含量、氮含量、叶片水分(叶片水厚度)以及叶片温度。

2.3 营养状况等级划分 

采集完成玉米植株的多光谱图像和营养状况信息后,对玉米植株的氮素含量、水分含量等数据进行分析,以此为依据进行作物多光谱图像分类。以每个区域10棵玉米植株样本的氮素平均值和水分平均值来代表该区域的营养状况水平,各区域在V6期的追肥情况如图4所示,各区域氮素和水分的情况如图5所示。

5ed621f35f50e_html_7c03a455f8732cc7.png

图4 各区域追肥量

Fig.4 Topdressing amount of regions

5ed621f35f50e_html_111aa633e30dd14f.jpg

图5 各区域氮素和水分情况

Fig.5 Nitrogen and water of regions

由以上两图可知,追肥量N5(75kg/hm2)>N4(59kg/hm2)>N3(43kg/hm2)>N2(27kg/hm2)>N1(11kg/hm2)>CK(0kg/hm2),采集到的各区域氮素水平N5(16.19mg/g)>N4(15.19mg/g)>N1(15.09mg/g)>N2(15.01mg/g)>CK(14.76mg/g)>N3(14.67mg/g),从以上数据和图2可以看出,试验田北侧区域的玉米植株氮素水平高于南侧区域,与追肥量增加的大方向一致。但是采集到的氮素水平信息与追肥的梯度并不完全符合,实际N2区域植株的氮素含量(15.01mg/g)略小于N1区域(15.09mg/g),数值上相差较小,N3区域测得的玉米植株氮素含量,低于其他施肥区域,查找原因后发现是受施肥的均匀程度影响。

以植株营养测定仪测定的氮素含量为主要依据,以现场对各区域玉米植株长势的观察为辅助,将CK、N1、N2、N3、N4、N5区域的玉米植株多光谱图像进行分类。由于CK与N3区域的氮素含量均在14.50mg/g至15.00mg/g之间,且长势较为接近,将这2个区域的多光谱图像划分为一个等级;N1、N2、N4区域的氮素含量在数值上较为接近,均处于15.00mg/g至15.50mg/g之间,长势也较相近,将这3个区域的多光谱图像划分为一个等级;N5区域的玉米植株在氮素含量和长势方面都明显高于其他区域的玉米植株,所以将其单独划分为1个等级。最后将所有多光谱图像共分为0、1和2共3个级别,如表2所示,等级越高,代表玉米植株营养状况越好。

表2 植株营养测定仪检测信息

Table 2 Test information from plant nutrition tester

等级

区域

氮含量(mg/g)

叶片水厚度(g/cm2)

0

CK

14.76

1.062

0

N3

14.67

1.091

1

N1

15.09

1.095

1

N2

15.01

1.141

1

N4

15.19

1.109

2

N5

16.19

1.001

3 基于卷积神经网络的多光谱图像识别

3.1 制作训练集和验证集 

采集的多光谱图像分为0、1和2共3个等级,每个等级的多光谱图像总量为800幅,以0等级为例,随机选出530张0等级的五通道图像(即2650张单通道图像),再从这些图像中随机选出50张五通道图像(即250张单通道图像)作为验证集,剩余480张五通道图像(2400张单通道图像)作为训练集。1、2等级的训练集和验证集制作方法同上。最终建立玉米营养状况信息图像库如图6所示,训练集中共有1440张五通道图像(即7200张单通道图像),验证集中共有150张五通道图像(即750张单通道图像),训练集和验证集共计1590张五通道图像(即7950张单通道图像)。

5ed621f35f50e_html_42eaa95c33fa9476.png

图6 玉米营养状况信息图像库结构

Fig.6 Information image library structure of corn nutrition status

同时将多光谱图像中Blue、Green和Red 3个通道的图像合成为RGB彩色图像,进而形成一个只包含普通彩色图像的玉米营养状况图像库。

3.2 ResNet模型构建 

由于所采集的图像是俯拍自然状态下的玉米植株,邻间图像区别较小,在各层传递之间容易导致图像间的区分度消失。因此研究中选取ResNet18作为识别玉米植株图像的基本网络结构,该模型深度合适,允许原始输入信息直接传到后面的层中,具有强大的图像识别能力

[17-19]。搭建的ResNet18卷积神经网络结构图如图7所示,ResNet18共有4组不同的ResNet module,输出通道数依次为64、128、256和512。

5ed621f35f50e_html_f8d1d4cd2d5b4b64.jpg

图7 ResNet18网络结构图

Fig.7 Network structure diagram of ResNet18

在Input_layer中,采用公式(1),将图像每个像素点上的数值从[0,255]按比例缩小到了[-1,1]。

5ed621f35f50e_html_82054dea082afe75.gif (1)

Input_layer输出的图像像素尺寸为224×224,其彩色图像输出通道数为3,五通道图像输出通道数为5。对Input_layer输出的图像数据做如下处理:对于彩色图像,224×224×3的数据分别与64个7×7×3的卷积核做步长为2的卷积操作,输出数据为112×112×64;对于五通道图像,224×224×5的数据分别与64个7×7×5的卷积核做步长为2的卷积操作,输出数据为112×112×64。至此,五通道图像的数据和彩色图像的数据在形状上已经完全一致,均为112×112×64。接下来使用步长为2,池化核为3×3的最大池化操作,将特征图的像素尺寸从112×112缩小为56×56,通道数为64。

池化层输出的数据接下来会经历4组ResNet module。第1组ResNet module输出的特征图像素尺寸为56×56,通道数为64;第2组ResNet module输出的特征图像素尺寸为28×28,通道数为128。此时第2组的第一个ResNet module会面临输入和输出维度不同的情况,输入数据x的通道数为64,经卷积后的数据F(x)的通道数为128,两者无法直接叠加,此时使用128个1×1的卷积核对输入数据x进行升维,这样xF(x)的通道数都变成128,继而继续进行叠加;第3组ResNet module输出的特征图像素尺寸为14×14,输出通道数为256;第4组ResNet module输出的特征图像素尺寸为7×7,输出通道数为512。至此,数据经过了所有的残差模块。

然后对残差模块输出的数据进行spatial_avg操作(全局平均池化操作),即使用tf.reduce_mean()对像素尺寸为7×7的特征图像在高和宽方向都取平均值,输出的特征图像素尺寸为1×1,通道数为512。

最后使用一个全连接层使输出的形状与标签的种类对应,由于图像共有三个标签,使用形状为512×3的矩阵与上一层输出的1×512的矩阵相乘,能得到一个形状为1×3的矩阵,其具体操作如式2所示。

5ed621f35f50e_html_e3a95e3395dbcacb.gif (2)

其中,n=512,y1y2y3值为图片识别结果,即0、1、2等级的概率。

4 试验结果与分析

4.1 试验软硬件环境 

模型训练用计算机配置为:Intel(R) Xeon(R) CPU E5-2620 v4 @2.10GHz,256GB内存,NVIDIA Tesla K40C显卡。操作系统:Ubuntu16.04,训练软件:TensorFlow1.3.0。训练平均用时为4.5h。识别一张五通道图像平均用时为3.56s。

4.2 ResNet18模型精度分析 

经过多次试验,当learning_rate(初始学习率)=0.03,batch_size(一个batch有多少图片)=6,num_epochs(所有数据共迭代次数)=4时,彩色图像训练出来的模型效果最好,训练时的learning_rate和损失loss如图8所示,此时loss已趋于稳定,模型基本拟合。构建的ResNet18模型识别验证集的图像,正确率达到了84.7%。

5ed621f35f50e_html_611571b13b443389.jpg

图8 彩色图像训练学习率和损失变化图

Fig. 8 Changing graph of color image training learning rate and loss

当learning_rate=0.05,batch_size=4,num_epochs=4时,五通道图像训练出的模型效果最好,训练时的learning_rate和loss如图9所示,此时loss已趋于稳定,模型基本拟合。同时ResNet18模型识别验证集的图像,正确率达到了90.5%。

5ed621f35f50e_html_9d52626728fa722.jpg

图9 五通道图像训练学习率和损失变化图

Fig.9 Changing graph of five-channel image training learning rate and loss

整体而言,两个模型的识别正确率分别达到84.7%和90.5%,识别效果比较好,能够精准灌溉施肥作业提供施肥量参考。

4.3 ResNet18模型识别效果 

试验过程中,合成后的五通道图像共有150张,0、1、2等级各包含50张。对验证集进行识别,效果如表3所示。

表3 验证集识别结果

Table 3 Validation set identification

等级

数量

识别为0等级

识别为1等级

识别为2等级

正确率(%)

0

50

40

4

6

80

1

50

3

47

0

94

2

50

1

0

49

98

根据表3可知,模型对2等级图像的识别效果最好(98%),对1等级图像也具有较好的识别效果(94%),对0等级图像的识别错误略多。结合多光谱图像的实际情况,等级2的图像皆为N5区域的植株,N5区域的植株长势明显高于其他区域的图像,所以图像特征区分明显;等级0的图像包含CK区域和N3区域,CK区域的植株存在长势差别较大的情况,有个别小区域玉米植株长势较好,且0等级和1等级的氮素水平区分不大,造成了模型对0等级图像识别效果不够好。若要训练出识别效果更好的模型,只需要按区域种植出梯度更明显的玉米植株即可。

4.4 实地应用测试 

为测试玉米营养状况模型的运行状况与实用性,在通州试验田上空20m以S形轨迹俯拍玉米植株作物图像进行测试。多光谱图像拍摄于追肥前,此时大部分玉米植株长势低矮,氮素含量也不高,基本都符合0等级图像的特征(图10(a)),只有少部分区域的玉米植株长势较好(图10(b))。

5ed621f35f50e_html_6b09674c47080c2a.jpg

(a) (b)

图10 北京通州玉米试验田俯拍图像

Fig.10 Overshoot image of corn experimental

field in Tongzhou,Beijing

这批图像共含有1040张单通道图像,即208张五通道图像,调用模型直接识别这些原始图像,167张图像判定为等级0,40张图像判定为1等级,1张图像判定为2等级,识别的正确率为80.3%,基本能够正确反映出该田地的情况。同时使用读取GPS信息的程序获得这些图像的经纬度信息,两种信息都会自动保存在*.txt文件中,如图11所示。经过测试,应用训练好的模型识别多光谱图像能够输出玉米的营养状况等级和GPS 信息,可应用到实际的精准灌溉施肥作业过程中,方法操作简单,耗时较短,并且具有较高的准确性。

5ed621f35f50e_html_e2fc43a3bdf709bc.jpg

图11实地应用测试模型保存的数据

Fig.11 Data saved by field application test model

5 结论

本研究提出了一种基于多光谱成像技术和卷积神经网络识别玉米营养状况的方法,得到的主要结论如下:

(1)应用TensorFlow深度学习框架,搭建ResNet18卷积神经网络模型,训练出一个可以通过普通彩色图像判断玉米植株营养状况等级的识别模型,识别验证集的正确率达到了84.7%;训练出一个通过五通道多光谱图像判断玉米植株营养状况等级的识别模型,识别验证集的正确率达到了90.5%。

(2)应用训练好的ResNet18模型识别玉米的营养状况信息,无需再对多光谱图像做复杂的处理工作,只需运行应用的程序就可以对RedEdge-M多光谱相机采集的原始图像进行识别,输出图像所对应的营养状况等级、追肥指导意见以及经纬度信息。

研究结果证明基于卷积神经网络的玉米作物营养状况识别方法耗时较短、成本较低,无需对多光谱信息进行复杂的分析处理工作,能够快速有效地为水肥一体化装备提供玉米作物的营养状况信息,对实现精准农业的快速化智能化管理具有重要意义。

在后续研究中将补充其它模型,进行多模型的对比研究,同时根据色度、浓度和光强独立区分的HSI颜色空间对图像进行研究。

参考文献

[1] 国家统计局. 国家统计局关于2019年粮食产量数据的公告[EB/OL]. [2019-12-07].

http://www.gov.cn/xinwen/2019-12/07/content_5459250.htm, 2019-12-07.

[2] 王林权, 周春菊. 夏玉米水肥异区交替灌溉施肥的产量与环境效应研究进展[J]. 植物营养与肥料学报, 2017, 23(6): 1651-1658.

Wang L, Zhou C. Advances in researches of yield and environmental effect of alternate furrow irrigation with separated water and N fertilizer supply on summer maize[J]. Plant Nutrition and Fertilizer Science, 2017, 23(6): 1651-1658.

[3] 向友珍, 张富仓, Mohamed A Rashad, 等. 灌溉施肥对尼罗河三角洲玉米产量和水分利用率的影响[J]. 农业机械学报, 2015, 46(10): 116-126.

Xiang Y, Zhang F, Rashad M, et al. Effects of different irrigation and fertilization strategies on yield and water use efficiency of maize in nile delta[J]. Transactions of the CSAM, 2015, 46(10): 116-126.

[4] Gevaert C M, Suomalainen J, Tang J, et al. Generation of spectral-temporal response surfaces by combining multispectral satellite and hyperspectral UAV imagery for precision agriculture applications[J]. IEEE Journal of Selected Topics in Applied Earth Observations & Remote Sensing, 2017, 8(6): 3140-3146.

[5] Morin M, Lawrence R, Repasky K S, et al. Agreement analysis and spatial sensitivity of multispectral and hyperspectral sensors in detecting vegetation stress at management scales[J]. Journal of Applied Remote Sensing, 2017, 11: 1-11.

[6] 张卫正. 基于视觉与图像的植物信息采集与处理技术研究[D]. 杭州: 浙江大学, 2016.

Zhang W. Study of the plant information acquisition and processing technology based on vision and image[D]. Hangzhou: Zhejiang University, 2016.

[7] 贾彪, 马富裕. 基于机器视觉的棉花氮素营养诊断系统设计与试验[J]. 农业机械学报, 2016, 47(03): 305-310.

Jia B, Ma F. Design and experiment of nitrogen nutrition diagnosis system of cotton based on machine vision[J]. Transactions of the CSAM, 2016, 47(3): 305-310.

[8] Wang D, Zhang M, Li J, et al. Intelligent constellation diagram analyzer using convolutional neural network-based deep learning[J]. Optics Express, 2017, 25(15): 17150-17166.

[9] 刘小刚, 范诚, 李加念, 等. 基于卷积神经网络的草莓识别方法[J]. 农业机械学报, 2020, 51(2): 237-244.

Liu X, Fan C, Li J, et al. Identification method of strawberry based on convolutional neural network[J]. Transactions of the CSAM, 2020, 51(2): 237-244.

[10] 叶发茂, 董萌, 罗威, 等. 基于卷积神经网络和重排序的农业遥感图像检索[J]. 农业工程学报, 2019, 35(15): 138-145.

Ye F, Dong M, Luo W, et al. Agricultural remote sensing image retrieval based on convolutional neural network and reranking[J]. Transactions of the CSAE, 2019, 35(15): 138-145.

[11] 汪传建, 赵庆展, 马永建, 等. 基于卷积神经网络的无人机遥感农作物分类[J]. 农业机械学报, 2019, 50(11): 161-168.

Wang C, Zhao Q, Ma Y, et al. Crop Identification of drone remote sensing based on convolutional neural network[J]. Transactions of the CSAM, 2019, 50(11): 161-168.

[12] Dyrmann M, Karstoft H, Midtiby H S. Plant species classification using deep convolutional neural network[J]. Biosystems Engineering, 2016, 151: 72-80.

[13] Yao C, Zhang Y, Liu H. Application of convolutional neural network in classification of high resolution agricultural remote sensing images[J]. ISPRS - International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2017, XLII-2/W7: 989-992.

[14] 陈鹏飞, 梁飞. 基于低空无人机影像光谱和纹理特征的棉花氮素营养诊断研究[J]. 中国农业科学, 2019, 52(13): 2220-2229.

Chen P, Liang F. Cotton nitrogen nutrition diagnosis based on spectrum and texture feature of images from low altitude unmanned aerial vehicle[J]. Scientia Agricultura Sinica, 2019, 52(13): 2220-2229.

[15] 李俊霞, 杨俐苹. 不同品种玉米氮含量与叶片光谱反射率及 SPAD 值的相关性[J].中国土壤与肥料, 2015, (3): 34-39.

Li J, Yang L. The correlation of total nitrogen content with leaf spectral reflectance and SPAD values in different maize varieties[J]. Soil and Fertilizer Sciences in China, 2015, (3): 34-39.

[16] 张银杰. 基于叶片光谱分析的玉米氮素营养诊断研究[D]. 北京: 中国农业科学院, 2019.

Zhang Y. Research on diagnosis of nitrogen status in maize based on leaf spectral analysis [D]. Beijing: Chinese Academy of Agricultural Sciences, 2019.

[17] Sun Y, Xue B, Zhang M, et al. Completely automated CNN architecture design based on blocks[J]. IEEE Transactions on Neural Networks and Learning Systems, 2019, 31(4):1242-1254.

[18] Dominguez-Sanchez A, Cazorla M, Orts-Escolano S. Pedestrian movement direction recognition using convolutional neural networks[J]. IEEE Transactions on Intelligent Transportation Systems, 2017, 18(12): 3540-3548.

[19] Wang Z, Hu M, Zhai G. Application of deep learning architectures for accurate and rapid detection of internal mechanical damage of blueberry using hyperspectral transmittance data[J]. Sensors (Basel), 2018, 18(4): 1126-1140.

Recognition method for corn nutrient based on multispectral image and convolutional neural network

Gang Wu1, Yaoqi Peng1, Guangqi Zhou1, Xiaolong Li1, Yongjun Zheng1*, Haijun Yan2

(1.College of Engineering, China Agricultural University, Beijing 100083, China

2.College of Water Resources & Civil Engineering, China Agricultural University, Beijing 100083, China)

Abstract: Excessive application of water and fertilizer not only causes resources serious waste of, but also causes serious environmental pollution. The implementation of precision irrigation and fertilization can effectively reduce nutrient loss and environmental pollution, save irrigation water and improve the utilization rate of water and fertilizer resources, which is one of the important ways to promote the sustainable development of agriculture. The use of the integrated water-fertilizer equipment can effectively improve the utilization rate of water-fertilizer resources, but it is necessary to know the nutritional status of crops and water-fertilizer demand before operation. To acquire the information by hand-held measuring instruments, there are some disadvantages, such as poor timeliness and high labor intensity. In response to the above problems, this study took the common corn crop as an example, used the DJI Phantom III drone to carry RedEdge-M multispectral camera to collect multispectral images of corn crops over the fields, and measured nitrogen and moisture content of corn plants by YLS-D series plant nutrition tester. Based on this information, the collected images were pided into 3 levels, each level contains 530 five channel images (2650 single channel images), including 480 five channel images (2400 single channel images) in the training set and 50 five channel images (250 single channel images) in the verification set, and a method of identifying the nutritional status of corn crops based on convolutional neural network was proposed. Based on the TensorFlow deep learning framework, ResNet18 convolution neural network model was constructed. By entering color image data and five-channel multispectral image data into the model, the nutritional status recognition model of corn plant suitable for color image and multispectral image was trained, and the experimental results showed that the trained model could be used to recognize the multispectral images of corn, and the nutritional status of corn, topdressing guidance and GPS information could be outputted, the correct rate of the recognition color image model in the verification set was 84.7%. The correct rate of identifying multispectral image model in the verification set was 90.5%, the average time of model training was 4.5h, and the average time of recognizing a five channel image is 3.56 seconds, which can detect the nutritional status of corn crops quickly and undamaged, and provides a theoretical and technical basis for the accuracy of the application of water fertilizer in intelligent agriculture.

Key words: intelligent agriculture; convolution neural network; multispectral image; corn crop; nutritional recognition method

收稿日期:2020-01-03 修订日期:2020-03-08

基金项目:国家重点研发计划(2017YFD0201502)

作者简介:吴 刚(1977-),男,博士,副教授,研究方向:农业智能化与图像识别研究,Email:wugang@cau.edu.cn。

* 通讯作者:郑永军(1973-),男,博士,教授,研究方向:农业智能装备与无人机应用研究,电话:010-62736385,Email:zyj@cau.edu.cn。

doi: 10.12133/j.smartag.2020.2.1.202001-SA001

5ed621f35f50e_html_ef6c6a39cb634e13.jpg