首頁
產(chǎn)品系列
行業(yè)應(yīng)用
渠道合作
新聞中心
研究院
投資者關(guān)系
技術(shù)支持
關(guān)于創(chuàng)澤
| En
 
  當(dāng)前位置:首頁 > 新聞資訊 > 機(jī)器人應(yīng)用 > 農(nóng)業(yè)機(jī)器人視覺識(shí)別雜草技術(shù)  
 

農(nóng)業(yè)機(jī)器人視覺識(shí)別雜草技術(shù)

來源:CAAI認(rèn)知系統(tǒng)與信息處理專委會(huì)      編輯:創(chuàng)澤      時(shí)間:2020/6/10      主題:其他   [加盟]
雜草是農(nóng)作物生產(chǎn)中的一大威脅,因?yàn)樗c農(nóng)作物爭(zhēng)奪養(yǎng)分、水分、空間和光照。每年,雖然投入了大量的勞力、除草劑和精力,但雜草的侵襲給全世界的農(nóng)業(yè)生產(chǎn)造成了巨大的損失。目前,化學(xué)除草仍是農(nóng)業(yè)生產(chǎn)體系中控制雜草的主要方式。通過在全田均勻噴灑除草劑,可以迅速消滅大部分雜草,成本低、效率高。隨著人們對(duì)食品安全和環(huán)境保護(hù)的日益重視,盡量減少化學(xué)除草劑的使用是大勢(shì)所趨。通過以非化學(xué)方式自動(dòng)清除雜草或精準(zhǔn)施用除草劑,機(jī)器人系統(tǒng)被認(rèn)為是減少傳統(tǒng)農(nóng)業(yè)中二氧化碳排放和農(nóng)用化學(xué)品環(huán)境負(fù)荷的可行選擇。為了實(shí)現(xiàn)高性能的機(jī)器人除草,特別是行內(nèi)處理,必須正確檢測(cè)和定位作物和雜草。世界各地的研究人員已經(jīng)探索出了廣泛的植物檢測(cè)和定位方法,這些方法基于RTK GPS(實(shí)時(shí)運(yùn)動(dòng)學(xué)全球定位系統(tǒng))、機(jī)器視覺、激光傳感器、X射線、超聲波等。RTK GPS系統(tǒng)可以為機(jī)器人除草提供作物植株和雜草的絕對(duì)位置,其前提是在處理前利用RTK GPS引導(dǎo)種植系統(tǒng)對(duì)作物進(jìn)行種植,或者已經(jīng)建立了作物/雜草分布圖[1,2];赗TK-GPS的除草系統(tǒng)不會(huì)受到雜草密度、陰影、缺株的不利影響,但會(huì)受到衛(wèi)星分布、天氣狀況、無線電干擾和地理環(huán)境的影響。一些研究者研究了用激光傳感器檢測(cè)植物的方法[3,4,5]。激光傳感器通常價(jià)格相對(duì)較高,并且需要復(fù)雜的程序來處理輸出的三維點(diǎn)云。X射線可以用于作物檢測(cè),因?yàn)橹参锏闹髑o會(huì)吸收X射線能量[6]。然而,X射線系統(tǒng)的安全性和成本是人們最關(guān)心的問題。在這一領(lǐng)域的研究報(bào)道非常少。隨著計(jì)算機(jī)技術(shù)、圖形學(xué)和圖像處理技術(shù)的快速發(fā)展,機(jī)器視覺已被廣泛應(yīng)用于各種農(nóng)業(yè)任務(wù)中。沿作物行的自主引導(dǎo)、單個(gè)植株的檢測(cè)、機(jī)器人除草的雜草圖繪制等都是應(yīng)用機(jī)器視覺的重要領(lǐng)域。由于機(jī)器視覺可以提供目標(biāo)物的顏色、形狀、紋理、深度等豐富的信息,且精度相當(dāng)高,成本相對(duì)較低,因此以往關(guān)于植物檢測(cè)的研究大多基于機(jī)器視覺。                       

 圖1 各類農(nóng)業(yè)機(jī)器人
田間環(huán)境是復(fù)雜多變的非結(jié)構(gòu)化環(huán)境,受氣候、時(shí)間、農(nóng)藝措施等因素影響。因此,研究人員在設(shè)計(jì)機(jī)器視覺系統(tǒng)和圖像處理算法時(shí),必須考慮到除草作業(yè)的要求以及田間環(huán)境的特點(diǎn)。基于機(jī)器視覺的系統(tǒng)應(yīng)用于機(jī)器人除草中,一個(gè)值得關(guān)注的問題是,它們很可能受到自然光的影響,而自然光會(huì)隨著時(shí)間的變化而變化。這主要給植被(作物和雜草)和背景(裸露的土壤、巖石和殘留物)之間的分割以及特征提取帶來困難。另一個(gè)挑戰(zhàn)是區(qū)分外表相似的農(nóng)作物和雜草。此外,當(dāng)植物之間發(fā)生嚴(yán)重遮擋時(shí),識(shí)別單個(gè)植物是非常具有挑戰(zhàn)性的。到目前為止已經(jīng)在1)應(yīng)對(duì)不同的室外光照,2)作物/雜草識(shí)別方面付出了大量的努力。本文根據(jù)近期發(fā)表的論文Review of Machine-Vision-Based Plant Detection Technologies forRobotic Weeding,一起了解相關(guān)工作。
 
二、處理多變的自然光
當(dāng)機(jī)器視覺系統(tǒng)在野外環(huán)境中工作時(shí),日光的強(qiáng)度和光譜內(nèi)容可能會(huì)隨著時(shí)間的推移而變化。在晴天,由于圖像中存在高光和陰影,圖像處理變得更加困難。因此,有必要設(shè)計(jì)出對(duì)光線變化具有魯棒性的系統(tǒng)及其算法。許多研究者已經(jīng)研究了在不同自然光照下提高機(jī)器視覺系統(tǒng)性能的方法,如使用陰影、特別注意選擇分割指數(shù),或其他方法使圖像處理算法對(duì)可變光照更加強(qiáng)大。

A. 陰影和人工照明
在許多研究中,為了獲得恒定的光照條件,采用了人工照明和遮光等物理方法。如圖1(a)所示,[7]所述的雜草識(shí)別系統(tǒng)擁有三盞400 W金屬鹵素?zé)舻膶S弥参餆魜碚樟烈曇埃⒂幸粋(gè)防光的聚乙烯薄膜罩來遮擋自然光。商用機(jī)器人除草系統(tǒng)Steketee IC[8]的金屬罩下安裝有攝像頭和大功率LED燈,用于監(jiān)控每行作物,如圖1(b)所示。金屬罩保證了不會(huì)受到陽光和陰影的影響。圖1(c)中的BoniRob農(nóng)業(yè)田間機(jī)器人[9]也是利用陰影以及人工照明來控制作業(yè)區(qū)域的光照度。有些系統(tǒng)只采用人工照明來維持相對(duì)穩(wěn)定的照明條件。如圖1(d)所示,Robovator行內(nèi)除草系統(tǒng)[10]在每個(gè)攝像頭后面安裝了一個(gè)鹵素?zé),以保持相?duì)穩(wěn)定的照明。但在圖像采集區(qū)域上方?jīng)]有配備遮擋物。AgBot II[11,12]在攝像頭后面配備了脈沖照明模塊,以提高采集圖像的質(zhì)量,如圖1(e)所示。至于這兩套系統(tǒng),從環(huán)境中反射的自然光及其機(jī)械部件的陰影仍可能影響機(jī)器視覺系統(tǒng)。對(duì)于視場(chǎng)較窄的視覺系統(tǒng)來說,通過拼接機(jī)械方案和人工照明來應(yīng)對(duì)多變的自然光,降低開發(fā)圖像處理算法的難度。然而,一些除草系統(tǒng),如圖1(f)所示的Garford Robocrop InRow除草機(jī)[13],使用每臺(tái)攝像機(jī)監(jiān)視多行作物。為了獲得足夠?qū)挼囊曇,攝像機(jī)應(yīng)安裝在較高的位置。在這種情況下,陰影和人工照明會(huì)導(dǎo)致機(jī)器更加笨重和昂貴。許多研究人員堅(jiān)持不懈地致力于設(shè)計(jì)對(duì)可變光照更為穩(wěn)健的圖像處理算法。
 
B. 考慮光照變化的圖像處理
在大多數(shù)植物檢測(cè)方法中,首先要對(duì)植被(農(nóng)作物和雜草)和土壤背景進(jìn)行分割,然后進(jìn)行農(nóng)作物/雜草識(shí)別和定位程序。因此,植被和土壤背景的分割直接受到光照條件變化的影響。目前大多方法均在自然光照下采集的圖像上進(jìn)行了測(cè)試,取得了一些良好的效果。但是,現(xiàn)場(chǎng)條件復(fù)雜多變,一種指數(shù)或分割方法很難具有普遍適用性。在更具挑戰(zhàn)性的情況下,如處理中午在強(qiáng)烈陽光下采集的帶有部分陰影的圖像,需要進(jìn)一步的測(cè)試和驗(yàn)證,以改進(jìn)現(xiàn)有的方法,開發(fā)出更通用、更穩(wěn)健的方法。
 
三、作物/雜草識(shí)別  
在機(jī)器人除草的作物和雜草檢測(cè)程序中,最重要的一步是正確區(qū)分作物植株和雜草。由于雜草的種類繁多且分布不規(guī)則,而農(nóng)作物和雜草在物理特征上又有相似之處,因此區(qū)分農(nóng)作物和雜草并不是一件容易的事情。傳統(tǒng)的方法通常是利用農(nóng)作物和雜草在顏色(或光譜特征)、形狀、質(zhì)地、大小、高度和分布等特征上的差異。隨著深度學(xué)習(xí)技術(shù)的興起,越來越多的研究者開始應(yīng)用深度神經(jīng)網(wǎng)絡(luò)來進(jìn)行端到端的作物/雜草識(shí)別。
 
A. 基于顏色的作物/雜草識(shí)別
雖然大多數(shù)作物和雜草都是綠色的,但它們的光譜特征是不同的。直觀地說,它們呈現(xiàn)出不同的綠色。顏色特征的提取比較簡(jiǎn)單快速,這對(duì)于根據(jù)顏色的區(qū)別來區(qū)分農(nóng)作物和雜草是有利的;陬伾卣鞯姆椒ㄅc基于紋理或形狀特征的方法相比,通常不那么復(fù)雜。當(dāng)待區(qū)分植物的顏色(光譜特征)比較接近時(shí),使用顏色特征不能達(dá)到滿意的區(qū)分效果。在更多的研究中,研究人員將顏色與其他特征結(jié)合起來進(jìn)行作物/雜草的識(shí)別。
 
B. 基于形狀的作物/雜草識(shí)別
由于田間植物的葉子形狀各異,為視覺上區(qū)分不同植物提供了重要的信息來源。因此,許多方法設(shè)計(jì)并提取形狀特征來區(qū)分作物和雜草。當(dāng)植物葉子完好無損且無遮擋時(shí),基于形狀的方法可以非常有效。當(dāng)植物葉片上有重疊和損傷時(shí),提取形狀特征的難度明顯增加。此外,由于作物和雜草種類繁多,目前還缺乏一套通用的形狀特征用于作物/雜草的識(shí)別。
 
C. 基于紋理的作物/雜草識(shí)別
 在田間圖像中,由于植物在葉子大小、輪廓、脈絡(luò)分布和密度上的差異,植物呈現(xiàn)出不同的紋理。因此,可以利用紋理特征來區(qū)分作物和雜草;诩y理的方法在植物冠層的紋理頻率存在顯著差異的情況下非常有用。與形狀特征類似,紋理特征提取也是一個(gè)相對(duì)復(fù)雜、計(jì)算量大的圖像處理過程。通常情況下,特征選擇和降維算法來選擇貢獻(xiàn)度較好的特征作為分類器的輸入。紋理特征的優(yōu)點(diǎn)是當(dāng)作物和雜草的葉子相互遮擋時(shí),它比形狀特征在分離和識(shí)別方面更加穩(wěn)健。
 
D. 基于高度的作物/雜草識(shí)別
通常,在同一田塊中,作物植株的高度與雜草的高度大體相近,而與雜草的高度不同。特別是在移栽的作物田中,作物植物在高度上比雜草有明顯的優(yōu)勢(shì)。立體視覺系統(tǒng)可以獲得視野內(nèi)的深度信息,這為根據(jù)作物和雜草的高度進(jìn)行分割提供了一種方法;诹Ⅲw視覺的方法優(yōu)勢(shì)明顯,因?yàn)樗鼈兛梢岳枚S圖像的信息,同時(shí)引入植物的高度。另一方面,它們的缺點(diǎn)是需要復(fù)雜而耗時(shí)的程序來處理三維點(diǎn)云數(shù)據(jù)。
 
E. 基于分布的作物/雜草識(shí)別
由于大部分農(nóng)作物都是按一定的行距種植的,現(xiàn)有的很多方法都是根據(jù)農(nóng)作物植株的線性分布來提取農(nóng)作物行,在此基礎(chǔ)上可以有效地將農(nóng)作物與行間雜草分開。植物的空間排列可以成為一個(gè)可靠的特征,因?yàn)樗芤曈X外觀變化的影響更小。但是,它需要根據(jù)作物種植模式對(duì)每塊田地進(jìn)行調(diào)整,并且受到缺株和種植不準(zhǔn)確的干擾。
 
F. 基于深度學(xué)習(xí)的作物/雜草識(shí)別
由于作物和雜草種類繁多,且缺乏一個(gè)通用的特征,大多數(shù)方法通過結(jié)合多個(gè)特征來判別作物和雜草。針對(duì)不同的識(shí)別對(duì)象和環(huán)境,選擇合適的特征和分類方法是提高算法魯棒性的關(guān)鍵。與傳統(tǒng)方法相比,深度學(xué)習(xí)技術(shù)極大地改變了特征選擇和分類方式。深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)呈現(xiàn)出強(qiáng)大的特征提取能力,可以進(jìn)行端到端的預(yù)測(cè)。深度學(xué)習(xí)技術(shù)在作物和雜草識(shí)別中的應(yīng)用已成為新的研究前沿。深度學(xué)習(xí)方法的性能明顯優(yōu)于依靠手工制作特征的傳統(tǒng)方法。它們還呈現(xiàn)出良好的泛化能力,這對(duì)于在真實(shí)的農(nóng)業(yè)環(huán)境中工作是一個(gè)重要的特征,因?yàn)橹参锏姆N類和外觀會(huì)隨著田地和表象的變化而變化。然而,絕大多數(shù)基于深度學(xué)習(xí)的方法都采用監(jiān)督學(xué)習(xí),需要大量的訓(xùn)練數(shù)據(jù)才能獲得最佳性能。
 
G. 現(xiàn)有數(shù)據(jù)集
目前,能夠找到的開源野外圖像數(shù)據(jù)集非常少。這主要是由于植物種類和田間條件的多樣性,而且田間圖像的標(biāo)注過程具有挑戰(zhàn)性,非常耗時(shí)。其中一個(gè)被廣泛使用的公開田間圖像數(shù)據(jù)集是由Chebrolu等人創(chuàng)建的[9]。該數(shù)據(jù)集包含了一個(gè)農(nóng)業(yè)機(jī)器人上配備的傳感器收集的5TB數(shù)據(jù),包括一個(gè)4通道多光譜相機(jī)、一個(gè)RGB-D傳感器和其他傳感器,在三個(gè)月的時(shí)間里從甜菜田里收集到的數(shù)據(jù)。目前,仍缺乏大規(guī)模、高質(zhì)量、多物種、開源的田間圖像數(shù)據(jù)集,用于訓(xùn)練植物深度識(shí)別模型,進(jìn)行公平比較,促進(jìn)該研究領(lǐng)域的技術(shù)進(jìn)步。
  
四、結(jié)論
從目前研究情況可以明確以下幾點(diǎn):1)為了應(yīng)對(duì)野外環(huán)境中多變的自然光,已經(jīng)提出了大量的物理解決方案以及算法,而物理解決方案被認(rèn)為更可靠,更容易實(shí)現(xiàn)。2)雖然基于深度學(xué)習(xí)的方法已經(jīng)優(yōu)于傳統(tǒng)的手工的特征方法,但將手工的特征和其他先驗(yàn)知識(shí)與深度學(xué)習(xí)模型相結(jié)合,有望減少訓(xùn)練和重新調(diào)整模型的標(biāo)注工作;3)立體相機(jī)和多光譜相機(jī)可以參與到更多的系統(tǒng)中,因?yàn)樗鼈兛梢蕴峁└嗟男畔,有助于提高系統(tǒng)在挑戰(zhàn)性條件下的準(zhǔn)確性和魯棒性。我們預(yù)計(jì),未來在在線大數(shù)據(jù)和計(jì)算源的支持下,基于人工智能和通信技術(shù)的進(jìn)步,植物識(shí)別將更加準(zhǔn)確和精細(xì)。
  



蘇州行政審批局實(shí)現(xiàn)導(dǎo)引機(jī)器人導(dǎo)覽服務(wù)

蘇州行政審批局實(shí)現(xiàn)機(jī)器人導(dǎo)覽服務(wù)。5G 高速互聯(lián)網(wǎng)接入服務(wù)。異地超高清視頻通話

機(jī)器人示教學(xué)習(xí):高級(jí)技能學(xué)習(xí)方法(學(xué)習(xí)計(jì)劃和學(xué)習(xí)目標(biāo))

人類教師提供的示教被用來推斷執(zhí)行高級(jí)技能的意圖,現(xiàn)代方法也使用基于獎(jiǎng)勵(lì)函數(shù)的強(qiáng)化學(xué)習(xí)方法來實(shí)現(xiàn)期望目標(biāo)

機(jī)器人示教學(xué)習(xí):學(xué)習(xí)低級(jí)技能運(yùn)動(dòng)基元軌跡運(yùn)動(dòng)技能

低級(jí)技能學(xué)習(xí)或建模的三種主要方法:動(dòng)態(tài)運(yùn)動(dòng)基元(DMP),高斯混合建模與回歸(GMM-GMR),隱馬爾科夫模型(HMM)

商業(yè)化移動(dòng)機(jī)器人的感知系統(tǒng)設(shè)計(jì)

機(jī)器人感知系統(tǒng)包括傳感器的選擇和配置,以及算法和實(shí)現(xiàn),利用了一個(gè)單目相機(jī),一個(gè)短程二維激光測(cè)距儀,車輪編碼器和慣性測(cè)量單元。

教育機(jī)器人發(fā)展階段及特點(diǎn)

教育機(jī)器人經(jīng)歷了從概念先行到價(jià)格營(yíng)銷到回歸內(nèi)容與價(jià)值本質(zhì)的發(fā)展階段變遷

教育機(jī)器人與機(jī)器人教育的區(qū)別

教育服務(wù)機(jī)器人:指具有教與學(xué)智能的服務(wù)機(jī)器人,機(jī)器人教育:模塊化機(jī)器人和機(jī)器人套件是機(jī)器人教育中常見 的輔助產(chǎn)品

機(jī)器人常用外部傳感器參數(shù)及性能對(duì)比

機(jī)器人對(duì)環(huán)境的感知大多通過激光雷達(dá)、攝像頭、毫米波雷達(dá)、超聲波傳感器、GPS這五類傳感器及其之間的組合來實(shí)現(xiàn)自主移動(dòng)功能

人與機(jī)器人交互時(shí)代的社會(huì)認(rèn)知

與機(jī)器人互動(dòng)時(shí)研究人的大腦將有助于更清晰、更深入地了解人機(jī)交互,從而為社交機(jī)器人的春天奠定基礎(chǔ),將社會(huì)維度整合到人與這些機(jī)器的交流中來加速人與機(jī)器人的交互研究,有助于推動(dòng)創(chuàng)造真正的社交機(jī)器人

電子皮膚和機(jī)器學(xué)習(xí)在智能軟體機(jī)器人的應(yīng)用

基于電子皮膚的軟體機(jī)器人傳感、機(jī)器學(xué)習(xí)在柔性電子皮膚上的應(yīng)用、形狀感知、面向軟體機(jī)器人的反饋控制和機(jī)器人的操作

機(jī)器人常用避障傳感器

避障使用的傳感器各種各樣,其特點(diǎn)和適用范圍也不同。根據(jù)不同的原理,可分為:超聲波傳感器、紅外傳感器、激光傳感器和視覺傳感器等

機(jī)器人輔助穿衣過程中用戶上肢運(yùn)動(dòng)實(shí)時(shí)追蹤方法

機(jī)器人輔助穿衣過程中,使用一種多傳感器信息融合的人體骨骼實(shí)時(shí)追蹤方法,使機(jī)器人既可以基于力的信息自動(dòng)改變運(yùn)動(dòng)軌跡從而保證用戶安全,又可以完成穿衣任務(wù)

下肢外骨骼機(jī)器人步態(tài)建模及其控制方法研究

在下肢外骨骼機(jī)器人的穩(wěn)定性評(píng)估、步態(tài)規(guī)劃和平衡控制中,人機(jī)系統(tǒng)質(zhì)心是重要的參數(shù)之一
 
資料獲取
新聞資訊
== 資訊 ==
» 人形機(jī)器人未來3-5年能夠?qū)崿F(xiàn)產(chǎn)業(yè)化的方
» 導(dǎo)診服務(wù)機(jī)器人上崗門診大廳 助力醫(yī)院智慧
» 山東省青島市政府辦公廳發(fā)布《數(shù)字青島20
» 關(guān)于印發(fā)《青海省支持大數(shù)據(jù)產(chǎn)業(yè)發(fā)展政策措
» 全屋無主燈智能化規(guī)范
» 微波雷達(dá)傳感技術(shù)室內(nèi)照明應(yīng)用規(guī)范
» 人工智能研發(fā)運(yùn)營(yíng)體系(ML0ps)實(shí)踐指
» 四驅(qū)四轉(zhuǎn)移動(dòng)機(jī)器人運(yùn)動(dòng)模型及應(yīng)用分析
» 國(guó)內(nèi)細(xì)分賽道企業(yè)在 AIGC 各應(yīng)用場(chǎng)景
» 國(guó)內(nèi)科技大廠布局生成式 AI,未來有望借
» AIGC領(lǐng)域相關(guān)初創(chuàng)公司及業(yè)務(wù)場(chǎng)景梳理
» ChatGPT 以 GPT+RLHF 模
» AIGC提升文字 圖片滲透率,視頻 直播
» AI商業(yè)化空間前景廣闊應(yīng)用場(chǎng)景豐富
» AI 內(nèi)容創(chuàng)作成本大幅降低且耗時(shí)更短 優(yōu)
 
== 機(jī)器人推薦 ==
 
迎賓講解服務(wù)機(jī)器人

服務(wù)機(jī)器人(迎賓、講解、導(dǎo)診...)

智能消毒機(jī)器人

智能消毒機(jī)器人

機(jī)器人底盤

機(jī)器人底盤

 

商用機(jī)器人  Disinfection Robot   展廳機(jī)器人  智能垃圾站  輪式機(jī)器人底盤  迎賓機(jī)器人  移動(dòng)機(jī)器人底盤  講解機(jī)器人  紫外線消毒機(jī)器人  大屏機(jī)器人  霧化消毒機(jī)器人  服務(wù)機(jī)器人底盤  智能送餐機(jī)器人  霧化消毒機(jī)  機(jī)器人OEM代工廠  消毒機(jī)器人排名  智能配送機(jī)器人  圖書館機(jī)器人  導(dǎo)引機(jī)器人  移動(dòng)消毒機(jī)器人  導(dǎo)診機(jī)器人  迎賓接待機(jī)器人  前臺(tái)機(jī)器人  導(dǎo)覽機(jī)器人  酒店送物機(jī)器人  云跡科技潤(rùn)機(jī)器人  云跡酒店機(jī)器人  智能導(dǎo)診機(jī)器人 
版權(quán)所有 © 創(chuàng)澤智能機(jī)器人集團(tuán)股份有限公司     中國(guó)運(yùn)營(yíng)中心:北京·清華科技園九號(hào)樓5層     中國(guó)生產(chǎn)中心:山東日照太原路71號(hào)
銷售1:4006-935-088    銷售2:4006-937-088   客服電話: 4008-128-728