Et maskinsynssystem, der er i stand til at lokalisere og identificere æblekongeblomster i klynger af blomster på træer i frugtplantager, blev udtænkt af Penn State-forskere - et kritisk tidligt skridt i udviklingen af et robotbestøvningssystem - i en første af sin slags undersøgelse .
Æbleblomster vokser i grupper på fire til seks blomster knyttet til grene, og midterblomsten er kendt som kongeblomsten. Denne blomst åbner først i klasen og vokser normalt den største frugt. Så det er nøglemålet for et robotbestøvningssystem, ifølge forsker Long He, assisterende professor i landbrugs- og biologisk teknik.
Insektbestøvning har traditionelt været påberåbt for æbleproduktivitet. Imidlertid tyder beviser på, at bestøvningstjenester, både fra tamme honningbier og vilde bestøvere, ikke matcher stigende krav, bemærkede han. På grund af koloni kollaps uorden, har honningbier over hele verden døet med alarmerende hastigheder. Som følge heraf har producenterne brug for alternative bestøvningsmetoder.
Denne undersøgelse er den seneste udført af He's forskergruppe i College of Agricultural Sciences, som er dedikeret til at udvikle robotsystemer til at udføre arbejdskrævende landbrugsopgaver såsom svampeplukning, æbletræbeskæring og udtynding af grønne frugter. Det primære mål med dette projekt, forklarede han, var at udvikle et dybt læringsbaseret visionssystem, der præcist kunne identificere og lokalisere kongeblomster i trækroner.
"Vi tror, at dette resultat vil give basisinformation for et robotbestøvningssystem, som ville føre til effektiv og reproducerbar bestøvning af æbler for at maksimere udbyttet af frugter af høj kvalitet," sagde han. "I Pennsylvania kan vi stadig stole på bier til at bestøve æbleafgrøder, men i andre regioner, hvor bi-døden har været mere alvorlig, kan avlerne have brug for denne teknologi før end senere."
Xinyang Mu, ph.d.-studerende ved Institut for Landbrugsbiologisk Teknik, stod i spidsen for undersøgelsen af kongeblomsten. Mu brugte Mask R-CNN – et populært computerprogram til dyb indlæring, der udfører segmentering på pixelniveau for at detektere objekter, der delvist er skjult af andre objekter – til at identificere og lokalisere kongeblomsterne i et maskinsynssystem.
For at bygge den Mask R-CNN-baserede detektionsmodel, tog han hundredvis af klyngebilleder af æbleblomster. Derefter udviklede han en kongeblomstsegmenteringsalgoritme til at identificere og lokalisere kongeblomsterne fra det rå datasæt af æbleblomstbilleder. Forskningen blev udført ved Penn State's Fruit Research and Extension Center, Biglerville.
Gala og Honeycrisp æble sorter blev udvalgt til testene. Testtræerne blev plantet i 2014 med træafstand på omkring 5 fod (Gala) og 6 1/2 fod (Honeycrisp). Disse træer blev trænet i høj spindel baldakin arkitektur, med en gennemsnitlig højde på omkring 13 fod. Billedopsamlingssystemet med et kamera var monteret på et forsyningskøretøj, der var manøvreret mellem trærækker.
At træne maskinsynssystemet til at lokalisere kongeblomster var udfordrende, påpegede Mu, fordi de har samme størrelse, farve og form som de laterale blomster i klaser, og kongeblomsterne er typisk skjult af omgivende blomster på grund af deres centrale placering.
For at opfylde kravene til overførselslæring til Mask R-CNN-modeltræning blev råbilleder mærket i to foruddefinerede klasser: individuelle blomster og okkluderede blomster. For at øge præcisionen blev træningsdatasættet forstørret med fire gange ved hjælp af data-augmentation-tilgange, forklarede Mu.
"For at skelne kongeblomster fra laterale blomster blev den mest centrale blomst i hver blomsterklase målrettet eller lokaliseret," sagde han. "Visionssystemet lokaliserede automatisk blomsterklaserne separat baseret på en todimensionel blomstertæthedskortlægningstilgang. Inden for hver detekteret blomsterklase blev blomsten – eller masken – i den mest centrerede position bestemt som målkongeblomsten.
I resultater for nylig offentliggjort i Smart landbrugsteknologi, rapporterede forskerne om et højt niveau af kongeblomstdetektionsnøjagtighed som følge af Mu's algoritme. Sammenlignet med målinger foretaget manuelt af forskere, der identificerer kongeblomster med øjet - kaldet jordsandhedsmålinger af forskerne - varierede maskinvisionskongens blomsterdetekteringsnøjagtighed fra 98.7 % til 65.6 %.