Home

Modellbasierte Robotersteuerung zur gartenbaulichen

1. 20 Anzahl Pflanzen 15 10 1 2 3 4 5 6 7 Anzahl Blutenstiele Abbildung 7 24 Anzahl Pflanzen des Testdatensatzes gruppiert nach der Anzahl Bliitenstiele je Pflanze 160 Ernte der Bliitenstiele F r die Ernteversuche wurde eine Programmfunktion mit dem in 7 2 beschriebenen Ablauf verwendet Im Rahmen dieses Ablaufs wurde die Ernte der Bl tenstiele in bis zu acht Positio nen versucht In Erg nzung dazu wurde die Funktion dann wiederholt gestartet wenn nach dem vorherigen Durchlauf noch Bl tenstiele brig waren und im vorherigen Durchlauf min destens ein Bl tenstiel geerntet wurde 7 3 1 Ernte Zun chst wurde das Ernteergebnis bezogen auf den einzelnen Bl tenstiel betrachtet Von den 232 zu erntenden Bl tenstielen wurden n den Ernteversuchen 185 vollautomatisch geerntet Es wurden also insgesamt 80 aller Bl tenstiele geerntet Dieses Ergebnis wurde noch differenzierter betrachtet Dazu wurden die Pflanzen aus dem Testdatensatz in Gruppen eingeteilt Zum einen wurden die Pflanzen nach der Anzahl Bl ten gruppiert und die Ernteraten betrachtet um einen m glichen Einfluss der Anzahl Bl tenstiele einer Pflanze auf die Ernterate erkennen zu k nnen Zum anderen wurden die Pflanzen ein geteilt nach dem Ergebnis bezogen auf die Gesamtpflanze Dazu wurden die Pflanzen dem Ergebnis nach n Gruppen eingeteilt alle Bl tenstiele geerntet ein Teil geerntet keiner geerntet oder n cht zu b
2. Die Projektion eines Punktes im Raum auf die Bildebene wie in Gleichung 4 31 beschrie ben kann jetzt linear unter Verwendung homogener Koordinaten folgenderma en beschrie ben werden A Tf 0 0 0 m y 0 f 00 Z PM 4 33 wl lo 0 1 Of 7 T m M homogene Koordinaten des zweidimensionalen Punktes m bzw des dreidimensionalen Punktes M 35 Grundlagen Xp Yk Ze T homogene Koordinaten des Punktes M Xko Vio WE homogene Koordinaten des Punktes m Px perspektivische Projektionsmatrix f Brennweite m F r die normalisierte Kamera mit f 1 nimmt das Gleichungssystem die folgende Form an X x 1000 m y 0 1 0 0 a P M 4 34 w 0 0 1 Of T m M zweidimensionaler Punkt m bzw dreidimensionaler Punkte M in homogenen Koordinaten Xx Yk Ze T homogene Koordinaten des Punktes M KV Was normalisierte homogene Koordinaten des Punktes m Pa perspektivische Projektionsmatrix P wird auch perspektivische Projektionsmatrix genannt In Gleichung 4 34 ist sie in ihrer einfachsten Form dargestellt dort mit Pa bezeichnet da f r die Welt und die Bildebene das gleiche Koordinatensystem verwendet und f 1 gesetzt wurde Die Weltkoordinaten Xi YZ TI die man bei der R cktransformation eines Bildpunktes erh lt sind eindeutig bis auf den Skalierungsfaktor T Diese Mehrdeutigkeit ist der Grund daf r warum es nicht m g lich ist die Lage eines Punktes im Raum allein aufgrund der Informationen eine
3. der nicht zusammengeh rigen als nicht zusammengeh rend Bei Betrachtung der Daten wird 117 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bl tenstielen aber auch klar dass innerhalb der betrachteten Spanne von Eingabebildpunkten die Unter schiede im Ergebnis nur gering sind Eine nicht allzu hohe nderung in der Aufl sung sollte somit nur einen geringen Einfluss auf das Klassifikationsergebnis haben Tabelle 6 4 Ergebnisse der Klassifikation von Streckensegmente auf Zusammengeh rigskeit in Abh ngigkeit der Anzahl Kantenpixel welche als Eingabe f r die Bestimmung der Regressionsgerade als Grundlage f r die Berechnung der Strecken segmente verwendet wurden Richtig klassifiziert in Gruppe Liniensegmente Liniensegmente geh ren zusammen geh ren nicht Anzahl Sensitivitat zusammen Kantenpixel Spezifitat 25 Anzahl 242 500 86 81 50 Anzahl 245 509 88 82 75 Anzahl 246 498 Y 88 80 100 Anzahl 244 495 87 80 Anzahl gesamt je Gruppe 100 N om 6 3 Ermittlung der Mittelachsen der Bl tenstielobjekte Als Basis f r die sp tere Berechnung von dreidimensionalen Informationen wurde die Mit telachse der Bl tenstielobjekte verwendet siehe n chstes Kapitel Zur Bestimmung dieser Mittelachse wurde der Operator Qro zur Ermittlung gekr mmt linearer Strukturen in einem Teilbereich des Ausgangsbildes verwendet Die ermittelten St tzstellen wurden auf die Berei che der Bl tenstiel
4. 0000ssssessnssnsnnnnnnnnnnnnnnnnnnnnnnnnnnenennn 48 193 WAS ee ne ee CE en Rane ee ER ee 48 4 3 2 LAUIStISCHe Veltahren ass adel ieliee a taraed ad epee oruhdea led ab tae neateeeten ess 49 4 3 3 Bewertms der Klass n kat om u esha anaes 51 AA RODO OM INGIAS CI ap R OA 52 4AE Mousticroboto hasian ar ee S 52 442 Direkte Kinematik des Manipulators eesosas i 53 44 3 Jnverse K nemauk ainue a aa 55 AM TRO WC CUMS AT CH irrt 56 74 5 Pladplanuns 2 Feats factsitciirs tate E eae u a iada aa ineatinsen ce 57 Materada Methoden cerren a ar A A 58 5 1 A e teren 58 31T 9 2 0 Senee a a ne 58 5 12 Transtersirecke UNG OF Srann a ead hee a 58 Iko MOIS ROO OU Te elle lea 60 5 1 4 Entwicklung eines Erntemechanismus f r die Ernte Greifer 61 DD Kame AS arena 62 O B E 019510 einen ee Nn Peer eee recone ent ane SST MS ae 65 5 1 7 PC und Software zur Steuerung der Anlage uuussssssnnnsnnnnnnnnnnnnnnnnnn 66 Inhaltsverzeichnis 5 2 Allgemeine Softwarekomponenten cccccccccccccccceeeeeeeeeceeeeessessseeeeeeeeeeeeeeeeeeas 67 S24 Bildverarociiunesbibliothek Halean een oe 67 5 2 2 Software f r statistische Auswertungen ccccccccccccceceeeeeeeeeeeeaaaesseeeeeseeeeeeees 68 5 3 Kalibrierung der Anlagenteile Systemkalibrierung 000222222 222 68 5 3 1 Gewinnung der Ausgangsdaten f r die Systemkalibrierung 69 3 3 2 Dier
5. 40 80 20 Gesamtpflanzen region A Teilregionen bilden H 02 7 Abbildung 6 4 Ablauf der Identifizierung der Gesamtpflanze 6 3 Segmentierung potentieller Bl tenstielbereiche F r die Trennung potentieller Bl tenstielbereiche von der Hauptpflanze wurde der von RATH 1997 beschriebene Algor thmus zur Bestimmung der Blattstiele von Laubbl ttern n einer modifizierten Var ante verwendet Potentielle Bl tenstielregionen wurden dabe ermittelt indem die Gesamtpflanzenregion zun chst schrittweise solange erodiert wurde bis die Bl tenstielbereiche komplett ver schwunden waren und anschlie end um die gleiche Schrittanzahl dilatiert wurde Wurde die so entstandene Region von der Ausgangsregion abgezogen so erhielt man die potentiellen Bl tenstielregionen welche n der Folge weiter analys ert wurden Der verwendete Algor thmus ist in Abbildung 6 5 dargestellt und wird im folgenden beschrie ben Zwischenschritte der Bildverarbeitung sind in Abbildung 6 6 zu sehen Um das beschrie bene Verfahren durchf hren zu k nnen wurde zun chst die optimale Erosionstiefe ermittelt also derjenige Erosionsschritt ab welchem die Bl tenstielregionen komplett verschwanden 87 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bl tenstielen Start optimale Errosionstiefe ermitteln Anzahl Schritte m m n mit Z max z Gesamtpflanzenregion A Ausgangsregion m mal errodieren Im
6. 49 511 762 2646 Fax 49 511 762 2649 E Mail info bgt uni hannover de Heft 1 Heft 4 Heft 5 Heft 7 Heft 8 Heft 9 Heft 10 Heft 11 Heft 12 Heft 13 Heft 14 Heft 15 Heft 16 Heft 17 Heft 18 Heft 19 Tantau H J Heizungssysteme im Gew chshaus Neuauflage 1982 Tantau H J Der Einflu von Einfach und Doppelbedachungen auf das Kl ma und den W rmehaushalt von Gew chsh usern 1985 Tantau H J Doppelbedachungen W rmebedarf Kl ma Lichtdurch l ss gkeit 1976 z Zt vergriffen Tantau H J Analyse des Regelverhaltens klimatisierter Gew chsh user als Grundlage zur Auswahl und Entwicklung geeigneter Regler 1979 Damrath J Tabellen zur Heizenergieermittlung von Gew chsh usern Kl ma Hannover 1980 Damrath J Tabellen zur Heizenergieermittlung von Gew chsh usern Klima M nchen Wei henstephan 1981 Meyer J Bewegliche Energieschirme 1981 Meyer J Bewertung von beweglichen Energieschirmen m Hinblick auf den Energieverbrauch 1982 v Elsner B Das Kleinklima und der W rmeverbrauch von geschlossenen 15 15 15 15 15 15 15 15 Gew chsh usern Ein Simulationsmodell zur gartenbautechnischen Bewertung unter Ber cksichtigung des Einflusses von Standortklima Pflanzenbestand und Gew chshauskonstruktion 1982 Tantau H J und E Luer Stillegung von Gew chsh usern in Zeiten mit hohem
7. Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bliitenstielen 60 g original Oo g gegl ttet T 50 40 30 20 m u J N A 0 A See A A A A 0 90 180 270 Kantenrichtung der Bildpunkte Grad Abbildung 6 14 H ufigkeitsverteilung original und gegl ttet der Kantenrichtung der mit dem Kantenoperator ermittelten Bildpunkte Eine aus dem Kantenrichtungsbild generierte Verteilung ist in Abbildung 6 14 dargestellt Die Originalverteilung zeigt eine deutliche H ufung der Werte in den Bereichen der Bl ten stielkanten Trotzdem eignen sich diese Werte nicht f r eine Analyse Aufgrund der sichtba ren lokalen Schwankungen w rde eine Analyse Maxima ber den gesamten Bereich der Verteilung ergeben F r die Analyse der H ufigkeitsverteilung hinsichtlich Minima und Maxima wurden die Originalwerte deshalb mittels einer Gau funktion o 6 stark gegl ttet Auf diese Weise wurden Verteilungen mit deutlichen Maxima und Minima generiert Die stark gegl ttete Verteilung zeigt einen homogenen Verlauf und deutlich erkennbare Maxima Bei n herer Betrachtung wird deutlich dass diese Maxima ca 180 Grad auseinander liegen Dies entspricht gegen berliegenden parallel verlaufenden Kanten mit entgegenge setzter Richtung genauer mit entgegengesetztem Hell Dunkel Verlauf F r die weitere Entwicklung von Klassifikationsmethoden wurde ein Datensatz mit 5
8. Kurzarm Typ bzw RV E3NLM Langarm Typ der Firma Mitsubishi montiert Bei beiden han delte es sich um 6 Achsen Roboter die sich aufgrund der unterschiedlichen Dimensionen zweier Gelenke in der maximalen Reichweite 724 mm bzw 933 mm unterschieden Auf grund der hohen Achsenanzahl war eine ausreichende Beweglichkeit und Flexibilit t f r die verschiedensten Arbeitsabl ufe gew hrleistet Abbildung 5 3 Roboter an der Versuchsanlage Kurzarmtyp RV E4NM links und Langarmtyp RV E3NLM rechts Beide Roboter sind auf Linearachsen montiert die den Aktionsraum erweitern Zur Erweiterung des Arbeitsbereiches waren beide Roboter zus tzlich auf Linearachsen ange bracht Dabei war der Roboter mit der geringeren Reichweite am zentralen Arbeitsbereich vor der Hub und Drehstation auf einer vertikalen Achse montiert der mit der gr eren Reich weite auf einer horizontalen Achse Auf diese Weise konnten beide Roboter sowohl in einem gemeinsamen als auch n getrennten Arbeitsbereichen ag eren Beide Roboter waren mit pneumatischen Greiferanschl ssen ausgestattet deren Greifkraft stufenlos verstellt werden konnte so dass eine Anpassung an die Druckempfindlichkeit der Arbeitsobjekte m glich war Bei den Greifern handelte es sich um einfache Backengreifer welche an den jeweiligen Einsatzzweck angepasst werden mussten 60 Material und Methoden Die Steuerger te Drive Units der beiden Roboter waren ber die RS232 S
9. Schleife bis keine Region oberhalb oder unterhalb mehr vorhanden ist oder im vorherigen Schritt keine Verkn pfung mehr gefunden wurde Verkn pfung der Region Hgo mit Regionen oberhalb bzw unterhalb die besten Kollinearit tswert aufweisen und oberhalb des Schwellenwertes liegen F r jede dieser potentiellen Partnerregionen erfolgt Test ob besserer Partner vorhanden Wenn Partnerregion gefunden dann zu einer Region verbinden und obere Apro und untere Apr Teilregion Regressionsgeraden und Strecke oben bzw unten neu ermitteln Ergebnis Bl tenstielobjekte Hgo Abbildung 6 23 Ablauf Verkn pfung der Einzelregionen zu Bl tenstielobjekten 115 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bliitenstielen E 3519 791 5 E 2 407 Abbildung 6 24 Bestimmung zusammengeh riger Segmente mittels Kollinearit t a Ermittlung einer Startregion mittels Houghtransformation b Bestimmung des Kolli nearit tswertes der Startregion rot mit allen potentiellen Partnerregionen blau unterhalb c Gegenprobe f r den besten Partner aus b d ermitteltes Bl tenstie lobjekt Abbildung 6 25 Endergebnis der Ermittlung von Bl tenstielobjekten Regionen gleicher Farbe stellen je ein gemeinsames Bl tenstielobjekt dar 116 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bliitenstielen b c Abbildung 6 26 Ergebnisse der Bl tenstielerkennung durch Anwe
10. Wurden alle Kontrollen durchgef hrt und der Vorgang fortgesetzt so wurden zun chst die 3D Koordinaten der Bl tenstiele berechnet Im Anschluss wurde die Vorerntestellung berechnet und der prim re bzw sekund re Schnittpunkt gem 7 1 3 angesteuert sofern eine kollisionsfreie Erntestellung errechnet werden konnte Abbildung 7 19 zeigt eine Szene mit einem nicht erreichbaren Bl tenstiel In Abbildung 7 20 ist eine Situation dargestellt in wel cher der prim re Erntepunkt ausgehend von der Vorerntestellung n cht erreichbar war und deshalb die Vorerntestellung des sekund ren Erntepunktes angesteuert wurde und die Ernte dann fortgesetzt wurde Konnte die Vorerntestellung nicht angefahren werden und wurde bereits eine Bewegung durchgef hrt so wurde der Roboter mit einer vorausgehenden Pfad planung zur ck zur Ausgangsstellung zur ckbewegt Au erdem wurde ein interner Merker gesetzt dass der Bl tenstiel nicht geerntet werden konnte um dies beim n chsten Durchlauf ber cksichtigen zu k nnen Abbildung 7 20 Beispiel f r nicht erreichbare prim re Erntestellung ausgehend von der bereits angefahrenen Vorerntestellung links Der Greifer wurde deshalb in die sekun d re Vorerntestellung gefahren mitte Von dort aus war eine Linearbewegung zum sekund ren Erntepunkt m glich rechts 156 Ernte der Bliitenstiele Abbildung 7 21 Beispiel fiir eine Ernteposition bei der keine weitere Stielverfolgung m glich war links
11. 6 9 Berechnung dreidimensionaler Informationen und Modellierung der Pflanze 120 69 1 Korespondenzanalyse aysns een 120 6 9 2 Triangulation Berechnung der dreidimensionalen Informationen 124 6 9 5 Erstellung ges gt D Modells der Getfpe ta a 125 6 10 Ergebnisse des Bildverarbeitungsalgorithmus nnnnen 128 Ernte Gers WSS CNC sa er eae N 131 7 1 Ernte emes einzelnen Bl tenstiels u A ae ea 131 7 1 1 Erstellung eines 3D Modells aus der Versuchsanlage und der Pflanze 131 7 1 2 Bestimmung des Schnittpunktes und der Vorerntestellung 133 7 1 3 Pfadplanung und Ansteuerung der Vorerntestellung e 138 7 1 4 Steuerung des Roboters zum Schnittpunkt 2222222222200seeeeeeeennnnnnnnnnnnnnn 142 Inhaltsverzeichnis LIS Algorithmen Zur Stelverfolsung ana un 143 BRO EMS Serenade 148 tas Ablagedes Seerhieten Bl tenstiels sen 149 12 esamiablaul der Erie 2 152 7 3 Ersebnisse der Ernieversuche ee ee 160 Loch MET a ee een 161 7 3 2 Abw rtsbewegung bei der Stielverfolgung 000000 ee eeeeeeeeeeeeeeennn 163 Poo Angaben zur Frntedauer nein eek 164 S DISKUSS Once E a leeren 166 8 1 Bildyerarde MUNE en ee ee ee ee 166 8 1 1 Gesamtpflanzenerkennung und Identifizierung potentieller Bl tenstielregionen Eee ee ne ee 166 8 1 2 Blutenstielerkennuns nee 167 8 1 2 1 Schmale Bereiche sa
12. Abbildung 5 8 Transmissionsverhalten der beiden verwendeten Sperrfilter Jede Kurve stellt den Mittelwert aus f nf Messungen dar eigene Untersuchungen 64 Material und Methoden Abbildung 5 9 Vergleich der Aufnahmen ohne links und mit Infrarotfilter rechts Die Verwendung von Infrarotfiltern wurde bereits von verschiedenen anderen Autoren beschrieben So verwendete HACK 1989 zur Ermittlung von Pflanzenwachstum einen Rot filter welcher Strahlung unterhalb 700 nm blockierte MONTA 2000 setzte optische Filter ein die ab 850 nm Strahlung transmittierten um den Kontrast von Chrysanthemen Stecklin gen in Bildern zu erh hen 5 1 6 Belichtung Um Fremdeinfl sse bez glich der Belichtung so klein wie m glich zu halten wurde der gesamte Versuchsstand von nat rlicher Globalstrahlung abgeschirmt Dazu wurde eine Holz konstruktion um den Versuchsstand herum errichtet und mit Folie bespannt die nach innen hin schwarz und nach au en hin we war Die Belichtung des Arbeitsbereiches erfolgte dann mit zwei Leuchten vom Typ Philips MGR 300 400K die mit Metallhalogendampflampen vom Typ HPI T 400 W ausgestattet waren Die beiden Leuchten waren versetzt oberhalb der beiden Kameras angeordnet siehe Abbildung 5 10 65 Material und Methoden Abbildung 5 10 Leuchten zur Belichtung des zentralen Arbeitsplatzes an der Versuchsanlage 5 1 7 PC und Software zur Steuerung der Anlage F r die zentrale Steuerung der Ver
13. Heft 60 Heft 61 Heft 62 Heft 63 Heft 64 Heft 65 Br keland R Planungsprogramm zur Nutzung von Biomasse f r die Heizenergieversorgung in Gew chsh usern HORTEB 1998 15 Hoffmann S Beurteilung von W rme und Sonnenschutzgl sern hinsichtlich ihrer Eignung f r die Innenraumbegr nung 1998 Hoffmann S Zur Wirkung von photoselektiven Bedachungsmaterialien auf Zierpflanzen 1999 Lange D Bestandsmodell zur Anwendung im integrierten Pflanzenschutz am Beispiel von Botrytis cinerea Pers 1999 Husmann H J Optimierung der Energieversorgung in Gew chshaus produktionssystemen mit dem integrierten Planungssystem HORTEV 1999 Husmann H J HORTEV Benutzerhandbuch Version 1 0 1999 Hemming J Computer vision for identifying weeds n crops 2000 free avaible pdf file Br keland R Handbuch zum Planungsprogramm HORTEB Horticultural Energy Supply with Biomass 2000 9 15 15 15 15 18 15 Herold B und Th Rath Hrsg Computer Bildanalyse in der Landwirtschaft Workshop 2001 auch Bornimer Agrartechnische Berichte Heft 26 ISSN 0947 7314 2001 Elsheikh I Soil heating and climate simulation model for greenhouses 2001 H usler A Herbologische und verfahrenstechnische Grundlagen einer teilflachenspezifischen Unkrautbek mpfung 2002 ITG Hrsg Gartenbautechnische Forschung heute und morgen 2002
14. men dieser Arbeit definiert in Klammern die verwendeten Abk rzungen Weltkoordinatensystem welt Koordinatensystem Kalibrierung mit Kalibrierk6rper Kamerakoordinatensystem kam Kamerakoordinatensystem der Kameras wenn keine weitere Angabe vorhanden dann war die linke Kamera gemeint da sie als Basis f r die Hand Auge Kalibrierung diente Ansonsten galt kam1 linke Kamera und kam2 rechte Kamera Basiskoordinatensystem basis Basiskoordinatensystem des Roboters also tats chlich Bas snull siehe Mitsubishi Manual Werkzeugkoordinatensystem wkz Werkzeugkoordinatensystem des Roboters Kalibrierungskoordinatensystem kalib Nullpunkt des Kal brierk rpers mittlerer Kalib riertafelpunkt Abbildung 5 14 Schematische Darstellung der Lage der Koordinatensysteme der einzel nen Anlagenkomponenten Dabei ist die X Achse jeweils rot die Y Achse griin und die Z Achse blau dargestellt 71 Material und Methoden 5 3 2 Stereo Kamerakalibrierung F r die Stereo Kamerakalibrierung wurde die Calibration Toolbox for Matlab verwendet BOUGUET 2004 unter Matlab 6 5 THE MATHWORKS 2002 verwendet Diese Toolbox stellt verschiedene Funktionalit ten zur Kamerakalibrierung bereit Eine Besonderheit ist die Ste reokalibrierung also die Bestimmung der Lage zweier simultan zu kalibrierender Kameras zueinander In der f r alle anderen Bildverarbeitungsfunktionen verwendeten Halcon Biblio thek war eine solche Funktion
15. 6 5 3 Entfernung unverzweigter Regionen ohne parallele Kanten Die ermittelten parallelen Kanten Hp wurden m Anschluss mit den unverzweigten Regionen Hue geschnitten Unverzweigte Regionen welche keine parallelen Kanten enthielten bzw weniger als 5 Pixel wurden entfernt Abbildung 6 18 Entfernung unverzweigter Regionen ohne parallele Kanten Die unver zweigten Regionen links werden mit den parallelen Kanten Mitte geschnitten ber nommen werden nur unverzweigte Regionen welche parallele Kanten enthalten rechts 109 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bl tenstielen 6 6 Entfernung von Kreuzungs berlappungsbereichen In einem letzten Schritt sollten noch Kreuzungsregionen entfernt werden da diese meist nicht eindeutig einem Bl tenstiel zugeordnet werden konnten Als Ausgangspunkt wurden zun chst potentielle Bl tenstiel region Hg und unverzweigte Einzelregionen Hyp Ermittlung der Kreuzungspunkte des Skeletts der Ausgangsregion potentielle Bl tenstielregion Hy AH Schleife ber alle j unverzweigten Regionen Hyg mit Z hler i 1 bis j Beinhaltet Region Besitzt Region oben Kreuzungspunkt oder unten mind ja Tp Hg A Hyg zwei direkt gt 09 angrenzende Nachbarn Region Hyg l schen unverzweigte Einzelregionen Hyp Abbildung 6 19 Ablauf Entfernung von Kreuzungsbereichen 110 Bildverarbeitungsalgorithmus
16. Basic Study on Strawberry Harvesting Robot Part II Preprints Bio Robotics II 2nd IFAC CIGR International Workshop on Bio Robotics Information Technology and Intelligent Control for Bioproduction Systems November 25 26 2000 59 64 NOORDAM J C J HEMMING C VAN HEERDE F GOLDBACH R VAN SOEST und E WEKKING 2005 Automated Rose Cutting in Greenhouses with 3D Vision and Robotics Analysis of 3D Vision Techniques for Stem Detection Acta Horticulturae 691 885 892 OKAMOTO T O KITANI und T TORI 1993 Robotic Transplanting of Orchid Prottocorm in Mericlon Culture ASAE Paper No 93 3090 PETERSON D L B S BENNEDSEN W C ANGER und S D WOLFORD 1999 A Systems Approach To Robotic Bulk Harvesting Of Apples Transactions of the ASAE 42 4 871 876 PLEBE A und G GRASSO 2001 Localization of spherical fruits for robotic harvesting Machine Vision and Applications 13 2 70 79 190 Literaturverzeichnis PRESS W H S A TEUKOLSKY W T VETTERLING und B P FLANNERY 1992 Numerical Recipes in C The Art of Scientific Computing 2 Auflage Cambridge University Press Cambridge RATH T 1997 Methoden zur computerbildanalytischen Pflanzenidentifikation am Beispiel dendrologischer Bestimmungen Gartenbautechnische Informationen Heft 42 Institut f r Technik n Gartenbau und Landwirtschaft Hannover REED J N S J MILES J BUTLER M BALDWIN und R NOBLE 2001 Automatic
17. Danksagung Mein ganz besonderer Dank gilt meinem Betreuer Prof Dr Thomas Rath vom Institut fiir Biologische Produktionssysteme Fachgebiet Biosystem und Gartenbautechnik der Gottfried Wilhelm Leibniz Universit t Hannover der mich bei dieser Arbeit begleitet hat und mir in jeder Situation mit Rat und Tat zur Seite stand Zahlreiche Diskussionen haben mir wichtige Impulse fiir diese Arbeit gegeben Ein besonderer Dank an meine Kollegin Isabelle Philipp fiir die gute Zusammenarbeit und das ungew hnlich gute und nette Arbeitsklima Bedanken m chte ch mich auch be allen anderen Mitarbeitern des Institutes f r das gute Arbeitsklima sowie die freundliche und tatkraftige Unterst tzung Ein besonderer Dank geht an die Deutsche Forschungsgemeinschaft f r die finanzielle Unter st tzung dieses Projektes Ein besonders herzlicher Dank geht an meine Familie und insbesondere an meine Frau Tanja f r Ihre Geduld und Unterst tzung ohne die ich diese Arbeit nicht h tte fertig stellen k nnen Schriftenreihe des Institutes fiir Biologische Produktionssysteme Fachgebiet Biosystem und Gartenbautechnik Forschungsberichte zur Biosystem und Gartenbautechnik ehemals Gartenbautechnische Informationen bis Heft 63 Download free pdf files bgt uni hannover de Bestellungen Druckversionen an Institut fir Biologische Produktionssysteme Fachgebiet Biosystem und Gartenbautechnik Herrenh user Str 2 D 30419 Hannover Tel
18. Dazu wurde mittels einer Funktion der Matlab Bibliothek eine Polynomanpassung durchgef hrt als Eingabe wurden die Kanten punkte der Region verwendet Es stellte sich jedoch schnell heraus dass eine solche Methode nicht praktikabel ist Bei Verwendung eines Polynoms zweiten Grades konnte nicht auf einen Richtungswechsel im Bl tenstielverlauf reagiert werden Bei Verwendung von Polynomen h heren Grades wiesen dagegen der Polynomverlauf und der tats chliche weitere Verlauf der Bl tenstiele erheblich Unterschiede auf 8 1 3 Ermittlung dreidimensionaler Informationen und Erstellung des 3D Modells 8 1 3 1 Korrespondenzanalyse Die verwendete Methode der Korrespondenzanalyse zur Zuordnung der Bl tenstiele in beiden Bildern ist eine sehr einfache Vorgehensweise Die eher ungebr uchliche Methode der einfa chen Zuordnung der Bl tenstiele nach der Lage bzw Reihenfolge m Bild hat den Vorteil dass sie sehr schnell ist Dem gegen ber stehen aber auch Nachteile Voraussetzung f r die Anwendung ist dass in beiden Bildern die gleiche Anzahl Bl tenstiele gefunden wurde und die erkannten Objekte auch tats chlich die gleichen Bl tenstiele darstel len Eine ungleiche Anzahl erkannter Objekte n beiden Bildern f hrt zwangsl ufig zu dem Schluss dass n einem der Bilder mindestens e n Bl tenstiel n cht erkannt wurde Selbst wenn die gleiche Anzahl erkannt wurde kann nicht sicher davon ausgegangen werden dass es sich um die gleichen
19. Dort wurden fiir das Skelett einer Bliitenstielregion Geraden mit tels der Hough Transformation ermittelt Abbildung 4 3 Anwendung der Hough Transformation auf eine Punktemenge in der Eingabepunktemenge links werden mittels Hough Transformation und Schwellen wertanwendung auf die Anzahl kollinearer Bildpunkte linienartige Strukturen ermittelt rechts 4 1 5 2 Ermittlung gekriimmt linearer Strukturen Ein Verfahren zur Erkennung von gekriimmt linearen Strukturen in Grauwertbildern beschreibt MVTEC 1999 Das Verfahren ist als Operator Lines Gauss in der Software Halcon implementiert Die Erkennung basiert auf Parametern eines quadratischen Polynoms welche f r jeden Punkt m Bild mittels der partiellen Ableitung einer Gau schen Gl ttungs 25 Grundlagen maske bestimmt werden Weitere Details sind MVTEC 1999 bzw STEGER 1996 zu ent nehmen Bei der Anwendung des Operators wurden die bei MVTEC 1999 beschriebenen Standardeingabeparameter verwendet lediglich die erg nzende Ermittlung von Kreuzungs punkten wurde nicht verwendet Der Operator wird unter Verwendung der Standardparameter in 4 25 definiert Als Ergebnis werden subpixelgenaue Punktmengen die Punkte werden mit einer h heren Genauigkeit als Realzahl angegeben mit St tzstellen der Strukturen zur ckgeliefert Durch Verbindung dieser St tzstellen erh lt man die gekr mmt linearen Strukturen Abbildung 4 4 zeigt das Ergebnis der Anwendung des Operato
20. Reduzierung der Aufl sung durch Verrechnung der Farbinformationen vier benachbarter Pixel zu einem einzelnen Bildpunkt Links Schematische Anord nung der Farbfilter auf dem CCD Chip G gr n B blau R rot nach dem sogenannten Bayer Mosaik Rechts Generierung eines Farbbildes RGB Bild durch Verrechnung vier benachbarter Pixel mit unterschiedlichen Farbinforma TOO ee ee ee a 63 Abbildung 5 7 Reflektion vier verschiedener Gerberabl tter in Abh ngigkeit von der Wellenl nge Deutlich zu erkennen ist der Anstieg der Reflektion beim Wechsel vom sichtbaren Bereich in den nahen Infrarotbereich eigene Untersuchungen 64 Abbildung 5 8 Transmissionsverhalten der beiden verwendeten Sperrfilter Jede Kurve stellt den Mittelwert aus f nf Messungen dar 22222222200ssseeeeeeeeeeennnnnnnnnnnnnnnnnnnnnn 64 Abbildung 5 9 Vergleich der Aufnahmen ohne links und mit Infrarotfilter rechts 65 Abbildung 5 10 Leuchten zur Belichtung des zentralen Arbeitsplatzes an der Versuchs En ET KEN EA VENEN E ER RER EURE RES EO E E Roca ates eae ee ea 66 Abbildung 5 11 Grafische Benutzeroberfl che mit Hauptkomponenten zur Steuerung der Versuchsanlage auf weitere Funktionen kann ber die Men leiste zugegriffen WEI Des ee OE Cee en TE eo em 67 Abbildung 5 12 Beispielaufnahmen eines Kalibriervorganges der am Roboterarm montierten Kalibriertafel aus unterschiedlichen Positionen cccccecccc
21. Reduzierung der Maxima Kandidaten f r Bl tenstielkanten aufgrund eines Partnerkriteriums siehe Text Werte in Klammern geben die relativen Anteile im Ver h ltnis zur Gesamtsumme aller Maxima an Maximum durch Stiel Maximum nicht durch gt kante verursacht Stielkante verursacht Beibehalten 454 46 500 Partnermaximum mit entge 56 6 5 7 62 3 gengesetzter Richtung Entfernen 3 299 302 Kein Partnermaximum mit 0 4 37 3 37 7 entgegengesetzter Richtung 103 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bl tenstielen Die bernommenen Partnermaxima wurden weiter analysiert um die Anzahl falscher Kandi daten weiter zu reduzieren F r die Klassifikation sollten auch hier m glichst Parameter ohne absolute Werte verwendet werden um eine gewisse Aufl sungsunabh ngigkeit zu gew hr leisten F r die endg ltige Klassifikation wurden zwei Parameter der Maximapaare ausge w hlt der kleinere der beiden transformierten Maxima Werte und das Verh ltnis der beiden Max ma Diese Parameter wurden folgenderma en definiert Grundlage f r beide Parameter war der transformierte Maximumwert m m x s 6 3 mr Maximum transformiert m Maximumwert H ufigkeitswert des Maximum s T Mittelwert der Verteilung der H ufigkeiten Ss Standardabweichung der Verteilung der H ufigkeiten Der kleinere bzw gr ere Wert der Maximumpartner wurden dann definiert als Mmin 6 4 und
22. Vergr erter Ausschnitt der Region mit ermittelten Sehnenl ngen Rechts Gesamte H ufigkeitsverteilung der Sehnenl ngen der Region u snnnnnnnnnnnnnnnnnnnnn nenn 95 Abbildung 6 12 H ufigkeitsverteilung der Sehnenl ngen gegl ttet der potentiellen Bl tenstielregion aus Abbildung 6 11 mit absolutem Maximum erstem Minimum nach dem absoluten Maximum und resultierendem Schwellenwert Alle Sehnen mit einer L nge oberhalb des Schwellenwertes werden verworfen cccccccceeeeeeeeeeees 96 IV Abbildungsverzeichnis Abbildung 6 13 Reduzierung der potentiellen Bliitenstielregion auf schmale Bereiche Links Ausgangsregion Mitte Klassifikation der Sehnenl ngen auf der Basis der H ufigkeitsverteilung Rechts St6rungsreduZierung uuuseeseeseennennnnnnnneneneeennnnnn 98 Abbildung 6 14 Haufigkeitsverteilung original und geglattet der Kantenrichtung der mit dem Kantenoperator ermittelten Bildpunkte ussssssseeeeeennnnen 102 Abbildung 6 15 Scatterplott zu den beiden Parametern rm und Main zuereeeeeeeeeeeeeeeeeeeeeeeeeneeen 105 Abbildung 6 16 Ablauf der Ermittlung Paralleler Bl tenstielkanten 106 Abbildung 6 17 Ermittlung parallel verlaufender Bl tenstielkanten ber d e H ufigkeits verteilung der richtungscodierten Kantenpixel Aus dem eingeschr nkten Aus gangsbild a werden die Kanten b extrahiert Dabei werd
23. e n rechnerkompatible Datenformate umgesetzte werden Bei diesem Vorgang der Digitalisierung ist eine Rasterung und Quantisierung notwendig Bei der Rasterung wird die Bildvorlage durch die berlage rung eines rechteckigen Gitters n einzelne Rasterfl chenst cke unterteilt Bei der Quantisie rung wird jeder Rasterfl che ein Wert zugeordnet Bei der Digitalisierung von Bildern mittels Kameras ist dieser Wert ein Ma f r die Helligkeit und wird als Grauwert dargestellt siehe auch Abbildung 4 1 Ein digitales Bild kann somit als Matrix interpretiert werden Eine Zeile der Bildmatrix wird als Bildzeile eine Spalte als Bildspalte und eine Element der Bildmatrix als Bildpunkt oder auch Pixel von picture element bezeichnet Die Z hlung der Zeilen erfolgt von oben nach unten die Z hlung der Spalten von links nach recht Beide beginnen mit 0 13 Grundlagen Abbildung 4 1 Bildmatrix eines digitalisierten Bildes mit Koordinatensystem Durch Verwendung mehrerer Matrizen fiir ein Bild lassen sich Farbinformationen darstellen Diese Matrizen welche unterschiedliche Farbkomponenten darstellen werden auch als Kan le bezeichnet Eines der in der digitalen Bildverarbeitung am h ufigsten verwendeten Farbmodell ist das RGB Modell bei dem die Farbinformationen f r Rot Gr n und Blau in drei verschiedenen Kan len gespeichert s nd Die k te Matrix A des Bildes l sst sich folgenderma en beschreiben Aoo Bin tee AKO a
24. hrt Die Pflan zen wurden aus unterschiedlichen Positionen aufgenommen nach jeder Aufnahme wurden die Hubdreheinheit auf der die Pflanzen positioniert waren um 10 gedreht Die Pflanzenteile wurden segmentiert und stark abstrahiert als Linien und Kurvensegmente gespeichert Dann wurde je Aufnahmeposition ein dreidimensionales Modell der sichtbaren Teile erstellt Als Methode fiir die Erstellung des Modells kam dabei die Zuordnung von Punkten auf Grundlage der Epipolargeometrie zum Einsatz wie sie auch in dieser Arbeit verwendet wurde Die Unterschiede in den errechneten Modellen waren teilweise sehr hoch Dies wurde auf verschiedene Ungenauigkeiten und Unzul nglichkeiten der entwickelten Methodik zur ckge f hrt Die gleichzeitige Visualisierung der dreidimensionalen Modelle der Pflanze in 36 Posi tionen zeigte jedoch auch die St rke des Ansatzes Deutlich war die Rotation der Pflanze um die Drehachse zu erkennen Grunds tzlich m sste demzufolge eine berlagerung und Ver schmelzung der einzelnen Modelle m glich sein DONIGA CRIVAT 2003 schlussfolgert aus den Untersuchungen Die Verschmelzung der Modelle aller 36 Aufnahmen w rde die Er gebnisse drastisch verbessern Abbildung 8 2 Aufnahmen einer entlaubten Pelargonium Zonale Hybride mit der linken und rechten Kamera DONIGA CRIVAT 2003 172 Diskussion 0 770 0 255 0 250 0 120 0 490 X Abbildung 8 3 berlagerung der berechneten dreidimensional
25. rungsreduzierung 97 89 Quadratische Diskriminanzanalyse 95 71 Quadratische Diskriminanzanalyse mit 93 92 St rungsreduzierung Lineare Diskriminanzanalyse 76 67 k N chste Nachbarn Methode k 21 94 80 Gesamtanzahl Laufl ngen je Gruppe 5912 2230 Die k N chste Nachbarn Methode wurde mit unterschiedlicher Anzahl Nachbarn getestet Die besten Ergebnisse wurden mit k 21 erzielt 100 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bliitenstielen Tabelle 6 1 zeigt die Ergebnisse der verschiedenen untersuchten Klassifikationsmethoden Die besten Ergebnisse insgesamt wurden mit der Max Min Methode mit St rungsreduzierung erzielt Mit dieser Methode konnten 97 Prozent der zu einem Bl tenstiel geh rigen Sehnen tats chlich als solche klassifiziert werden Sensitivit t Nicht zu Bl tenstielen geh rende Sehnen wurden zu 89 Prozent richtig erkannt Spezifit t diese Rate konnte gegen ber der einfachen Max Min Methode durch die St rungsreduzierung deutlich verbessert werden Dem gegen ber fallen die Quadratische Diskriminanzanalyse mit 95 Prozent richtig klassifi z erten Bl tenstielsehen bzw 93 Prozent mit St rungsreduzierung und die k n chste Nach barn Methode mit 94 Prozent leicht ab Deutlich schlechter ist die Lineare Diskriminanzana lyse mit nur 76 Prozent richtig erkannten Bliitenstielsehnen Aufgrund der dargestellten Ergebnisse wurde die Max Min Methode mit St rungsreduzierung im weiteren f r die E
26. user n der Baumschule 1992 Bredenbeck H Untersuchung angepa ter Systeme f r die solare Gew chshausbeheizung 1992 Bischoff H Entwicklung einer Methode zur Bewertung von Umweltwirkungen durch den Einsatz von Pflanzgef en 1994 Thomas J Untersuchungen zur Optimierung und Eignung wassergef llter Folienschl uche als passive Kollektor und Speicherelemente im Gew chshaus 1994 R temann B Einflu verschiedener Verfahrenstechniken auf die Bodenbelastung und Bodenverdichtung m Freilandgem sebau 1996 Sch sseler P Neue Konzepte Methoden und Materialien zur Reduzierung und Wiederverwertung von Abf llen m Gartenbau 1997 Schultz W Verfahren zur Untersuchung und Bewertung des Kondensationsverhaltens von Gew chshausfolien 1997 Rath T Methoden zur computerbildanalytischen Pflanzenidentifikation am Beispiel dendrologischer Bestimmungen 1997 Groot L Einsatzpriifung und optimierung von biologisch abbaubaren Kulturgef en am Beispiel von Beet und Balkonpflanzen 1998 15 15 15 15 15 15 15 15 15 15 15 15 15 15 15 15 15 15 15 15 15 15 20 15 Heft 44 Heft 45 Heft 46 Heft 47 Heft 48 Heft 49 Heft 50 Heft 51 Heft 53 Heft 54 Heft 55 Heft 56 Heft 57 Heft 58 Heft 59
27. Ablage des Bl tenstiels 149 Ernte der Bliitenstiele Zun chst wurde die Linearachse wieder um den Betrag nach oben bewegt um den sie vor der Ernte nach unten bewegt wurde Danach wurde versucht den Roboter alle n durch Bewegung der Linearachse relativ weit nach oben zu fahren um so die Wahrscheinlichkeit f r Kollisio nen bei den weiteren Bewegungen zu verringern Als Endstellung der Linearachse f r diese Bewegung wurde die Position 0 5 m oberhalb der Grundstellung Position 0 der Linearachse gew hlt Diese Stellung wurde mit Hilfe der MPK Bibliothek auf Kollision getestet wobei der Roboter im Modell an die Zielposition gesetzt und der geerntete Bl tenstiel n dem Modell nicht weiter ber cksichtigt wurde Wurde f r die angestrebte Zielposition eine Kollision ermittelt so wurde die geplante Linear achsenbewegung nicht durchgef hrt Stattdessen wurde die Bewegung mittels Linearinterpo lation welche bei der Anfahrt des Bl tenstiels ausgef hrt wurde invertiert und die Bewegung in entgegengesetzter Richtung durchgef hrt Der Greifer befand sich dann an Stelle des pri m ren bzw sekund ren Erntepunktes je nachdem welcher Punkt beim Erntevorgang vorher angefahren wurde Ausgehend von diesem Punkt wurde der Greifer dann noch zur ck in die Vorerntestellung bewegt Diese musste nach den vorherigen Berechnungen garantiert kollisi onsfrei sein Unabh ngig davon wie der Roboter zuvor bewegt wurde wurde er ausgehend von de
28. Anzahl Bl tenstiele Zudem weisen die Bl tenstiele berlappungen untereinander und mit anderen Objekten auf b c Abbildung 6 1 Beispielaufnahmen mit Gerberapflanzen 84 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bl tenstielen Solche berschneidungen m ssen von dem Algorithmus aufgel st werden wenn unter schiedliche Objekte identifiziert werden sollen Eine kurze bersicht ber den entwickelten Algorithmus mit seinen Hauptschritten ist in Abbildung 6 2 dargestellt Die jeweiligen Schritte werden n den folgenden Kapiteln ausf hr lich erl utert Entfernung unverzweigter Regionen ohne Bl tenstielteile Bild von der Kamera Entfernung von Kreuzungs Identifizierung der Gesamtpflanze Ubertappunes bereichen Verkn pfung der Einzelregionen zu Bl tenstielobjekten Segmentierung potentieller Bl tenstielbereiche Bl tenstielobjekte Hgo Abbildung 6 2 Gesamtablauf der Erkennung von Bl tenstielobjekten Aufteilung potentieller Bl tenstielregionen in unverzweigte Einzelregionen 6 2 Identifizierung der Gesamtpflanze Den Ausgangspunkt f r alle weiteren Berechnungen stellte die Identifizierung der Pflanze im Bild dar Als Verfahren f r die Segmentierung des Bildes wurde eine Schwellenwertoperation mit Hysterese Qcgy verwendet Aufgrund der durch die Abschirmung nach au en f r einen speziellen Aufbau gleichbleibenden Bedingungen am Versuc
29. Basiskoordinatensystem des Roboters konvertiert wobei die aktuelle Stellung der Linearachse beachtet wurde Zun chst wurde der Erntepunkt im Kamerakoordinatensystem Merrnre in das Weltkoordinatensystem Mernre kon vertiert It It k u Mirm AH Mirne kam wei m ist dabei die inverse Transformation der bei der Hand Auge Kalibrierung ermittelten Transformation Hen Im Anschluss wurde der Erntepunkt in das Basiskoordinatensystem des Roboters konvertiert wobei zus tzlich die Position der Linearachse und die Abweichung des Greiferschnittpunktes von Mittelachse des Greifers beachtet wurde basis M basis H welt M ERNTE ERNTE welt Dabei bestand aus einer reinen Translation und setzte sich zusammen aus den Stan dardbas skoordinaten des Roboters Translationsvektor welcher die Position des Roboterba s skoordinatensystems relativ zum Weltkoordinatensystem angibt und der Position der Line arachse wobei die Stellung der Linearachse als eine Translation in Richtung der X Achse des Basiskoordinatensystems bzw des Weltkoordinatensystems dargestellt werden konnte 135 Ernte der Bliitenstiele Der so ermittelte Punkt wurde zusammen mit der fest vorgegebenen Orientierung als Eingabe fiir die Berechnung der inversen Kinematik verwendet Fiir die ermittelten Daten wurde dann die inverse Kinematik mit Hilfe der Microb Bibliothek IREQ 2004 berechnet Das Ergebnis konnten eine oder mehrere m gliche Komb
30. Bild dar und beinhaltet keine Grauwert oder Farbinformationen Die Darstellung einer Region in schwarz wei oder einer beliebigen Farbe darf daher nicht mit der Wertebe legung 0 oder 1 eines Bin rbildes verwechselt werden Eine Region kann aus nicht zusammenh ngenden Bereichen bestehen oder auch L cher ent halten S e st dar ber hinaus n cht auf den Definitionsbereich des Bildes begrenzt kann also nicht nur kleiner sondern auch gr er als das Bild sein Regionen sind in hrer Bedeutung dem Bin rbild sehr hnlich Sie k nnen generiert werden indem lediglich die Punkte des Bin rbildes mit den Grauwerten 0 oder 1 als Punktmenge gespeichert werden Die Generierung einer Punktmenge A mittels Schwellenwertoperation aus einem Grauwert bzw Bin rbild wird beschrieben durch Q A s H 4 2 A Eingabebild Grauwertmatrix S Schwellenwertvektor H Ergebnisfl che Punktemenge Qc Generierung von H aus A mit s 4 1 1 3 Laufl ngenkodierung Die sogenannte Laufl ngenkodierung verwendet die Sehnendarstellung einer Region Indirekt lassen sich auf diese Weise nicht nur Regionen sondern auch Bin rbilder kodieren indem lediglich Bildpunkte eines einzelnen Grauwertes betrachtet werden 15 Grundlagen Die Sehnendarstellung entsteht indem man die Region en zeilenweise mit aufsteigender Zeilenzahl durchl uft Dabei werden alle Anfangs und Endpunkte gespeichert Eine Region wird somit durch eine Folge von Sehn
31. Gerbera welche dicht am Schnittpunkt liegen durch die Greiferbacken nach dem Schnitt eingeklemmt werden k n nen Dadurch kann die Gerberapflanzen dann bei der R ckbewegung des Greifers angehoben werden Draus folgen Besch digungen der Bl tter oder die Pflanze wird im Extremfall stark angehoben und f llt dann zu Boden und wird vollst ndig besch digt Innerhalb des Erntevorgangs wurde h ufiger beobachtet dass der geerntete Bl tenstiel w h rend der R ckbewegung des Greifers nicht in der Position fixiert werden konnte welche bei der Ernte des Bl tenstiels erreicht wurde Der Bl tenstiel kippte dann aus der urspr nglichen Position und bei der Ablage wurde nicht die vorhergesagte Position erreicht Wird die Methode an sich betrachtet so muss angemerkt werden dass der geerntete Bl ten stiel bei der gesamten Prozedur der Ablage nicht als Modellteil in die Berechnungen mit ein bezogen wurde Dadurch ist es theoretisch m glich dass der Bl tenstiel bei der Ablage mit anderen Teilen zusammenst t und dabei herunterf llt Der Ablageprozess wurde jedoch so ausgelegt dass durch die prim re Aufw rtsbewegung nach der Ernte dieses Risiko reduziert wurde Wie bereits weiter oben erw hnt wurde muss an dieser Stelle noch einmal deutlich herausge stellt werden dass es sich bei der verwendeten Schnitttechnik nicht um die bliche Ernteme thode handelt Laut ZIMMER und ESCHER 1991 werden die Bl tenstiele seitw rts aus der Pfl
32. HH Schnittmenge Vereinigungsmenge Mengendifferenz Koordinatensystem A Im Zusammenhang mit Roboterachsen L nge eines Verbindungsglieds Elemente Bildpunkte der Bildmatrix A Im Zusammenhang mit Roboterachsen Abstand entlang der Verbindungsachsen Brennweite Punkt vektor einer Region mit den Koordinaten x y 2D Vektor eines Punktes Kleinbuchstaben fett 2D Punkt Kleinbuchstaben kursiv Repr sentation eines Punktes in homogenen Koordinaten Maximaler bzw minimaler Wert aus i Elementen Punkt vektor einer subpixelgenauen Punktemenge S mit den Koordinaten xy bezogen auf Bilder Bildmatrix mit x Spalten und y Zeilen und den Elementen Bildpunkten axy bezogen auf eine Kamera Matrix der inneren Kameraparameter Beschreibung eines Punktes M relativ zum Koordinatensystem A Rotationsmatrix welche die Orientierung von B relativ zu A beschreibt Translationsvektor welcher die Lage von B relativ zu A beschreibt Menge von Punkten P des Bl tenstiels im dreidimensionalen Raum generalisiere quadrierte Distanz Essential Matrix Fundamentalmatrix Menge von Punktemengen Regionen mit 1 Regionen Hj Im Zusammenhang mit Transformationen homogene Transformationsmatrix Punktmenge Region Der Index 1 wird jeweils durch einen Index ersetzt welcher die spezielle Region kennzeichnet XI Abk rzungs und Symbolverzeichnis Aly Hs Hgo enue Es N M M BO Ss Q D o N Io Ip IRG XII Gesamtp
33. KP Anzahl der Elemente in der positiven Klasse Sp RN KN 4 59 SD Spezifit t RN richtig negativ zugeordnete Elemente KN Anzahl der Elemente in der negativen Klasse Die Sensitivit t g bt also an welcher Anteil der tats chlich positiven Elemente auch als solche erkannt wurde bzw wie hoch die Wahrscheinlichkeit ist ein tats chlich positives Element auch als solches zu erkennen Die Spezifit t dagegen gibt an welcher Anteil der tats chlich negativen Elemente auch als solche erkannt wurde bzw wie hoch die Wahrscheinlichkeit ist ein tats chlich negatives Element auch als solches zu erkennen 4 4 Robotergrundlagen 4 4 1 Industrieroboter Ein Industrieroboter ist nach KONIG 1990 als ein Robotersystem anzusehen und besteht aus den Teilen mechanische Struktur Manipulator Energieversorgung Steuerung Endeffektor Greifer Sensoren und Datenschnittstellen Der Manipulator besteht im wesentlichen aus starren Gliedern die ber translatorische oder rotatorische Gelenke miteinander verbunden sind Diese erlauben eine Relativbewegung benachbarter Glieder Die Glieder werden auch als Achsen bezeichnet wobei man zwischen Haupt und Nebenachsen unterscheidet blicherweise besitzt ein Industrieroboter drei oder mehr Hauptachsen zum Positionieren des Endeffektors Die Nebenachsen meist drei oder weniger dienen primar zum Positionieren des Endeffektors Die Steuerungseinheit legt die Bewegung der einzelnen Roboter
34. Mmax 6 5 Mmin m nach 6 3 des Maximums mit dem kleineren Wert der beiden Partner Mmax m nach 6 3 des Maximums mit dem gr eren Wert der beiden Partner Das Verh ltnis der Partnermax ma r wurde definiert als En M nin M pax 6 6 Fa Verh ltnis Maximapaare 104 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bl tenstielen x nicht durch Bl tenstielkanten verursacht e durch Bl tenstielkanten verursacht Abbildung 6 15 Scatterplott zu den beiden Parametern rm und myin Um die Maximapaare mittels der beiden Parameter Mmin und rm in die Klassen durch Bl ten stielkanten verursacht und nicht durch Bl tenstielkanten verursacht einzuteilen wurden verschiedene Klassifikationsmethoden miteinander verglichen Neben den diskriminanzana lytischen Verfahren Lineare Diskriminanzanalyse Quadratische Diskriminanzanalyse und k N chste Nachbarn Methode wurde eine Methode unter Verwendung von Entscheidungsregeln mit festen Schwellenwerten verwendet Diese Schwellenwerte wurden anhand der Trainingsdaten ermittelt welche auch zur Entwicklung der Diskriminanzfunktionen verwen det wurden Die Schwellenwerte f r die Entscheidungsregeln wurden folgenderma en ermittelt Zun chst wurde f r jeden Parameter ein Trennwert ermittelt so dass der Klassifikationsfehler in beiden Gruppen minimiert wurde Der Trennwert wurde jedoch nicht genau in die Mitte zwischen zwei Einzelwert
35. Taha A Simulation model of energy fluxes in passive solar greenhouses with a concrete north wall 2003 Gbiorczyk K New test methods for evaluating the antifog effect of greenhouse films 2003 Bertram A Standortbewertung f r Mensch und Pflanze in Innenr umen mit einem hohen Anteil transparenter Au enfl chen 2003 Philipp I Development and use of automatic weed detection in sugar beet based on image processing 2004 Polycarpou P Optimization of Nocturnal Climate Management n PE Greenhouses n Cyprus Egbers G Methodische Ans tze zur Etablierung eines photoautotrophen In vitro Kulturverfahrens Ajwang P Prediction of the Effects of Insect Proof screens on the climate in Naturally ventilated Greenhouses in the Humid Tropics Harmanto Ir M Evaluation of net greenhouses for tomato production in the tropics Kawollek M Modellbasierte Robotersteuerung zur gartenbaulichen Pflanzenproduktion auf der Grundlage bildanalytischer Verfahren am 12 50 15 18 15 15 18 18 18 18 18 18 available free pdf file or reprint on demand 30 Beispiel von Gerbera jamesonii available free pdf file or reprint on demand 30
36. Verteilung der Sehnenl nge betrachten Wesentlich war auch hier die Annahme dass das absolute Max mum der Vertei lung durch die Sehnen der Bl tenstielbereiche verursacht wurde Deshalb wurden Parameter gesucht die dieses Maximum und die betrachtete Sehnenl nge m glichst einfach charakteri sieren sollten Zudem sollten die Parameter m glichst unempfindlich gegen eine nderung der Aufl sung des Bildes seien Letzteres Kriterium f hrte zu einer starken Reduzierung m glicher Parameter Ausgew hlt wurden die relative Lage der betrachteten Sehnenl nge bez glich der Gesamt verteilung und die relative Lage des absoluten Maximums der Verteilung bez glich der Gesamtverteilung Die Schiefe der Verteilungen wurde durch Transformation der Aus gangsdaten logarithmische Transformation bzw Wurzeltransformation vermindert Die Parameter wurden wie folgt definiert l In 7 6 1 ic relative Lage der betrachteten Sehne in Bezug zur Gesamtverteilung l L nge der betrachteten Sehne in Pixel 98 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bl tenstielen lma maximal Sehnenl nge der Verteilung in Pixel ea ie 6 2 bi relative Lage des absoluten Maximums am h ufigsten vorkommende Sehnenl nge fa absolutes Maximum am h ufigsten vorkommende Sehnenl nge der Verteilung n Pixel lma maximal Sehnenl nge der Verteilung in Pixel F r den Vergleich der unterschiedlichen Methoden wurde ein Daten
37. ar de Gebiete 1985 v Elsner B und H Bredenbeck Nutzung von Abw rme zur Beheizung von Gew chsh usern 1985 Weimann G Untersuchungen zu neuen Foliengew chshauskonzeptionen 1986 Parlitz M Adaptive Regelalgorithmen f r die Klimaregelung von 1986 z Zt vergriffen Bredenbeck H Energiesparendes Gew chshaussystem mit Solarenergienutzung 2 erw Auflage 1988 Baytorun N Bestimmung des Luftwechsels bei gel fteten Gew chsh usern 1986 Miller G Energieschirme unter Praxisbedingungen Bewertung und Optimierung im Hinblick auf Energieverbrauch und Klimafihrung 1987 Reuter C Simulation des innerbetrieblichen Transportes im Topfpflanzenbau 1989 von Zabeltitz Chr Hrsg Passive solar heating of greenhouses with water filled polyethylene tubes 1989 z Zt vergriffen R ther M Energieeinsparung durch W rmer ckgewinnung beim Zwangsluftwechsel in abgedichteten Gew chsh usern 1989 Meyer J Dumke C und A N Baytorun Entwicklung eines geschlossenen Gew chshaussystems mit integrierter solarer Wasserentsalzung nach dem Modell ITG Hannover 1989 Meyer J Analyse von Kunstlichtsystemen mit einem modularen S mulationsprogramm zur Datengewinnung 1989 Rath T Einsatz wissensbasierter Systeme zur Modellierung und Darstellung von gartenbautechnischem Fachwissen am Beispiel des hybriden Expertensystems HORTEX 1992 Rosocha Chr Ganzj hrig optimierte Nutzung ungeheizter Foliengew chsh
38. chlichen Robotern verwendet werden konnten war es m glich die Steuerbefehle welche f r die sp tere Ansteuerung verwendet werden sollten direkt in Cosimir Professional zu exportieren und dort mittels Simulation zu testen Auf diese Weise konnte weitestgehend gew hrleistet werden dass die mit der Pfadplanung errechneten und vorab simulierten Bewe gungsabl ufe mit den realen Robotern tats chlich auf die simulierte Art und Weise durchge f hrt werden w rden 71 Material und Methoden f D roboter cosimir Laufb nder und Achsen mod Abbildung 5 18 Simulationsmodell der Versuchsanlage in Cosimir Professional 5 4 3 Bibliothek f r inverse Kinematiken F r die Berechnung der inversen Kinematiken des Roboters wurden Teile der Microb Bib liothek verwendet IREQ 2004 Microb ist eine C Bibliothek von Funktionen welche zu Steuerung von Robotern verwendet werden k nnen Eine der Hauptcharakteristiken der Bib liothek ist ihre modulare Architektur Deshalb k nnen die verschiedenen Module f r unter schiedliche Anwendungsbereiche auch unabh ngig voneinander verwendet werden Microb verf gt neben Modulen zur Berechnung der direkten K nematiken von Robotern auch ber Module zur Berechnung der inversen Kinematik bei Robotern bei denen sich die Achsen der letzten drei Verbindungsglieder n einem Punkt schneiden In der englischen Literatur wird diese Eigenschaft auch als wrist partitioned bezeichnet Diese Eigenschaft f hr
39. dann jedoch der kleinste umschlie ende Kreis verwendet Wurden auch in diesem Durchlauf keine poten tiellen Bl tenstielregionen erkannt wurde die Weiterverarbeitung abgebrochen Ubernommene potentielle Bl tenstielregionen beinhalteten zum gr ten Teil Bl tenstiele und Bl ten Aber auch St rungen wie Blattteile berlappungsbereiche oder Teile der Versuchs anlage waren enthalten Das Ziel des n chsten Schrittes war es aus diesen Regionen die Bl tenstielteile zu separieren 89 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bliitenstielen Abbildung 6 6 Segmentierung potentieller Bliitenstielbereiche a Ausgangsregion mit aufgef llten Hohlfl chen b schrittweise Erosion der Ausgangsregion rot mit kleinsten umschlie enden Rechtecken f r jeden Schritt blau gr n dargestellt ist die Region welche nach dem Schritt mit der gr ten Fl chendifferenz entsteht c Ausgangsregion rot und r ckdilatierte Hauptpflanzenregion gr n d Teilfl chenbildung nach Dif ferenzbildung e potentielle Bl tenstielregionen rot 90 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bliitenstielen 6 4 Aufteilung potentieller Bl tenstielregionen in unverzweigte Einzelregionen Um die Separierung von Kreuzungsbereichen und St rungen in sp teren Schritten zu erm g lichen wurden die einzelnen potentiellen Bl tenstielregionen Hg zun chst in unverzweigte Einzelregionen aufget
40. dreidimensionalen Modelle eine kollisionsfreie Pfadplanung fiir die 11 Ziele der Arbeit Ernte und einen Algorithmus f r die Durchf hrung des gesamten Erntevorgangs Zentral dabei war die Forderung dass keine Teile der Versuchsanlage besch digt werden sollten Das System zur Pfadplanung und Ansteuerung der Roboter sollte ohne Probleme auf andere Kul turarbeiten bertragbar sein 12 Grundlagen 4 Grundlagen 4 1 Bildverarbeitung salgorithmen Ziel der Arbeit war eine automatisierte Ernte von Gerberabliitenstielen Dafiir war 1m ersten Schritt eine Segmentierung der Bliitenstiele mittels Bildverarbeitungsalgorithmen notwendig Im folgenden Abschnitt werden die grundlegenden Bildverarbeitungsoperationen aufgef hrt welche n dieser Arbeit verwendet wurden In diesem Kapitel werden zun chst die wesentlichen Grundlagen und Operatoren der Bildver arbeitung erl utert welche im Rahmen dieser Arbeit von Bedeutung sind Soweit nicht anders erw hnt basieren die Ausf hrung zu Bearbeitung und Manipulation von Grauwertbildern auf RATH 1997 F r weitere Informationen sei auf diese Quelle verwiesen Grundlegendere Ein f hrungen bieten HABER CKER 1987 und ABMAYR 1994 4 1 1 Darstellung von Bildinformationen Im Rahmen dieser Arbeit werden die Begriffe Bild Region und Laufl ngekodierung verwen det die im folgenden genauer definiert werden 4 1 1 1 Bild Um Bilder mit Rechensystemen darstellen zu k nnen m ssen s
41. ein Punkt M relativ zum Koordinatensystem A beschrieben siehe auch Abbildung 4 6 a 4 2 1 2 Beschreibung der Orientierung F r die Beschreibung eines K rpers im Raum ist nicht nur die Position des K rpers von Bedeutung sondern auch dessen Orientierung siehe Abbildung 4 6 b Um die Orientierung eines K rpers zu beschreiben wird dieser mit einem eigenen Koordinatensystem versehen Damit wird es m glich die Lage des K rpers relativ zu einem Referenzkoordinatensystem anzugeben 28 Grundlagen Die Orientierung eines Koordinatensystems B relativ zu A wird beschrieben durch die Rotation um die Achsen der Koordinatensysteme und kann mathematisch als sogenannte Rotationsmatrix ausgedr ckt werden Die Rotationsmatrix ist eine 3 x 3 Matrix mit der besonderen Eigenschaft dass alle Spalten vektoren zueinander orthogonale Einheitsvektoren sind Es sind die Einheitsvektoren der Koordinatenachsen von B ausgedr ckt in Koordinaten von A Die Rotationsmatrix welche die Orientierung des Koordinatensystems 8 relativ zu A beschreibt lautet R 4X Y 2 KH Mm be 4 26 Wy Ty I A AN X Y Z Einheitsvektoren der Koordinatenachsen von 4 in Koordinaten von BS AR Rotationsmatrix Orientierung von B relativ zu A beschreibt Die Interpretation von R ist abh ngig von Betrachtungsweise und dem Verwendungszweck siehe auch 4 2 1 4 4 2 1 3 Transformation von Punkten Bei der Berec
42. eine Suche nach einer optimalen Orientierung und die Verfahrbefehle f r den Roboter konnten durch eine spezielle Ausrichtung des Greifers vereinfacht werden Die Orientierung 133 Ernte der Bliitenstiele wurde dabei so gew hlt das die L ngsachse des Greifers n einer Ebene parallel zu der Ebene lag welche durch die x und y Achse des Weltkoordinatensystems aufgespannt wurde Die berechnete Ernteposition f r den Schnittpunkt wurde sp ter nicht direkt angefahren In Vorversuchen hatte sich gezeigt dass die vorhandenen wenn auch geringen Ungenauigkei ten m Gesamtsystem h ufiger dazu f hrten dass der Bl tenstiel nicht mit dem Greifer erfasst wurde Dies umfasste Ungenauigkeiten bei der Kalibrierung der Gesamtanlage relative Posi tion der einzelnen Komponenten zueinander und be der Modellierung aller Teile der Bl tenstiel wurde beispielsweise nicht mit seiner tats chlichen Breite modelliert Dies war insbesondere dann zu beobachten wenn der Greifer am Ende des Bewegungsablaufs nicht direkt mit der Seite der ffnung auf den Bl tenstiel hinzu bewegt sondern von der Seite her angef hrt wurde Deshalb wurde eine Vorernteposition f r den Greifer ermittelt von welcher aus der Greifer sp ter mittels linearer Bewegung mit der Greifer ffnung voran zum endg ltigen Punkt bewegt werden sollte F r beide m glichen Vorerntepositionen wurde die Position relativ zur vorl u Vorerntestellung prim rer Schnittpunkt
43. einmal bekannte innere Kameraparameter voraus Sind wie im vor liegenden Fall auch die Ma e des Kal brierk rpers bekannt so kann die Lage von Kamerako ordinatensystem und Kal brierk rperkoordinatensystem zueinander bestimmt werden Da der Kal brierk rper ber mehrere Passmarken verf gt kann intern eine Ausgleichsrechnung ein gesetzt werden welche die Genauigkeit der Hand Auge Kalibrierung erh ht F r weitere Details bez glich des eingesetzten Verfahrens sei auf LANSER und ZIERL 1995 verwiesen Die Prozedur f r die Hand Auge Kalibrierung wurde direkt in das Programm der Versuchs anlage implementiert und nach der Aufnahme der Kalibriertafel der Erkennung der Passmar ken n den verschiedenen Positionen und der Bestimmung der Roboterposition durchgef hrt Der Hand Auge Kal brierung zwischengeschaltet wurde die Halcon interne Kamerakalibrie rung f r die inneren Parameter da die inneren Parameter f r die Eingabe notwendig waren Das wichtigste Ergebnis der Hand Auge Kalibrierung die Lage des Kamerakoordinatensys tems in Relation zum Weltkoordinatensystem wurde gespeichert und diente als Basis f r die Positionierung der Roboter auf der Grundlage errechneter Objektpositionen Das Resultat 75 Material und Methoden einer Hand Auge Kalibrierung die Lage der beteiligten Koordinatensysteme zueinander ist in Abbildung 5 17 dargestellt Die Nullpunkte von Werkzeugkoordinatensystem und Kal brierk rperkoordinatensystem sind
44. ersten Durchlauf kleinstes Ay Hy umschlieBendes Rechteck verwenden m mal Hy Qp Hm V px 0P Region m 2 mal dilatieren Ausgangsregion kopieren Hauptpflanzenregion Ay Hy i 1 m 2 mal Ay Qp Hy V Solange Flache der Region Tp H71 gt 0 potentielle Bliitenstielregionen Ausgangsregion Hauptpflanzenregion Hg 2 gt H Hi Region erodieren Hr Q Hr V Berechne Schwerpunkt s s 1 s2 s H z f r alle Regionen aus Fl chendifferenz zum vorherigen Schritt Hg berechnen Entferne alle Regionen mit z Vp H71 Tr XH Schwerpunkt unterhalb Oberkante der i it 1 Hp Hp Hauptpflanzenregion sz lt I zumin Hp Sind Regionen ja brig geblieben Tp Hp gt 0 Im zweiten Durchlauf kleinsten umschlieBenden Kreis verwenden DX ok V Kreismaske mit ja l potentielle Radius 1 5 Pixel Bl tenstielregionen Hg Abbildung 6 5 Ablauf Segmentierung potentieller Bl tenstielbereiche 88 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bl tenstielen F r die Ermittlung der optimalen Erosionstiefe wurde ein Duplikat der Ausgangsregion H4 gesamte Pflanze schrittweise erodiert mit einer Kreismaske des Radius 1 5 Pixel F r jeden Erosionsschritt wurde dann die Fl che der Region berechnet welche durch das kleinste umschlie ende Rechteck der betrachteten Region gebildet wurde Im n chsten Schritt wurden die Differenzen
45. gern D umlaufende ange zentrale Steuer und Regelungseinheit PC Steuerung Umlaufsystem SPS Abbildung 5 1 Schematische Darstellung der Versuchsanlage KAWOLLEK et al 2002 58 Material und Methoden ee eera a F gt 3 Y Kameras j PC zur gt Steuerung zentraler Arbeitsplatz Abbildung 5 2 Foto von der Versuchsanlage mit Transferstrecke Robotern Kameras und Belichtung bunden waren Die Transportgeschwindigkeit der F rderstrecke auf der Seite der Roboter war regelbar Der Transport der Pflanzen erfolgte auf Werkst cktr gern von denen bis zu vier gleichzeitig eingesetzt werden konnten Die Werkst cktr ger konnten an insgesamt vier Positionen des Umlaufsystems mittels pneumatisch betriebener Vereinzeler angehalten und freigegeben wer den Zus tzlich war an einer der Haltepositionen eine Hub und Drehstation integriert Sie erm g lichte das Ausheben und anschlie ende Drehen der Werkst cktr ger um 360 und somit eine variable Positionierung der Arbeitsobjekte Diese Halteposition stellte den zentralen Arbeits bereich dar S mtliche Teile des Umlaufsystems wurden ber eine SPS speicherprogrammierbare Steue rung gesteuert Alle Funktionen konnten ber einen PC angesprochen werden 59 Material und Methoden 5 1 3 Die Roboter Am Arbeitsbereich des Umlaufsystems waren zwei Industrieroboter RV E4NM
46. im nahen Infrarotbereich wurden noch Signale empfangen Farbinformationen wurden ber einen Mosaikfilter auf dem Chip generiert Es erfolgte keine weitere Aufbereitung der Daten innerhalb der Kameras Die physikalische Aufl sung betrug 1292 x 1030 Pixel Diese wurde jedoch durch die Verrechnung von je vier Grauwertpixeln mit unterschiedlicher Farbsensitivit t 1 Pixel Rot 2 Pixel Gr n 1 Pixel Blau zu einem Bildpunkt mit einem RGB Wert auf 646 x 515 Pixel sieheAbbildung 5 6 reduziert Die maximale Bildrate der Kameras betrug 12 Bilder s Die Belichtungsdauer konnte ber den PC eingestellt werden Der Bilddatentransfer erfolgte ber digitale Framegrabberkarten vom Typ Matrox Meteor II Digital MATROX 2002 Abbildung 5 5 Kameras DFD 4023 in Stereoanordnung 62 Material und Methoden Abbildung 5 6 Reduzierung der Aufl sung durch Verrechnung der Farbinformationen vier benachbarter Pixel zu einem einzelnen Bildpunkt Links Schematische Anordnung der Farbfilter auf dem CCD Chip G gr n B blau R rot nach dem sogenannten Bayer Mosaik Rechts Generierung eines Farbbildes RGB Bild durch Verrechnung vier benachbarter Pixel mit unterschiedlichen Farbinformationen In den Untersuchungen wurden Cosmicar Objektive mit einer Brennweite von 12 5 mm ver wendet F r die vorliegenden Untersuchungen wurden zus tzlich optische Sperrfilter vom Typ B W 093 verwendet welche das Licht erst ab dem nahen Infrarotbereich transmi
47. in den vorhe r gen Kapiteln beschrieben werden durch eine Rotation R gefolgt von einer Translation T vergleiche 4 2 1 3 M R M T 4 42 KR Rotationsmatrix SL Translationsmatrix My Punkt in Weltkoordinatensystem My Punkt in Kamerakoordinatensystem Als homogene Transformation ergibt sich dann 4 43 41 Grundlagen M Punkt im Weltkoordinatensystem in homogenen Koordinaten H Homogene Transformationsmatrix zur Transformation eines Punktes aus dem Weltkoordinatensystem n das Kamerakoordinatensystem M Punkt im Kamerakoordinatensystem in homogenen Koordinaten 4 2 2 5 Kamerakalibrierung F r die Berechnung eines Modells der Gerbera unter Verwendung der Bildinformationen m ssen d e verschiedenen Parameter der Kamera bekannt sein Je genauer diese Parameter bekannt sind desto genauer wird das daraus errechnete Modell sein Starke Abweichung der verwendeten Parameterwerte von den tats chlichen Werten w rden m entwickelten System dazu f hren dass der Roboter die Bl tenstiele nicht ernten k nnte da eine korrekte Ansteue rung nicht m glich w re Im schlimmsten Fall k nnten Fehler auch zu Kollisionen der Robo ter und zu starker Besch digung der Versuchsanlage f hren Eine direkte Messung der internen und externen Parameter einer Kamera ist normalerweise technisch nicht m glich oder nicht praktikabel da entsprechende Messger te m Allgemeinen nicht zur Verf gung stehen die Verfahren
48. mm Arobella 0 mm Cornice der maximale Abw rtsbewegung ist bei beiden Sorten mit 150 mm identisch Die Variationskoeffizienten zeigen bei Cornice 0 85 eine st rkere Streuung als bei Arobella 0 51 Der Endabstand des Greifers zur Topfoberkante war im Mittel bei der Sorte Arobella mit 133 mm um 19 mm geringer als bei Cornice 152 mm Der minimal erreichte Abstand war bei der Sorte Cornice mit 48 mm etwas geringer als bei Arobella 56 mm Der gr te aufge zeichnete Abstand war bei Cornice mit 266 mm gr er als bei Arobella mit 210 mm Die Variationskoeffizienten bez glich des Abstandes zur Topfoberkante war bei beiden Sorten mit 0 34 Arobella und 0 4 Cornice hnl ch 163 Ernte der Bliitenstiele Tabelle 7 3 Ergebnisse der Vorversuche zur Bestimmung der Linge der Abw rtsbewe gung bei der Stielverfolgung Arobella Cornice Entfernung vom Min 25 0 1 Erntepunkt mm Mittelwert 63 52 Max 150 150 Std 33 44 Variations koeffizient 0 51 0 85 Abstand von der Min 56 48 2 Topfoberkante mm Mittelwert 133 152 Max 210 266 Std 45 61 Variations koeffizient 0 34 0 40 Anzahl Bl tenstiele 22 Entfernung des endg ltigen Erntepunktes vom prim ren bzw sekund ren Erntepunkt Abstande des endg ltigen Erntepunktes von der Topfoberkante 7 3 3 Angaben zur Erntedauer F r den gesamten dargestellten Ernteablauf wurden keine konkreten Auswertungen f r die ben tigte Zeitspanne zur Ernte der Bl tenstiele vorgenomm
49. r die Ernte wurde ein Roboter mit sieben Freiheitsgraden und einem eigens entwickelten Erntegreifer eingesetzt welcher auf einer mobilen Plattform montiert war Daten zu Ernteraten konnten der Literatur n cht entnommen werden Sp ter wurde von FUJIRUA et al 2000 ein Erkennungssystem f r einen geplanten Gurken ernteroboter entwickelt welches auf einem 3D Sensor mit Infrarot Laser basierte Die vorge stellte Methodik hatte jedoch experimentellen Charakter Die Verbindung mit einem Ernte system wurde nicht beschrieben 2 2 10 Ernte von Bl tenstielen Systeme zur Ernte von Bl tenstielen s nd bisher nicht untersucht bzw entwickelt worden Da sich diese Arbeit mit dieser Thematik befasst sollen aber zumindest Ans tze f r solche Arbeiten h er aufgezeigt werden NOORDAM et al 2005 evaluierten Methoden zur Ermittlung dreidimensionaler Informatio nen von Rosen aus Bildern mit dem Ziel der Bl tenstielernte Sie verglichen Lasertriangula tion Stereobildverarbeitung basierend auf Kamerabildern und Stereobildverarbeitung basie rend auf R ntgenbildern sowie das sogenannte Reverse Volumetric intersection basierend auf mehreren Bildern aus unterschiedlichen Positionen Letztere Methode wurde als d e beste Methode eingesch tzt Weitere Arbeiten wurden bisher jedoch nicht durchgef hrt 2 3 Systeme zur Automatisierung von Vermehrungsarbeiten 2 3 1 Gewebekultur Einen Prototyp zur Mikrovermehrung am Beispiel von Chrysanthemen entwi
50. r diese Arbeit bedeutet dies dass die verwendeten Kameras mittels verschiedener Parameter wie Brennweite sowie L nge und Breite der Bildpunkte beschrieben werden k nnen so dass mit Ihrer Hilfe aus den Bilddaten die Position von Pflanzenteilen n Relation zur Kamera bestimmt werden kann Diese Daten dienen dann als Grundlage f r die Roboteransteuerung Das hier vorgestellte Kameramodell entspricht dem von BOUGUET 2004 verwendeten F r die Herleitung und Beschreibung des Modells wurden Ausz ge aus BOUGUET 1999 FAUGERAS 1993 FAUGERAS und LUONG 2001 sowie XU und ZHANG 1996 verwendet F r eine ausf hrlichere Beschreibung sei auf diese Quellen verwiesen 4 2 2 1 Das Lochkameramodell perspektivische Projektion Die Abbildung eines Punktes im dreidimensionalen Raum auf die zweidimensionale Bild ebene der Kamera kann am einfachsten durch das sogenannte Lochkameramodell beschrieben werden siehe Abbildung 4 9 Das geometrische Modell einer Lochkamera besteht aus e der Ebene 7 der Bildebene e einem Punkt O dem optischen Zentrum und e der Brennweite f dem Abstand zwischen O und Z O stellt den Nullpunkt des Kamerakoordinatensystems dar Die Linie durch O welche senk recht auf 7 steht ist die optische Achse Sie schneidet 7 im Punkt c der auch Hauptpunkt genannt wird Ein Lichtstrahl welcher von einem beliebigen Objekt ausgeht verl uft durch O und wird auf I abgebildet Jeder Punkt des Objektes sein korre
51. relativ geringe radiale Verzerrungen eine Appro ximation mit ausreichender Genauigkeit fiir praktische Anwendungen an Die Koordinaten x y eines Punktes m ergeben sich demnach aus den verzerrten Koordinaten xaya eines Punktes my durch 40 Grundlagen m m m 4 41 lix 1 l k Im 4 m Punkt n unverzerrten Koordinaten ma Punkt in verzerrten Koordinaten K Koeffizient der radialen Verzerrung 4 2 2 4 Externe Kameraparameter F r weitere Anwendungen des Kameramodells ist es h ufig notwendig Punkte aus einem anderen Koordinatensystem in das der Kamera zu transformieren Dies ist z B von Bedeutung bei der Kamerakalibrierung wo Punkte im Koordinatensystem eines definierten Kalibrierk r pers gegeben sind oder bei der Verwendung einer zweiten Kamera wo eine Transformation zwischen den beteiligten Kamerakoordinatensystemen notwendig ist H ufig wird auch ein sogenanntes Weltkoordinatensystem als Referenzkoordinatensystem definiert welches als Bezugssystem f r andere Koordinatensysteme verwendet wird Die Parameter welche die Lage des Kamerakoordinatensystems in Beziehung zu einem Weltkoordinatensystem beschreiben werden als externe Kameraparameter bezeichnet Der Begriff findet insbesondere im Zusammenhang mit der Kamerakalibrierung Verwendung Die Transformation eines Punktes M in Weltkoordinaten Xw Yw Zu in einen Punkt M in Koordinaten der Kamera X Y Z kann dann entsprechend der Ausf hrungen
52. und M J ALDON 1987 Magali A self propelled robot to pick apples ASAE Paper No 87 1037 GRASSO G und M RECCE 1996 Scene Analysis for an Orange Picking Robot Proceedings of the 6th International Congress for computer Technology in Agriculture ICCTA 96 Wageningen The Netherlands June 16 19 275 280 HABERACKER P 1987 Digitale Bildverarbeitung Grundlagen und Anwendungen 2 Auflage Carl Hanser Verlag M nchen Wien HACK G R 1989 On line measurement of plant growth in the greenhouse Acta Horticul turae 248 337 344 186 Literaturverzeichnis HANDL A 2002 Multivariate Analysemethoden Theorie und Praxis unter besonderer Ber cksichtigung von S PLUS Springer Verlag Berlin Heidelberg HARRELL R C P D ADSIT T A POOL und R HOFFMAN 1990 The Florida Robotic Grove Lab Transactions of the ASAE 33 2 391 399 HAYASHI S K GANNO Y ISHII und I TANAKA 2002 Robotic Harvesting System for Egg plants Japan Agricultural Research Quarterly 36 3 163 168 HEMMING J 2001 Bildanalyse fiir die robotisierte Ernte von Gew chshausgurken In Computer Bildanalyse in der Landwirtschaft Workshop 2001 Gartenbautechnische Infor mationen Heft 53 Bornimer Agrartechnische Berichte Heft 26 Potsdam Hannover 42 52 HOTHER K 1998 Qualit tserkennung am Apfel mit Hilfe der Streifenprojektion Disserta tion an der Landwirtschaftlich G rtnerische Fakult t der Humb
53. und der Schnitt deshalb direkt nach Anfahrt des Bl tenstiels durch sef hrt wurde rechts Wurde die Vorerntstellung angefahren so wurden die Stielverfolgung 7 1 5 die eigentliche Ernte 7 1 6 und die Ablage des Bliitenstiels 7 1 7 durchgef hrt Nach erfolgter Ernte wurden interne Merker f r die Anzahl geernteter Bl tenstiele und die Anzahl zu erntender Bl tenstiele 1m n chsten Durchgang gesetzt Dann wurde im Programm ablauf wieder zur ckgesprungen zur Bildaufnahme in der aktuellen Position Wurde die Schleife zur Ernte in der aktuellen Position abgebrochen und waren noch Bliiten stiele zur Ernte brig so wurde der Vorgang mit der n chsten Position fortgesetzt in der bei der Aufnahmeserie zu Beginn die maximal Anzahl Bl tenstiele in beiden Bildern erkannt wurde Der gesamte Ablauf wurde fortgesetzt b s alle Bl tenstiele geerntet wurden oder alle potentiellen Erntepositionen durchgegangen wurden 157 Ernte der Bliitenstiele Schleife ber acht verschiedene Positionen der Pflanze Aufnahme mit beiden Kameras Bl tenstielerkennung und Speicherung der Anzahl erkannter Bl tenstielobjekte wenn in beiden Bildern gleiche Anzahl erkannt wurde sonst Null speichern Palette mit Pflanze um 45 drehen Maximale Anzahl Bliitenstiele b ax ermitteln die in beiden Bildern einer Position erkannt wurden Schleife ber alle Positionen mit berkannten Bl tenstielen in beiden Bildern Palette auf Positi
54. verwendet 5 3 Kalibrierung der Anlagenteile Systemkalibrierung Innerhalb dieser Arbeit sollte ein dreidimensionales Modell der Pflanze bzw von Pflanzen teilen erstellt werden und bas erend auf diesen Informationen der Erntevorgang mit dem Roboter durchgef hrt werden F r die Gewinnung dreidimensionaler Informationen aus Ste reoaufnahmen und die Ansteuerung des Roboters n Abh ngigkeit von den gewonnenen Modellen war eine Systemkalibrierung notwendige Voraussetzung Ungenauigkeiten n der Abstimmung zwischen optischer Sensorik und mechanischen Roboteraktoren f hren unwider ruflich zu Fehlfunktionen der gesamten Anlage 1m Extremfall zur Zerst rung von Pflanzen material oder technischem Inventar So k nnen geringe Ungenauigkeiten im Kameramodell schnell zu Ungenauigkeiten der Roboteransteuerung im Bereich von einem Zentimeter oder mehr f hren Der Systemkalibrierung kommt daher eine ganz entscheidende Bedeutung 68 Material und Methoden innerhalb des Gesamtprozesses zu zum Einfluss von Kalibrierfehlern siehe auch HEMMING 2001 Diese Systemkalibrierung umfasste sowohl die Bestimmung der Abbildungseigenschaften der verwendeten Kameras als auch die Lage aller relevanten Koordinatensystem zueinander Diese Kalibrierung bestand aus zwei wesentlichen Elementen der Kamerakalibrierung und der Hand Auge Kalibrierung Die Kamerakalibrierung umfasste die simultane Bestimmung der inneren Kameraparameter sowie d e Lage der beiden
55. vom Kamerakoordinatensystem Me rnte in das Basiskoordinatensytem des Roboters Mg inte siehe Text m gliche Erntestellung en ber inverse Kinematik berechnen f r die sechs Achsen des Roboters Ernte der Bl tenstiele Kollisionsfrei Erntestellung ermittelt oder keine m gliche Erntestellung mehr vorhanden Erntestellung auf Kollision testen n chste Erntestellung ausw hlen Linarchasenstellung um 50 mm verschieben m gliche Achsenstellungen f r Erntepunkt soweit vorhanden Abbildung 7 5 Ablauf Ermittlung m glicher Achsenstellungen f r einen Erntepunkt Zun chst wurden die zuvor ermittelten m glichen Roboterstellungen der Reihe nach auf Kol lision getestet bis eine kollisionsfreie Stellung gefunden wurde oder keine m gliche Stellung mehr vorhanden war Der Kollisionstest wurde mit Hilfe der MPK Bibliothek durchgef hrt F r jede m gliche Position wurde die Stellung der einzelnen Roboterachsen im dreidimensio nalen Modell angepasst Wurde keine kollisionsfrei Stellung gefunden so wurde die Stellung der Linearachse ver ndert und die inverse Kinematik neu bestimmt 137 Ernte der Bliitenstiele Abbildung 7 6 Visualisierung einer als kollisionsfrei berechneten Vorerntestellung fiir den Roboter 7 1 3 Pfadplanung und Ansteuerung der Vorerntestellung Wurde eine kollisionsfreie Vorerntestellung ermittelt siehe Abbildung 7 6 so wurde mit Hilfe der MP
56. wurde Dieses Linienraster bestand aus zur x Achse des Bildes parallelen Linien mit einem Abstand von jeweils f nf Bildpunkten Dieses Raster wurde mit den Mittelachsen der Bl tenstiele berlagert Da es sich bei den Mittelachsen um eine Punktemenge handelte wurden jeweils benachbarte Punkte durch Strecken miteinander verbunden Die einzelnen Schnittpunkte m bildeten die Ausgangspunkte f r das sp tere dreidimensionale Modell Ausgehend von jeweils einem Punkt m im linken Bild wurden dann der korrespondierende Punkt m im rechten Bild bestimmt Zun chst wurde dazu zu jedem Bildpunkt im linken Bild die Epipolarlinie 1m rechten Bild bestimmt Gleichung 4 46 Der korrespondierende Punkt im rechten Bild musste dann auf dieser Epipolarlinie liegen Diese Epipolarlinie wurde mit der Mittelachse des Bliitenstielobjektes im rechten Bild berla gert War ein Schnittpunkt vorhanden so wurde dieser Punkt als korrespondierender Punkt m rechten Bild gespeichert Dieser Vorgang wurde f r alle Ausgangspunkte 1m linken Bild wiederholt Ergebnis waren die beiden Punktemengen K und K die als Menge von Punktpaaren die Basis f r die weite ren Berechnungen darstellten 122 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bl tenstielen b c eer ate See T
57. zur automatisierten Ernte von Chrysanthemenstecklingen Ihre Arbeiten umfassen bildgest tzte Erkennung Qualit ts ermittlung und Ermittlung dreidimensionaler Informationen der Pflanze Die Entwicklung eines spezialisierten Roboters wurde angedacht aber nicht weiter umgesetzt MOESLUND et al 2005 beschreiben Ans tze zur Weiterentwicklung eines Systems der Firma Thourstrup amp Overgaard zum Stecken von Schlumbergera Stecklingen Das von der genann ten Firma entwickelte System nimmt Stecklinge von einem Laufband mit einem Roboter auf und steckt diese in Substrat MOESLUND et al 2005 evaluierten eine Methode zur Bestim mung der 3D Position von Schlumbergera Bl ttern an der Pflanze um auch den Prozess der Stecklingsernte zu automatisieren In Versuchen konnten etwa 85 der Positionen richtig erkannt werden Die niederl ndische Firma Jentjens Machinetechniek B V bietet ein kommerzielles System zur Automatisierung der Stecklingsvermehrung von Rosen an JENTJENS MACHINETECHNIEK B V 2005 Dabei werden von einem vorher geernteten Rosenzweig einzelne Stecklinge mit einem Industrieroboter unter Einsatz von Bildverarbeitung abgeschnitten und anschiefend in vorbereitete T pfe gesteckt Die Firma Jentjens propagiert das unter dem Namen Rombomatic angebotene System auch f r Euonymus Lavendel und Efeu 2 4 Verpflanzung TAI et al 1994 beschreiben ein System zur automatischen Verpflanzung von S mlingen Dabe wurden Pflanze bzw Feh
58. zwei Sor ten konnte eine gute Korrelation zwischen vorhergesagtem und tats chlichem Alter festge stellt werden bei dreien eine schwache Korrelation Lediglich bei einer Sorte konnte keinerlei Korrelation festgestellt werden AJWANG 2000 folgert aus den Untersuchungen dass der entwickelte Ansatz mit geringen Verbesserungen des entwickelten Algor thmus potentiell f r die automatisierte Ernte von Gerbera verwendet werden kann 175 Diskussion Um das entwickelte Verfahren zu integrieren w ren Aufnahmen der Gerberabl ten von oben notwendig Um das entwickelte Verfahren mit einem solchen System zu kombinieren w re somit eine weitere Kal brierung zwischen Reifegradbestimmung und Erntesystem oder ein System notwendig welches gleichzeitig die Aufnahme der Bl ten aus den notwendigen Perspektiven erm glicht 8 2 3 Verfahren zur Berechnung und Ansteuerung des Schnittpunktes In Kapitel wurde bereits darauf hingewiesen dass s ch eine direkte Ansteuerung des Bl ten stiels mit dem Greifer aufgrund von Ungenauigkeiten bei den Berechnungen und der zugrunde liegenden Kal brierung als nicht zweckm ig erwies Die Verwendung einer Vor erntestellung mit geringem Abstand zum errechneten Schnittpunkt stellte sich als zweckm ig und praktikabel heraus Das verwendete Verfahren zur Bestimmung der Vor Erntestellung lieferte gute Ergebnisse Zwar erscheint das teiliterative Verfahren mit der schrittweisen Verschiebung der Linearachse u
59. 220000eeeeeeeen 100 Tabelle 6 2 Reduzierung der Maxima Kandidaten f r Bl tenstielkanten aufgrund eines Partnerkriteriums s ehe Text Werte n Klammern geben die relativen Anteile m Verh ltnis zur Gesamtsumme aller Maxima an ccc ccc cecececcececccceccecsccccecccsccescecess 103 Tabelle 6 3 Ergebnisse der Klassifikation der Maxima Paare unter Verwendung verschiedener Klassifikationsmethoden cccecceccecceccccecceccecesceccecescecceseecesceseces 107 Tabelle 6 4 Ergebnisse der Klassifikation von Streckensegmente auf Zusammenge h rigkeit in Abh ngigkeit der Anzahl Kantenpixel welche als Eingabe f r die Bestimmung der Regressionsgerade als Grundlage f r die Berechnung der Sireckensestmente verwende wurden ea 118 Tabelle 6 5 Erkennungsraten des Bildverarbeitungsalgorithmus zur Erkennung von Bl tenstielobjekten differenziert nach Bewertungskriterium 000c0eeeeeeeeeeeeeees 129 Tabelle 7 1 Ernteraten bezogen auf Einzelstiele in Prozent differenziert nach Gruppen mit unterschiedlicher Anzahl Bl tenstielen cece ccccccecceccecesceccecescecceseecesceseeces 161 Tabelle 7 2 Anzahl und Anteil Pflanzen gruppiert nach dem Ergebnis bezogen auf die Gesa an ae ea 162 Tabelle 7 3 Ergebnisse der Vorversuche zur Bestimmung der L nge der Abw rtsbe weeung beider Suelverioe ung nun aM 164 Abk rzungs und Symbolverzeichnis Abk rzungs und Symbolverzeichnis
60. 5 Pflan zen verwendet welche jeweils aus acht Positionen aufgenommen wurden insgesamt wurden also 440 Bilder verwendet 60 der Daten wurden als Trainingsdaten verwendet 40 als Testdaten 102 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bl tenstielen F r die Analysen wurden zun chst mit einem Auswertungsprogramm alle lokalen Maxima der gegl tteten Verteilung ermittelt Per Mausklick wurde jedes Max mum einer der beiden Gruppen Maximum wurde durch Bl tenstielkante verursacht bzw Maximum wurde nicht durch Bl tenstielkante verursacht zugeordnet Daneben wurden weitere Charakteristika der Verteilungen f r sp tere Analysen ermittelt siehe weiter unten Aufgrund der vorherigen berlegungen wurden in einem ersten Schritt nur solche Maxima bernommen welche ein gegen berliegendes Partner Maximum mit einem Abstand von ca 180 Grad aufwiesen wobei eine Toleranz von 4 Grad toleriert wurde Diese Toleranz wurde aufgrund der Analyse der Trainingsdaten verwendet Tabelle 6 2 zeigt dass die Anzahl von Maxima Kandidaten im Testdatensatz durch Eliminierung der Maxima ohne Partnerma ximum in entgegengesetzter Richtung mit etwa 38 Prozent deutlich reduziert werden konnte Dabei lag die Rate falsch negativer Entscheidungen deutlich unter einem Prozent Maximum durch Stielkante verursacht und Kein Partnermaximum mit entgegengesetzter Richtung und war damit u erst gering Tabelle 6 2
61. 76 Diskussion 8 2 4 Stielverfolgung Das verwendete Verfahren zur Stielverfolgung stellte eine praktikable Methode dar um den tats chlichen Schnittpunkt weiter nach unten zu verlagern und somit die L nge des geernteten Bl tenstielteiles zu erh hen Es muss jedoch deutlich gesagt werden dass das Verfahren f r eine Anwendung n der Praxis n cht ausreichend w re Die L nge der stehengebliebenen Bl tenst mpfe war zu gro Bei der in der Praxis blichen Methode der Ernte wird der Bl tenstiel an der Bas s herausgedreht bzw ruckartig herausgezogen ZIMMER und ESCHER 1991 Die L nge des geernteten Bl tenstiels ist somit maximal Die Untersuchungen zeigen dass die Lange des geernteten Bl tenstiels sortenabh ngig ist So lag der Abstand des Erntegreifers zum Zeitpunkt des Ernteschnittes bei der Sorte Arobella im Durchschnitt ca 2 cm tiefer als bei der Sorte Cornice Dies l sst sich durch den unterschiedli chen Habitus der beiden Sorten erkl ren Die Bl tter der Sorte Arobella standen nicht so hoch ber dem Topf wie die der Sorte Cornice Somit war die Entfernung des Erntegreifers von der Topfoberkante nach der Anfahrt des prim ren bzw sekund ren Erntepunktes bei der Sorte Arobella m Durchschnitt geringer Das gr te Problem bei der verwendeten Methode zur Stielverfolgung war dass der Verlauf des Bl tenstieles lediglich aufgrund des sichtbaren Teiles vorhergesagt werden konnte F r eine Verlagerung des Schnittpunk
62. 88 Abbildung 6 6 Segmentierung potentieller Bl tenstielbereiche a Ausgangsregion mit aufgef llten Hohlfl chen b schrittweise Erosion der Ausgangsregion rot mit kleinsten umschlie enden Rechtecken f r jeden Schritt blau gr n dargestellt st die Region welche nach dem Schritt mit der gr ten Fl chendifferenz entsteht c Ausgangsregion rot und riickdilatierte Hauptpflanzenregion gr n d Teilfla chenbildung nach Differenzbildung e potentielle Bliitenstielregionen rot 90 Abbildung 6 7 Drehung der Ausgangsregion rot in die Ergebnisregion welche parallel YAW a of a e215 01 HCO DIJU ernste ee es 91 Abbildung 6 8 Schema der Auftrennung einer Region links in unverzweigte Einzelre gionen rechts Die einzelnen Laufl ngen werden zeilenweise auf Nachbarsehnen in den benachbarten Reihen untersucht Teilsehnen gleicher Farbe im rechten Bild werden einer gemeinsamen Region zugeordnet ssssssnsssssssssseeeeeeeeeeeeeenennnnnnnnnn 92 Abbildung 6 9 Ablauf der Aufteilung potentieller Bl tenstielregionen n unverzweigte Pinole gioh ioes E nee aeg 93 Abbildung 6 10 Auftrennung der Ausgangsregion a in unverzweigte Einzelregionen b Zusammenh ngende Bereiche gleicher Farbe stellen die einzelnen Teilregion ee ee 94 Abbildung 6 11 Schema der Generierung einer H ufigkeitsverteilung der Sehnenl ngen einer potentiellen Bl tenstielregion Links Potentielle Bl tenstielregion Mitte
63. Abbildung 7 10 Ablauf Bewegung des Roboters von der Vorerntestellung zum Schnitt BURN E EN E E EE Abbildung 7 11 Roboter in Vorerntestellung links und in prim rer Erntestellung nach linear be we uns CCTS V ee Abbildung 7 12 Schematische Darstellung der Extrapolation des Stielverlaufs und der m glichen Bewegungsrichtungen des Greifers in Richtung des vorhergesagten BULA sr 1 Bs eran en eM ON toner ONCE eee ATE oan mo EER ee Ore em a RCN enter mS Abbildung 7 13 Ablauf der Stielverfolgung der Abw rtsbewegung des Robotergreifers entlang des vorhergesagten Bl tenstielverlaufs 2 0 0 0 cccccccccccecceeeeeeeeeeeeeeeeseeeeeeeees Abbildung 7 14 Schrittweise Stielverfolgung durch Abw rtsbewegung des Roboters unten und vorhergende Kollisionstests f r die Zielposition oben 133 134 137 138 139 139 141 142 143 144 145 147 Vil Abbildungsverzeichnis Abbildung 7 15 Schlie en des Greifers und Abtrennen des Bliitenstieles Abbildung 7 16 Ablauf der Ablage des Bl tenstiels ccc cccccccccceeeeeeeeeeeeseeeseseeeees Abbildung 7 17 Bewegung des Roboters ber die Ausgangsstellung zur Ablageposition LNA Blase des Bl renstee zu 28a ee Abbildung 7 18 Aufnahmeserie einer Pflanze n acht unterschiedlichen Positionen jeweils um 45 Grad gedreht von links nach rechts und von oben nach unten Die identifizierten
64. Bl ten stiel g geernteter Bl tenstiel kurz vor der Ablage h Kontrollaufnahmen zur ber pr fung des Frnievorsanss ns sanieren Abbildung 7 24 Anzahl Pflanzen des Testdatensatzes gruppiert nach der Anzahl Bl ten PAINE a E E E EO AS Abbildung 8 1 Umkehrung der Reihenfolge der Projektion von Objekten in die Bild ebene bei deutlich unterschiedlichem Abstand zur Kamera Die Projektion m und m bzw m und m gt der Punkte M und M ist in der unteren und oberen Bildebene VOLL BRK URE RD renee ere ee een VIII 148 149 151 153 155 156 157 160 160 170 Abbildungsverzeichnis Abbildung 8 2 Aufnahmen einer entlaubten Pelargonium Zonale Hybride mit der linken und r chten Kamera DONIGAsCRIVAT ZI De 172 Abbildung 8 3 Uberlagerung der berechneten dreidimensionale Modelle fiir alle 36 Positionen OONIGA CRIV AT Pe IE 173 IX Tabellenverzeichnis Hellenverzeichnis Tabelle 4 1 Grunds tzliches Schema einer Kontingenztabelle zur Darstellung von Kl ssifkationsersebhnissen ae ebenen 51 Tabelle 5 1 Ermittelte Denavit Hartenberg Parameter nach CRAIG 1989 f r den Robo ter Mitsubishi RY RAIN rr a A E A 81 Tabelle 5 2 In den Versuchen verwendete S tze von Gerbera jamesonii ueessssseeeeeeeeennnnn 82 Tabelle 6 1 Ergebnisse der Sehnenklassifikation auf der Basis der Sehnenl nge unter Verwendung verschiedener Klass fikationsmethoden 2222222222
65. Bl ten stiele erkannt welche vorher nicht detektiert wurden F r den Erntevorgang wurden nur solche Positionen in Betracht gezogen bei denen n beiden Aufnahmen die gleiche Anzahl Bl tenstiele erkannt wurde Aus diesem Grund wurde ein Teil der potentiellen Erntepositionen Pflanzendrehungen nicht in den Ablauf mit einbezogen Dadurch war es m glich dass Bl tenstiele nicht geerntet wurden Der Ernteablauf basiert auf unterschiedlichen Positionen der Pflanze bei der Bildverarbeitung und bei den Erntevorg ngen Alternativ zu einer Drehung der Pflanze w re eine Bewegung der Sensorik denkbar Dazu m ssten jedoch die Kameras bewegt werden Denkbar w re die Montage einer Kamera auf einem Roboterarm Mit dem verwendeten Roboterarm w re jedoch der Arbeitsbereich zu klein um die Kamera um die Pflanze herumzubewegen Denk bar w re auch die Montage auf einer radial verlaufenden F hrungsschiene Dies w re jedoch mit zus tzlichem konstruktiven Aufwand verbunden und eine bertragbarkeit auf eine mobi les System w re dann n cht mehr denkbar Die Bewegung der Sensorik w rde jedoch dazu f hren dass die Wartezeiten zwischen den Aufnahmen verringert werden k nnten da keine Schwingungen der Pflanzenteile erzeugt werden w rden Andererseits w ren die Ernteversuche auch auf eine Position begrenzt Betrachtet man die Ergebnisse der Ernteversuche so wird deutlich dass oft verschiedene Positionen notwendig waren um alle Bl tenstiel
66. Bl tenstielobjekte sind farblich markiert u0u000sseeeeeeeeeeeeeeeeeen Abbildung 7 19 Beispiel f r einen nicht erreichbaren Bl tenstiel Bei der in der Simula tion dargestellten Szene war der hintere Bl tenstiel nicht erreichbar da keine kolli sionsfreie Ernteposition bestimmt werden konnte ccccccccssssseeeecceceeecaasaeeeeeeeeeees Abbildung 7 20 Beispiel f r nicht erreichbare prim re Erntestellung ausgehend von der bereits angefahrenen Vorerntestellung links Der Greifer wurde deshalb in die sekund re Vorerntestellung gefahren mitte Von dort aus war eine Linearbewe gung zum sekund ren Erntepunkt m glich rechts 00000002 20 eeeeeeeeeeeeeeeeenn Abbildung 7 21 Beispiel f r eine Ernteposition bei der keine weitere Stielverfolgung m glich war links und der Schnitt deshalb direkt nach Anfahrt des Bl tenstiels durensetuhrt wurdetrechls ae neue Abbildung L22 Ablaur Gesamte e nrun Abbildung 7 23 Gesamternteablauf a Ausgangsituation Pflanze mit beiden Bliitenstie len b Programmoberfl che Erkennung der Bl tenstielobjekte und Berechnung der dreidimensionalen Informationen c Pfadplanung f r Erntevorgang der erste Bl tenstiel konnte in dieser Position nicht geerntet werden siehe auch Abbildung 7 19 d geernteter Bl tenstiel kurz nach der Ernte e Erkennung und dreidimensionale Berechnung in n chster Position f Pfadplanung f r Erntevorgang zweiter
67. Drehung durch affine Abbildung Erosion iteratives F llen Generierung einer Punktemenge aus einem Bild mittels Schwellenwertoperation Generierung einer Punktemenge aus einem Bild mittels Schwellenwertoperation mit Hysterese Hough Transformation zur Ermittlung linienartiger Strukturen n der Eingabepunktmenge Erkennung von gekriimmt linearen Strukturen als subpixelgenaue Konturen iterative Teilregionenbildung Reduzierung auf Skelett Reduzierung auf Skelettanfangs und endpunkte Reduzierung auf Skelettkreuzungspunkte XII Einleitung 1 Einleitung Handhabungssysteme und Roboter sind in der Industrie zu wesentlichen Bausteinen rationel ler Produktion geworden Die steigende Akzeptanz in der Wirtschaft basiert auf der steigen den Flexibilit t neuen Entwicklungen der Peripherie sowie vereinfachter Bedienung und Programmierung Insbesondere Neuentwicklungen m Bereich der computergesteuerten Bild analyse und der bildgebenden Sensorik erm glichen immer breitere Einsatzfelder Die Arbeitsobjekte in der Industrie sind gekennzeichnet durch einheitliche Gr e Form Farbe Festigkeit und Oberfl che Im Gegensatz dazu handelt es s ch be Pflanzen um Objekte mit hoher Variabilit t und Inhomogenit t Roboter welche pflanzenbauliche Kulturma nahmen in welchem Bereich auch immer durchf hren sollen m ssen die individuellen Eigenschaften einer jeden Pflanze ber cksichtigen und darauf reagieren k nnen Aus diesem Gru
68. Energiebedarf 1982 Damrath J Solarenergienutzung 1m Gew chshaus Teil 1 Eine energetische Darstellung des doppeltbedachten Gew chshauses mit solarunterst tzter Heizung 1982 Damrath J Solarenergienutzung im Gew chshaus Teil 2 Erg nzende Untersuchungen zur Solaranlage Typ Hannover 1983 Bredenbeck H Studie ber die Nutzung der Solarenergie f r die Gew chshausbeheizung in Griechenland 1982 Damrath J und F J Klein Tabellen zur Heizenergieermittlung von Gew chsh usern Kl ma Hamburg 1983 Damrath J und F J Klein Tabellen zur Heizenergieermittlung von Gew chsh usern Klima Trier 1983 Klein F J Untersuchungen zum Einsatz elektro und verbrennungsmotorisch betriebener Kompressionsw rmepumpen zur Gew chshausbeheizung 1983 15 15 15 15 15 15 15 15 Heft 20 Heft 21 Heft 22 Heft 23 Heft 24 Heft 25 Heft 26 Heft 27 Heft 28 Heft 29 Heft 30 Heft 31 Heft 32 Heft 33 Heft 34 Heft 35 Heft 36 Heft 37 Heft 38 Heft 39 Heft 40 Heft 41 Heft 42 Heft 43 Christian A und Chr von Zabeltitz Energiesituation und k nftige Energieversorgung der Gartenbaubetriebe in Hamburg 1984 Schockert K Erprobung und Bewertung von Niedertemperatur Heizsystemen zur Gew chshausbeheizung 1984 Strauch K H Geschlossene Gew chshaussysteme mit integrierter solarer Wasserentsalzungsanlage f r
69. Heidelberg AJWANG P 2000 Computer Vision for Detection of Cut Flower Maturity MSc Thesis Institute of Horticultural an Agricultural Engineering University of Hannover ANALYSE IT SOFTWARE 2003 Analyse It Help Analyse It Software Ltd Leeds England ARIMA S und N KONDO 1999 Cucumber Harvesting Robot and Plant Training System Jorunal of Robotics and Mechatronics 11 3 208 212 BOUGUET J Y 1999 Visual methods for three dimensional modeling PhD Thesis California Institute of Technology Pasadena California BOUGUET J Y 2004 Camera Calibration Toolbox for Matlab http www vision caltech edu bouguetj calib_doc 28 09 2004 BROSNAN T und D W SUN 2002 Inspection and grading of agricultural and food products by computer vision systems a review Computers and Electronics in Agriculture 36 2 3 193 213 BROWN D C 1971 Close Range Camera Calibration Photogrammetric Engineering vol 37 no 8 855 866 CANNY J 1983 Finding Edges and Lines in Images Report AI TR 720 M I T Artificial Intelligence Lab Cambridge MA 1983 CAO Q M NAGATA Y GEJMA B P SHRESTHA K HIYOSHI und K OOTSU 2000 Basic Study on Strawberry Harvesting Robot Part I Preprints Bio Robotics II 2nd IFAC CIGR International Workshop on Bio Robotics Information Technology and Intelligent Control for Bioproduction Systems November 25 26 2000 51 58 CRAIG J J 1989 Intr
70. K Bibliothek versucht einen kollisionsfreien Pfad ausgehend von der aktuellen Stellung des Roboters zu ermitteln Dazu wurden die aktuelle Achsenstellung und die mittels inverser Kinematik ermittelte Achsenstellung f r die Vorerntestellung als Start bzw Zielpo sition angegeben Dann wurde die Funktion der MPK Bibliothek zur kollisionsfreien Pfad planung bas erend auf dem erstellten dreidimensionalen Gesamtmodell ausgef hrt Wurde ein Pfad gefunden so wurde dieser Bewegungspfad in Form einer Abfolge von unterschiedlichen Achsenstellungen des Roboters ausgegeben welche Zwischenpositionen f r den abzufahren den Pfad darstellten Der daraus resultierende Bewegungsablauf konnte als dreidimensionale Animation visualisiert werden Der im ersten Schritt der Pfadplanung ermittelte Pfad war meist weniger direkt und der Bewegungsablauf von der Start zur Zielposition relativ umst ndlich Zur Gl ttung dieses Bewegungsablaufes wurde eine Funktion der MPK Bibliothek zur Pfadgl ttung ausgef hrt Diese Pfadgl ttung f hrte zu einem direkteren Bewegungsablauf siehe Abbildung 7 7 In Vorversuchen hatte sich gezeigt dass die Funktion zur Pfadgl ttung n manchen F llen zu einer Endlosschleife f hrte Aus diesem Grunde wurde eine Timerfunktionalit t in das Programm implementiert welche die Pfadgl ttung nach f nf Sekunden automatisch abbrach In solchen F llen wurde dann mit dem ungegl tteten Pfad weitergearbeitet 138 Ernte der Bliitenstie
71. Kameras bzw Kamerakoordinatensysteme zueinander Die Hand Auge Kal brierung diente zur Bestimmung der Lage des Roboters in Relation zu den Kameras 5 3 1 Gewinnung der Ausgangsdaten f r die Systemkalibrierung F r den Kalibriervorgang wurde eine Kal briertafel verwendet welche am Roboterarm befes tigt werden konnte Der eigentliche Kal brierk rper ca 40 cm x 40 cm war der Ausdruck eines durch die Halcon Bibliothek generierten Postscript Dokumentes Dieser Bestand aus einem quadratischen Rahmen innerhalb dessen insgesamt 49 kreisf rmige Passmarken lokali siert waren Diese Kalibriertafel wurde innerhalb der Kalibrierung aus unterschiedlichen Positionen mit den Kameras s multan aufgenommen Abbildung 5 12 Die Grundidee der Kal brierung ist dass sich aus den Korrespondenzen zwischen den im Bild detektierten Marken und dem bekannten Modell der Kalibriertafel durch simultane Auswertung einer Mehrzahl von Bildern Multibildkalibrierung die Kameraparameter mittels eines Ausgleichverfahrens errechnen lassen siehe auch LANSER et al 1995 F r den Kalibriervorgang wurden 28 fest einprogrammierte Positionen mit dem Roboter angefahren so dass die Kalibriertafel in unterschiedlichen Orientierungen und in unterschied lichen Bereichen der Bilder zu sehen waren In jeder Position wurden Aufnahmen mit beiden Kameras gemacht Mit Hilfe von in der Halcon Bibliothek enthaltenen Funktionen wurden die Kalibriertafeln 1m Bild detektiert und
72. M im dreidimensionalen Raum Unter Verwendung projektiver Geometrie k nnen Gleichung 4 31 und 4 32 als lineares Gleichungssystem formuliert werden Im projektiven Raum werden Punkte durch homogene Koordinaten projektive Koordinaten repr sentiert Ein Punkt in euklidischen Koordinaten wird durch hinzuf gen einer zus tzlichen Koordinate in homogene Koordinaten berf hrt Die einfachste Methode diese zus tzliche Koordinate hinzuzuf gen ist sie gleich eins zu setzen Ein Bildpunkt mit den Koordinaten x y kann folglich mit den homogenen Koordi naten x y 1 beschrieben werden Eine wichtige Eigenschaft homogener Koordinaten ist dass zwei Vektoren identisch sind wenn sie gleich sind bis auf einen skalaren Faktor ungleich null Die Koordinaten x y 1 und Ax Ay A mit 0 repr sentieren demzufolge den glei chen Punkt Eine Besonderheit stellen solche Punkte dar deren letzte Koordinate gleich null sind also z B der Punkt m mit Koordinaten x y 0 Diese Punkte haben keine Entsprechung in euklidischen Koordinaten und werden auch Punkte im Unendlichen genannt Der projek tive Raum besitzt also mehr Punkte als der euklidische Die inhomogenen Koordinaten eines Punktes ergeben sich indem man alle Koordinaten durch das letzte Element teilt und schlie lich die letzte Koordinate welche dann den Wert 1 hat entfernt Gegeben sei z B der Punkt m mit homogenen Koordinaten x y w Die inho mogenen Koordinaten sind dann x w y w
73. Mushroom Harvester Development Journal of Agr cultural Engineering Research 78 1 15 23 ROSIER J C R SNEL und E J GOEDVOLK 1996 Automated Harvesting of Flowers and Cuttings EEE International Conference on Systems Man and Cybernetics 1996 Volume 4 3006 3008 SANCHEZ G und J C LATOMBE 2001 A SingleQuery Bi Directional Probabilistic Roadmap Planner with Lazy Collision Checking International Symposium on Robotics Research ISRR O1 Loren Victoria Australia SAS INSTITUTE 1999 SAS OnlineDoc Version Eight SAS Institute Inc Cary NC USA SCHUEMER R G STROHLEIN und J GOGOLOK 1990 Datenverarbeitung und statistische Auswertung mit SAS SAS Versionen 5 Gro rechner und 6 PC Band 2 Komplexe statistische Analyseverfahren Gustav Fischer Verlag Stuttgart New York SGI 2002 Open Inventor http oss sgi com projects inventor 28 09 2004 SIMONTON W 1990 Automatic Geranium Stock Processing in a Robotic Workcell Transactions of the ASAE 33 6 2074 2080 SINGH S und M MONTEMERLO 1998 Grading of Vegetative Cuttings Using Computer Vision Advanced Robotics 12 5 551 564 SLAMA C C Hrsg 1980 Manual of Photogrammetry Fourth Edition American Society of Photogrammetry Falls Church 19 Literaturverzeichnis SOBEY P J B HARTER und A HINSCH 1997 Automated Micro propagat on of Plant Material Proceedings Fourth Annual Conference on Mechatronics a
74. Objekte handelt Gerade bei Pflanzen mit einer hohen Anzahl Bl tenstiele ist es denkbar dass zwar d e gleiche Anzahl an Objekten erkannt wird diese aber n beiden Bil dern nicht identisch sind 169 Diskussion Eine weitere Voraussetzung fiir eine korrekte Zuordnung der Objekte ist die Tatsache dass die Objekte einen hnlichen Abstand zu den Kameras haben Gerade bei Objekten die dicht beisammen liegen oder die einen stark unterschiedlichen Abstand zu den Kameras aufweisen kann die Reihenfolge der Projektionen in beiden Bildern umgekehrt sein Abbildung 8 1 ver gleiche auch KLETTE et al 1998 Bildebene Abbildung 8 1 Umkehrung der Reihenfolge der Projektion von Objekten in die Bild ebene bei deutlich unterschiedlichem Abstand zur Kamera Die Projektion m und m bzw m und m der Punkte M und M ist in der unteren und oberen Bildebene ver tauscht Mit anderen Methoden k nnten eventuell bessere Ergebnisse bei der Zuordnung erzielt wer den insbesondere be Pflanzen mit gr erer Anzahl Bl tenstielen Denkbar w re hierbei ins besondere die Zuordnung der Bl tenstielobjekte aufgrund von Formparametern wie L nge Breite Fl che usw Die Zuordnung korrespondierender Punkte auf den Bl tenstielen beruht allein auf den Annahmen der Epipolargeometrie In den vorliegenden Untersuchungen ist diese Vorgehens weise gut m glich da die Bl tenstielen weitestgehend parallel zur Y Achse des Bildes verlau fen di
75. Pflanze mit einem oder mehreren Bl tenstielen eine Ernte aller Bl tenstiele unter den ver schiedensten Bedingungen zu erm glichen war die Einbettung des linearen Ablaufs in einen komplexeren Gesamtablauf mit verschiednen Kontrollmechanismen und Alternativabl ufen notwendig In Vorversuchen hatte sich deutlich gezeigt dass eine Ernte aller Bl tenstiele einer Pflanze in nur einer Position und der Reihe nach nur in wenigen F llen m glich war Gr nde hierf r waren dass der Algorithmus nicht immer alle Bl tenstiele erkennen konnte bestimmte Posi tionen mit dem Roboter nicht erreichbar waren bestimmte Bewegungsabl ufe nicht m glich waren oder der Greifer aufgrund von Ungenauigkeiten im Gesamtablauf den Bl tenstiel nicht abschneiden konnte Aus den Ergebnissen des Bildverarbeitungsalgorithmus konnte abgeleitet werden dass eine Aufnahme alleine aus einer Position in vielen F llen nicht ausreichend gewesen w re um alle Bl tenstiele der Pflanze in beiden Bildern zu erkennen Dort wurden lediglich in 61 aller F lle alle Bl tenstiele in beiden Bildern erkannt Jedoch wurden in 97 aller F lle alle Bl tenstiele in beiden Bildern in mindestens einer von acht verschiedenen Positionen erkannt Aus diesem Grund wurden auch die Aufnahmen aus acht Positionen als Grundlage f r den Ernteprozess verwendet 152 Ernte der Bliitenstiele Abbildung 7 18 Aufnahmeserie einer Pflanze in acht unterschiedlichen Positionen jeweils
76. Rechts F r die Suche oberhalb und unterhalb wurden unterschiedliche Strecken blau berechnet welche auf den Ergebnissen der Regres sion f r den oberen bzw unteren Teilbereich rot bas erten 112 Abbildung 6 22 Skizze zur Ermittlung der Parameter f r die Berechnung der Kollinea r t t zwischen zwei Strecken ver ndert nach LOWE 1987 2222220enneeenneneeeeeseeenns 114 yv Abbildungsverzeichnis Abbildung 6 23 Ablauf Verkn pfung der Einzelregionen zu Bl tenstielobjekten 115 Abbildung 6 24 Bestimmung zusammengeh riger Segmente mittels Kollinearitat a Ermittlung einer Startregion mittels Houghtransformation b Bestimmung des Kol linear t tswertes der Startregion rot mit allen potentiellen Partnerregionen blau unterhalb c Gegenprobe f r den besten Partner aus b d ermitteltes Bl tenstiel Abbildung 6 25 Endergebnis der Ermittlung von Bl tenstielobjekten Regionen gleicher Farbe stellen je ein gemeinsames Bl tenstielobjekt dar 222222222222seeeeeeeeeeens 116 Abbildung 6 26 Ergebnisse der Bl tenstielerkennung durch Anwendung des Algorith mus auf die Beispielaufnahmen aus Abbildung 6 1 0000222020 00 eeeeeeeeeeeeeeeenns 117 Abbildung 6 27 Ermittlung der Mittelachsen der Bl tenstielobjekte als subpixelgenaue K Ta Re ee es eis Ne ee S 119 Abbildung 6 28 Ablauf Ermittlung der Mittelachsen der Bl tenstielobjekt
77. Systems Im Prinzip sind die Laufzeiten f r Bildaufnahme Bildverarbeitung und Pfadplanung gering Insgesamt lagen die Laufzeiten f r Bildaufnahme und Bildverarbeitung bei ca f nf Sekunden f r die Pfadplanung je nach Komplexit t bei ein bis zehn Sekunden Die Werte wurden aus Videoaufnahmen exemplarischer Ernteversuche abgesch tzt und sollen eine grobe Orientie rung f r die Zeiten geben Bei einer Gesamtzeit von maximal 15 Sekunden f r die software seitigen Berechnungen wird klar dass hier kaum Optimierungsbedarf herrscht umso weniger wenn man bedenkt dass diese Zeiten durch den Einsatz schnellerer PC Hardware wie sie mittlerweile verf gbar ist sicher deutlich verringert werden k nnten Tests der Bild verarbeitung auf einem PC mit etwa vierfacher Prozessortaktrate gegen ber dem eingesetzten System zeigten eine zwei bis vierfach schnellere Verarbeitung Die entwickelte Software ist somit prinzipiell f r einen Einsatz n der Praxis verwendbar Bereits oben wurde diskutiert dass keine Reifegradbestimmung im System integriert war Dies w re f r einen praktischen Einsatz eine notwendige Voraussetzung Bez glich Ans tzen und Untersuchungen dazu sei auf die obigen Ausf hrungen verwiesen F r einen Einsatz des Systems n der Praxis m ssten d e Kulturverfahren an das System ange passt werden Bei der eingesetzten Versuchsanlage m ssten die Pflanzen f r die Ernte zum Arbeitsbereich f r die Ernte gebracht werden Theoretisc
78. Teile des Bl tenstiels erkannt werden konnten Der weitere Verlauf der Bl tenstiele konnte lediglich aufgrund der Informa tionen ber die sichtbaren Teile vorhergesagt werden Ein Erntepunkt konnte deshalb korrekt nur oberhalb der Silhouette der Hauptpflanze bestimmt werden Bez glich des Grundprinzips f r die Identifizierung von Bl tenstielen sind andere Ans tze denkbar In Vorversuchen wurde die M glichkeit einer Identifizierung von Bl tenstielregio nen aufgrund verschiedenster allgemeiner Formparameter und morphologischer Parameter untersucht Die Auswertung der deskriptiven Parameter gab jedoch keinen Anlass zu der Vermutung dass die analys erten Parameter f r eine Identifizierung der Bl tenstielregionen aufgrund statistischer Methoden geeignet seien Die Voruntersuchungen ergaben keine s gni fikanten Unterschiede zwischen den Gruppen Aus diesem Grund wurde der Ansatz nicht weiter verfolgt Alternativ w re eine Auswertung der Parameter mittels neuronaler Netze denkbar gewesen Dieser Ansatz wurde nicht weiter verfolgt da die bei einer solchen Methodik ermittelten Regeln empirisch kaum nachpr fbar bzw bertragbar gewesen w ren Eine andere Herangehensweise welche gerade n letzter Zeit immer h ufiger Verwendung findet w ren sogenannte Active Shape Models ASM gewesen Dabei werden variable parametrische Modelle verwendet um die gewiinschten Objekte zu finden MOESLUND et al 2005 verwendeten ASM zur Erkennung d
79. Teilmengen der parallelen Kanten konnte die Komplexizit t verringert und somit die Ausf hrungsgeschwindigkeit des Algorithmus an dieser Stelle erh ht werden 111 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bliitenstielen F r jede Eingaberegion Apr welche die Bl tenstielkanten enthielt wurde mittels linearer Regression eine Gerade mit dem Operator I rc berechnet Die Berechnung wurde f r den oberen und unteren Bereich der Bl tenstielregion separat durchgef hrt Als Eingabepunkte f r die lineare Regression wurden nicht alle Punkte der Reg on verwendet sondern nur eine definierte Anzahl der obersten bzw untersten Bildpunkte siehe Abbildung 6 21 zur Ermittlung der optimalen Anzahl Eingabepunkte siehe weiter unten Die ermittelten Regressionsgeraden waren somit ein Ma f r die Orientierung des oberen bzw unteren Teils der jeweils betrachteten Region Abbildung 6 21 Approximation der Bl tenstielsegmente durch Strecken als Grundlage f r einen Zusammengeh rigkeitstest F r die einzelnen Ausgangsregionen Hpr Links wurden Teilbereiche bestimmt Mitte rot welche als Eingabepunkte f r eine Rich tungsbestimmung des oberen bzw unteren Teilbereiches mittels Regression dienen F r jede Region wurde dann eine Strecke bestimmt welche f r die Bestimmung eines Kolli nearit tswertes zur Suche nach zugeh rigen Segmenten verwendet werden konnte Rechts F r die Suche oberhalb und unterhalb wurden u
80. Vorerntestellung sekund rer Schnittpunkt Sekund rer Schnittpunkt 50 mm Schnittpunkt im Greifer Prim rer Schnittpunkt Abbildung 7 3 Schematische Darstellung des prim ren und sekund ren Erntepunktes an einem Bl tenstiel sowie der jeweils dazugeh rigen Vorerntestellung des Roboters V und V sind die Vektoren vom Erntepunkt zur entsprechenden Vorerntestellung 134 Ernte der Bliitenstiele fig endg ltigen Schnittstellung ermittelt Die Vorernteposition f r den prim ren Schnittpunkt ergab sich durch Addition des Vektors Vi 0 05 0 05 0 mit dem prim ren Schnittpunkt F r die Vorernteposition des sekund ren Schnittpunktes wurde der Vektor V2 0 0 05 0 addiert siehe auch Abbildung 7 3 Die Bestimmung einer m glichen Erntestellung f r den Roboter erfolgte dann wie folgt siehe auch Abbildung 7 5 Zun chst wurde eine Position f r die Linearachse festgelegt auf welcher der Roboter montiert war Diese Position wurde unabh ngig von der anderen Achsen des Roboters festgelegt da der verwendete Algorithmus zur Berechnung der inversen Kinematik nur die sechs Haupt achsen des Roboters beachtete Die Position der Linearachse wurde dann solange schritt weise verschoben bis eine Erntestellung des Roboters ermittelt werden konnte oder e n Grenzwert f r die Linearachse erreicht wurde Es handelte sich demzufolge um eine iteratives Verfahren zur Bestimmung der Position Der berechnete Erntepunkt wurde in das
81. Z Gottfried Wilhelm Leibniz Universitat Hannover B G T Institut f r Biologische Produktionssysteme Pi Fachgebiet Biosystem und Gartenbautechnik Marco Kawollek Modellbasierte Robotersteuerung zur gartenbaulichen Pflanzenproduktion auf der Grundlage bildanalytischer Verfahren am Beispiel von Gerbera jamesonii Forschungsberichte zur Biosystem und Gartenbautechnik Heft 65 2006 ISBN 3 926203 38 2 Modellbasierte Robotersteuerung zur gartenbaulichen Pflanzenproduktion auf der Grundlage bildanalytischer Verfahren am Beispiel von Gerbera jamesonii Von der Naturwissenschaftlichen Fakult t der Gottfried Wilhelm Leibniz Universit t Hannover zur Erlangung des Grades eines DOKTORS DER GARTENBAUWISSENSCHAFTEN Dr rer hort genehmigte Dissertation von Dipl Ing agr Marco Kawollek geboren am 29 04 1973 in Kassel 2006 Referent Prof Dr Thomas Rath Korreferent Prof Dr Uwe Schmidt Tag der Promotion 14 12 2006 Zusammenfassung Modellbasierte Robotersteuerung zur gartenbaulichen Pflanzenproduktion auf der Grundlage bildanalytischer Verfahren am Beispiel von Gerbera jamesonii Es wurde eine System zur automatisierten Ernte der Bl tenstiele von Gerbera jamesonii mit Hilfe bildanalytischer Methoden entwickelt Bilder der Pflanze wurden mit einem Stereokamerasystem erfasst welches aus zwei hoch aufl senden CCD Kameras mit Infrarotfiltern bestand Die Pflanze wurde auf einem Drehtel ler positioniert und es wurde
82. Zentren der ersten bzw der zweiten Kamera Der zu einem Punkt m im ersten Bild korrespondierende Punkt m im zweiten Bild liegt auf der sogenannten Epipolarlinie M Abbildung 4 13 Epipolargeometrie zweier Kameras ver ndert nach XU und ZHANG 1996 O O optisches Zentrum der linken bzw rechten Kamera M Punkt im dreidimensionalen Raum J I Bildebene der linken bzw rechten Kamera m m Projektion von M in die Bildebene der linken bzw rechten Kamera l lw Epipolarlinien im linken bzw rechten Bild e e Epipol im linken bzw rechten Bild R T Rotations und Translationsmatrix welche die Transformation zwischen dem Koordinatensystem der linken und rechten Kamera beschreiben 44 Grundlagen Die Linie ergibt sich aus dem Schnitt der Epipolarebene welche durch m O und Op bestimmt wird mit der Bildebene der zweiten Kamera Des weiteren kann man feststellen dass alle Epipolarlinien von Punkten im ersten Bild durch einen gemeinsamen Punkt e den sogenannten Epipol verlaufen Der Epipol ist der Schnittpunkt der Geraden welche durch O und Op verl uft mit der Bildebene der zweiten Kamera F r die Anwendung bleibt im wesentlichen festzuhalten dass der zu einem Punkt in der ers ten Kamera korrespondierende Punkt in der zweiten Kamera auf der Epipolarlinie liegt Dies stellt eine deutliche Vereinfachung der Berechnungen dar da der zweidimensionale Suchraum auf einen eindimensionalen
83. a sas a u 01 11 x 1 1 A 4 1 a a a O y 1 1 y 1 amp Dy D axy Wert der Matrix an der Stelle x y Entspricht der Helligkeit x Anzahl Spalten der Bildmatrix y Anzahl Zeilen der Bildmatrix Im Gegensatz zu der meist blichen Schreibweise wird in 4 1 bei der Benennung der Matrixelemente zun chst der Spaltenindex und dann der Zeilenindex verwendet Diese Nota tion wurde hier aufgrund der Ausrichtung des x y Koordinatensystems im Bild gew hlt da im allgemeinen Sprachgebrauch blicherweise zun chst der x Wert und dann der y Wert bei der Benennung verwendet wird und die Benennung in dieser Reihenfolge in der Bildverarbeitung blich ist 14 Grundlagen Eine Bildmatrix wird tiblicherweise mit einer Farbtiefe von einem Byte gespeichert Dies ent spricht 256 unterschiedlichen Grauwerten Einen besonderen Bildtyp stellt das sogenannte Binarbild dar Es verf gt lediglich ber zwei Grauwerte die in der Regel mit den Werten 0 und 1 bezeichnet werden Auf dem Ausgabege r t wird der Wert 0 in der Regel schwarz und der Wert 1 wei dargestellt Ein Bin rbild kann aus einem Grauwertbild durch Binarisierung generiert werden 4 1 1 2 Punktmengen Regionen Bei einer Region H handelt es sich um Mengen von Punkten Die Begriffe Region und Punktmenge werden m folgenden synonym verwendet Die einzelnen Punkte werden durch Punktvektoren h mit den Koordinaten x y dargestellt Eine Region stellt definierte Bereiche in einem
84. aa Ta ia m R TA Tta Ne A Yas T a fa ta NL Teast boty Abbildung 6 30 Ermittlung korrespondierender Punkte a Bliitenstielobjekte im Bild der rechten und linken Kamera b Bestimmung von Ausgangspunkten fiir die Berech nungen durch Uberlagerung des Bildes mit einem Raster und Schnittmengenbildung rote Kreise markieren Schnittpunkte c Berechnung der entsprechenden Epipolarli nien rot im rechten Bild und Ermittlung korrespondierender Punkte durch Schnitt mengenbildung blaue Kreise markieren korrespondierende Bildpunkte 123 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bl tenstielen 6 9 2 Triangulation Berechnung der dreidimensionalen Informationen Mit Hilfe der vorher ermittelten Punktpaare konnten dann die dreidimensionalen Informatio nen des Bl tenstiels durch Triangulation errechnet werden Die Vorgehensweise war dabei folgende l 124 Zun chst wurden die Bildpunkte m und m aus K und K im Pixelkoordinatensystem mit Hilfe der bei der Kalibrierung ermittelten Kameraparameter in normalisierten Koordinaten konvertiert Dazu wurde Gleichung 4 36 umgestellt Die normalisierten Koordinaten errechneten sich somit aus ER N III Sy 6 8 XnVn normalisierte Koordinaten des metrischen Kamerakoordinatensystems xo yo Position des Hauptpunktes in Pixeleinheiten fu fy Brennweite in horizontaler bzw vertikaler Richtung in Pixeleinheiten Xp Vp Koordina
85. achsen fest und berwacht und regelt die Durchf hrung Neben grundlegenden Funktionen stellt die Steuerungseinheit meist auch Algorithmen zur Berechnung komplexerer Bewegungsabl ufen zur Verf gung 52 Grundlagen In dieser Arbeit wird neben dem Begriff Industrieroboter synonym auch der Begriff Roboter verwendet Damit ist in beiden F llen meist primar der Manipulator gemeint oft in Zusammenhang mit der Steuerung 4 4 2 Direkte Kinematik des Manipulators Die Kinematik ist die Lehre von der Bewegung welche Bewegungen ohne Riicksicht auf die sie verursachenden Kr fte behandelt CRAIG 1989 Innerhalb der Kinematik werden insbe sondere Position Geschwindigkeit und Beschleunigung behandelt Im Rahmen dieser Arbeit ist nur die Position einzelner Roboterkomponenten von Bedeutung Bei Industrierobotern handelt es sich tiblicherweise um eine offene kinematische Kette In diesem Zusammenhang spricht man auch oft von der Anzahl an Freiheitsgraden eines Mani pulators Damit ist die Anzahl unabh ngiger Positionierungsvariablen gemeint welche die Nullpunkt des Handflansch Koordinatensystem Nullpunkt der Werkzeugkoordinaten a i m ng n e I T m r F r r Pa Ansicht A Nullpunkt der Basiskoordinaten Nullpunkt der Weltkoordinaten Abbildung 4 15 Schematische Darstellung relevanter Koordinatensysteme bei einem Industrieroboter MITSUBISHI ELECTRIC 1998 53 Grundlagen Lage aller T
86. alit t n der verwendeten Version n cht vorhanden In der Calibration Toolbox sind analog zu Halcon Routinen zur Erkennung eines Kalibrier k rpers vorhanden Die Toolbox verwendet dazu jedoch normalerweise die Aufnahmen eines Kal brierk rpers mit Schachbrettmuster Um nicht verschiedene Aufnahmen f r die Kamera kalibrierung und die Hand Auge Kalibrierung verwenden zu m ssen wurden die Daten des Halcon Kal brierk rpers importiert Dazu wurde ein Programm in HDevelop entwickelt wel ches die Position der einzelnen Passmarken des Kal brierk rpers 1m Bild ermittelte und als einfache Textdatei f r jede Aufnahme ausgab F r die Erkennung der Kalibriertafel und die Bestimmung der Position der Passmarken m Bild stellte Halcon Grundfunktionen bereit welche diesen Prozess sehr vereinfachten Die Definitionsdatei des Kal brierk rpers mit der tats chlichen Lage der einzelnen Kal brierpunkte zueinander wurde so modifiziert dass sie von der Toolbox eingelesen werden konnte Der Ablauf f r die Kamerakalibrierung war dann folgender l Ermittlung und Export der Position der einzelnen Passmarken des Kal brierk rpers 1m Bild mittels eines entwickelten Programms in HDevelop 2 Automatisierte Erstellung von Skriptdateien bas erend auf den ermittelten Positionen welche f r die Ausf hrung in Matlab geeignet waren 3 Ausf hrung der Skriptdateien zur getrennten Kal brierung der linken und rechten Kamera mittels der in der Calibrati
87. als binokulares Sehen bezeichnet Das Prinzip ist schematisch in Abbildung 4 12 dargestellt Diese Methode findet auch in den vorliegenden Untersuchungen Anwendung Es wurden zwei seitlich versetzt angeordnete Kameras an der Versuchsanlage eingesetzt Bildebene Abbildung 4 12 Schematische Darstellung eines Stereokamerasystems Ein Weltpunkt M wird auf die Bildebenen als Punkt m bzw m projiziert Sind die inneren Parameter der Kameras bekannt und kann die Lage der Kameras zueinander mittels Rotation und Translation beschrieben werden so kann aus der Abbildung eines Punk tes in beiden Kameras die Lage des realen Punktes im Raum relativ zu den Kameras ermittelt werden Voraussetzung f r alle Berechnungen ist eine Kalibrierung des Systems 43 Grundlagen 4 2 3 1 Epipolargeometrie und Epipolarlinie Die Aufnahme einer Szene erlaubt bei bekannter Kamerageometrie die Berechnung der drei dimensionalen Lage von Objekten Die Suche nach korrespondierenden Punkten welche die Grundlage f r die Berechnung bilden ist ein grundlegendes Problem bei der Rekonstruktion Mit Hilfe der Epipolargeometrie kann die Suche nach korrespondierenden Punkten von einer zweidimensionalen Suche auf eine eindimensionale Suche vereinfacht werden Die im fol genden dargestellten Zusammenh nge basieren auf den Ausf hrungen von XU und ZHANG 1996 Die epipolare Geometrie zweier Kameras ist in Abbildung 4 13 dargestellt Seien O und Op die optischen
88. anze herausgebogen und mit kurzem kr ftigem Ruck gezogen Der Bl tenstiel l st sich dann direkt am Rhizom Beim Schnitt wird nicht die max male L nge des Stiels erreicht Au erdem bietet die offene Schnittfl che eine Eintrittspforte f r Krankheitserreger In Vor versuchen wurde versucht die Bl tenstiele mit dem Roboter herauszuziehen Dies gelang jedoch in keinem der Versuche Hierf r scheint die Beschleunigung des Roboterarms nicht ausreichend zu sein Es wurde immer die gesamte Pflanze mit angehoben 8 2 6 Gesamtablauf der Ernte Der entwickelte Gesamtablauf f r die Ernte kann nicht gew hrleisten dass wirklich alle Bl tenstiele der Pflanze erkannt werden V elmehr wird d e max male Anzahl an erkannten Bl tenstielen in beiden Aufnahmen einer Position der Pflanze als Anzahl Bl tenstiele der Pflanzen angenommen Dadurch kann es vorkommen dass ein oder mehrere Bl tenstiele 178 Diskussion nicht erkannt werden und somit auch nicht bei der Kollisionskontrolle beachtet werden k n nen Zerst rungen der Bl tenstiele k nnen die Folge sein Der Algorithmus wurde allerdings so ausgelegt dass er auf eine steigende Anzahl an Bl tenstielen w hrend des Gesamtablaufs reagieren kann Eine solcher Anstieg der Zahl erkannter Bl tenstiele wurde beobachtet wenn die Pflanze anfangs ber mehrere Bl tenstiele verf gte Nachdem ein oder mehrere Bl ten stiele geerntet wurden und die Szene somit weniger komplex wurde wurden dann
89. anzenmaterial zu erwarten gewesen w re Be der Sorte Arobella musste die Ernte bei keinem Versuch manuell abgebrochen werden Hier wurde die Ernte entweder aufgrund einer errechneten Kollision von oben oder aufgrund der berschreitung der Toleranzgrenze bei der Linearachsenbewegung abgebrochen Aus 147 Ernte der Bliitenstiele diesem Grund wurde der kleinste ermittelte Endabstand des Greifers f r die Festlegung einer Untergrenze verwendet Dieser Endabstand lag bei 56 mm Bei der Sorte Cornice mussten die Ernteversuche mehrfach abgebrochen werden da sonst Pflanzenteile besch digt worden w ren Von den Versuchen welche abgebrochen wurden da der Greifer sonst Pflanzenteile 1m inneren besch digt h tte wurde der Versuch mit dem gr ten Abstand zur Topfkante f r die Festlegung einer Untergrenze verwendet Der Abstand f r diesen Versuch von der Topfkante betrug 77 mm Auf diese Weise wurde sichergestellt dass bei dieser Testreihe keine Pflanzen besch digt worden w ren Die Unterschiede bei den Sorten lassen s ch durch den unterschiedlichen Habitus der Pflanzen erkl ren So stehen die Bl tter bei der Sorte Cornice eher aufrecht und die Bl tter stehen somit im Erntebereich um die Bl testiele dichter gedr ngt beieinander 7 1 6 Ernte Wurde die unterste Stellung erreicht so wurden der Greifer mit dem max mal verf gbaren Luftdruck von 6 bar 6000 hPa geschlossen Dadurch wurde der Bl tenstiel mit dem Messer d
90. ariert sofern sie bereits am Aufbl hen und ber das Knospenstadium hinaus waren 166 Diskussion 8 1 2 Bliitenstielerkennung Das gesamte Verfahren zur Identifizierung und Entfernung von Regionen ohne Bl tenstiel teile ist insgesamt sehr komplex ausgefallen Dies war im Vorfeld der Untersuchungen so nicht abzusehen und die Entwicklung nahm deutlich mehr Zeit in Anspruch als angenommen Eine Differenzierung der Regionen hinsichtlich der Zugeh rigkeit zu einem Bl tenstiel war aufgrund der extrem hohen Variabilit t der Regionen schwierig Bei der Entwicklung wurde gro er Wert darauf gelegt den Anteil falsch positiver Entschei dungen gering zu halten also der Klassifikation von Regionen als Teil eines Bl tenstieles welche eigentlich nicht einem Bl tensteile zugeh rig waren Da auf diese Weise tats chlich fast nur Bl tenstielregionen erkannt wurden konnte das Verfahren zur Korrespondenzanalyse zwischen den Objekten in beiden Bildern extrem vereinfacht und die Fehlerquote bei der Zuordnung von Objekten in beiden Bildern verringert werden 8 1 2 1 Schmale Bereiche Mit der ausgew hlten Methode konnten die Laufl ngensegmente der schmalen Bl tenstielbe reiche gut identifiziert werden Das Verfahren wies eine Sensitivit t von 97 und eine Spezi fitat von 89 auf Obwohl komplexe statistische Verfahren eingesetzt wurden konnten mit der heuristischen Max Min Methode die besten Ergebnisse erzielt werden Es handelte sich
91. as Klassifikationskriter1um kann entweder auf der individuellen Innerhalb der Gruppen Kovarianzmatrix S f hrt zu einer quadratischen Funktion oder auf der gemeinsamen Kovarianzmatrix Sp basieren f hrt zu einer linearen Funktion Die Wahl ist abh ngig von der Homogenit t der Kovar anzmatr zen vergleiche auch SCHUEMER et al 1990 Die generalisierte quadrierte Distanz von x zu Gruppe 1 ist definiert als 49 Grundlagen D x 4 x g t 4 55 mit In Ss wenn die Innerhalb der Gruppen Kovarianzmatrizen verwendet werden g t 4 56 0 wenn die gemeinsame Kovarianzmatrix verwendet wird und der quadrierten Mahalanobis Distanz d x x m V x m 4 57 mit D generalisierte quadrierte Distanz di Mahalanobis Distanz x p dimensionaler Vektor mit den quantitativen Variablen der Beobachtung m p dimensionaler Vektor mit den Mittelwerten der Variablen in Gruppe t Vi Vt St wenn die Innherhalb der Gruppen Kovarianzmatrizen verwendet werden V Sp wenn die gemeinsame Kovarianzmatrix verwendet wird Die Mahalanobis Distanz gibt den Abstand des Merkmalsvektors x zu den Mittelwerten der Gruppe an Eine Beobachtung wird der Gruppe u zugeordnet wenn sich f r t u der kleinste Wert f r D x ergibt Zur Unterscheidung der beiden Verfahren werden innerhalb dieser Arbeit die Begriffe Line are Diskriminanzanalyse bei gemeinsamer Kovarianzmatrix und quadratische Diskrimi nan
92. ation besteht darin ein Objekt mit Hilfe eines Modells aufgrund von Merkmalen einer bekannten Klasse zuzuordnen Nach RATH 1997 kann man folgende Grundans tze unterscheiden statistische Verfahren wissensbasierte Systeme k nstliche neuronale Netzwerke In dieser Arbeit wurden Verfahren aus dem Bereich der Statistik verwendet welche m fol genden erl utert werden 4 3 2 Statistische Verfahren Die statistischen Verfahren suchen nach einer Entscheidungsregel die es erlaubt ein Objekt einer der gegebenen Gruppen zuzuordnen Man spricht in diesem Fall von Diskriminanzana lyse Genauer wird eine Entscheidungsregel gesucht die ein Objekt mit dem p dimensionalen Merkmalsvektor x genau einer der Gruppen zuordnet vergleiche HANDL 2002 Die Verfahren der Diskriminanzanalyse lassen sich unterscheiden in parametrische und nicht parametrische Verfahren W hrend nicht parametrische Verfahren keine Voraussetzungen bez glich der Verteilung innerhalb der Gruppen stellen setzen parametrische Verfahren mul tivariate Normalverteilung voraus WEISS und KULIKOWSKI 1991 merken jedoch an dass die Annahme der Normalverteilung jedoch auch dann oft gute Ergebnisse liefert wenn sie verletzt wurde SAS INSTITUTE 1999 beschreibt zwei parametrische Verfahren welche als Diskriminanz funktion beide das sogenannte generalisierte quadrierte Distanzma verwenden Die Verfah ren unterscheiden sich in der verwendeten Kovarianzmatrix D
93. berg Parameter nach CRAIG 1989 fiir den Roboter Mitsubishi RV E4NM I Qi 1 a1 di 0 1 0 0 0 35 0 2 90 0 1 0 90 3 0 0 25 0 90 4 90 0 135 0 25 180 5 90 0 0 0 6 90 0 0 0 5 5 Pflanzenmaterial F r die Versuche wurden Gerbera jamesonii in Sorten verwendet ber den Zeitraum der Versuche wurden drei verschiedene S tze kultiviert siehe Tabelle 5 2 Der erste Satz stammte aus Versuchen von AJWANG 2000 Die vorhandenen Pflanzen wurden f r Vorver suche bernommen Die Pflanzen wurden im Juni 2001 ersetzt da die Qualit t der Pflanzen deutlich nachlie Der dritte Satz wurde notwendig da der zweite Satz Gerbera aufgrund eines Pilzbefalls komplett ausfiel Die Pflanzen wurden in T pfen kultiviert und direkt mit einem Handgie ger t bew ssert Als Kulturfl che dienten geschlossene Tische In den Wintermonaten wurde zus tzlich Ass mila tionslicht verwendet zeigt beispielhaft Pflanzen der Sorten Arobella und Cornice welche f r die abshlie enden Ernteversuche verwendet wurden 8 1 Material und Methoden Tabelle 5 2 In den Versuchen verwendete S tze von Gerbera jamesonii Satz Nr Sorten 1 Sorten nicht bekannt sieben verschiedene Farben 2 Cottbus Red Cottbus Yellow Cotbus Cuckoo S egrid Sunshine Vireo Lovebird Robin Malcoha 3 Arobella Cornice 82 Anzahl Jungpflanzen Pflanzen setopft in gesamt 50 Oktober 1999 100 Juni 2001 90 Jan 2003 Verwendung Vorver
94. ch zur Klassifikation und Sortierung verwendet werden und andere bei denen die Sensorinformationen weiter zur zielgerichteten r umlichen Ansteu erung von Aktoren und somit zur Bearbeitung der Pflanzen verwendet werden Beispiele f r letztere sind komplexe Erntevorg nge Beispiele f r Arbeiten zur Klassifikation und Sortierung sind die Qualit tskotrolle bei Chry santhemen KAI et al 1995 die Stecklingssortierung von Geranien SINGH und MONTEMERLO 1998 die Sortierung von Schnittrosen STEINMETZ et al 1994 die Sortierung von Topfpflanzen Usambaraveilchen und Kakteen mittels Neuronalen Netzen und Diskri minanzanalyse TIMMERMANS und HULZEBOSCH 1995 sowie die dendrologische Bestim mung mittels Computerbildanalyse RATH 1997 BROSNAN und SUN 2002 geben einen Uberblick zu Arbeiten zur Sortierung und Klassifikation von landwirtschaftlichen Produkten Dazu geh ren unter anderem die Qualit tskontrolle von pfeln Orangen Erdbeeren N ssen Tomaten Pfirsichen P lzen und Kartoffeln Gegenstand dieser Arbeit ist die Robotersteuerung im gartenbaulichen Bereich basierend auf bildgest tzten Entscheidungsregeln Die folgende ausf hrlichere bersicht besch ftigt sich deshalb mit Arbeiten bei denen eine gezielte Steuerung von Robotern basierend auf Sensorin formationen durchgef hrt wurde Voraussetzung daf r ist eine Identifizierung und Lokalisie rung von Pflanzenteilen Literatur bersicht 2 2 Systeme zur automatisierte
95. chnittstelle mit einem PC verbunden F r die vorliegende Arbeit wurde lediglich der Roboter vom Typ RV E4NM am zentralen Arbeitsplatz verwendet Die Steuerung des Roboters erfolgte tiber die Programmiersprache Melfa Basic III MITSUBISHI ELECTRIC EUROPE B V 2001 nachdem zun chst die auch ver f gbare Sprache Movemaster Command MITSUBISHI ELECTRIC EUROPE B V 2001 verwen det worden war Bei letzterer stellte sich jedoch heraus dass nicht alle ben tigten Funktionen der Roboter angesprochen werden konnten 5 1 4 Entwicklung eines Erntemechanismus f r die Ernte Greifer F r die Ernte der Gerberabl tenstiele wurde ein spezieller Greifmechanismus entwickelt Als Basis f r den Erntegreifer diente ein Backengreifer Dieser wurde um zus tzliche Kompo nenten erweitert so dass ein Erntegreifer entstand der sowohl den Schnitt durchf hren als auch den Bl tenstiel nach der Ernte festhalten sollte ber ein Hebelgest nge wurde die Kraft des Greifers bertragen so dass der Bl tenstiel mittels einer Klinge durchtrennt und fast zeit gleich zwischen den vorderen Greiferbacken festgehalten wurde Abbildung 5 4 Entwickelter Erntegreifer f r die Ernte von Bl tenstielen 61 Material und Methoden 5 1 55 Kameras F r die Bilderfassung wurden zwei hochaufl sende digitale CCD Kameras des Typs DFD 4023 THEIMAGINGSOURCE 2000 verwendet Abbildung 5 5 Sie arbeiteten weitestgehend im sichtbaren Wellenl ngenbereich aber auch
96. chwerpunkt stielobjekt 1 Stielobjekt 2 Stielobjekt 2 Abbildung 6 29 Anordnung der Schwerpunkte der Bl tenstielobjekte im linken und rechten Bild Ausgehend von der Position der Schwerpunkte wurden die Objekte von rechts nach links einander zugeordnet Zugeordnete Objekte sind im gleichen Grauton dargestellt Ermittlung korrespondierender Punkte Als Basis f r die Berechnung des dreidimensionalen Modells wurden Punktpaare in den Bil dern ben tigt Die Punktpaare wurden auf den Mittelachsen Sgo der Bl tenstielobjekte gesucht Bis zu diesem Punkt wurden die radial verzerrten Daten der Kameras verwendet Um f r die r umlichen Berechnungen korrekte Ausgangsdaten zu erhalten wurden die gespeicherten Objektpunkte in Sgo entzerrt F r die Entzerrung wurde Gleichung 4 41 verwendet Zur Ermittlung korrespondierender Punkte in beiden Bl tenstielobjekten wurde die Epipolar geometrie der Kameras verwendet Ausgehend von einem Punkt m m linken Bild wurde der 121 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bl tenstielen korrespondierende Punkt m im rechten Bild gesucht welcher auf der Epipolarlinie I des linken Bildpunktes liegen sollte Zun chst wurde eine Menge Punkte X m linken Bild mittels Rasterung bestimmt welche die Grundlage f r die Modellberechnungen darstellen sollten Dazu wurde ein Linienraster ber das Bild gelegt welches mit den Mittelachsen der Bl tenstielobjekten geschnitten
97. ckelten TILLETT et al 1990 Sie entwickelten einen Algorithmus um in Grauwertbildern mit der Silhouette von Chrysanthementriebstiicken die Nodien zu ermitteln Basierend auf diesen Informationen Literatur bersicht wurden die Bereiche der Nodien mit einem kartesischen Roboter herausgetrennt und auf Kulturmedium platziert Sp ter beschreibt MCFARLANE 1993 welcher bereits an vorheriger Arbeit beteiligt war einen Algorithmus zur Steuerung eines Roboters um mikrovermehrte Chrysanthemen zu ernten Diesmal wurden Stereoaufnahmen zur Lokalisierung verwendet die durch Drehen des Objektes und Aufnahmen aus unterschiedlichen Positionen gewonnen werden konnten F r kleinbl ttrige Variet ten konnten gute Ergebnisse bis zu 90 korrekte Lokalisierung f r gro bl ttrige nur schlechte Ergebnisse erzielt werden Ein System zur Verpflanzung von Orchideen Protocorm wurde von OKAMOTO et al 1993 entwickelt Insgesamt wurden f r den gesamten Vorgang der Verpflanzung in ein neues Medium ca acht Sekunden ben tigt und das Verfahren wurde als effektiver als die manuelle Verpflanzung eingestuft SOBEY et al 1997 beschreiben den ersten kommerziell erh ltlichen Roboter zur Automati sierung der Gewebekultur Dabei wurden kleine Pflanzen auf Kulturmedium geerntet in Ein zelteile geschnitten und f r die Weiterkultur auf Kulturmedium ausgelegt Sie verwendeten dabei eine einfache Grauwertkamera zur Erkennung der Pflanze 2 3 2 Stecklingsverm
98. der Gleichungen sei auf XU und ZHANG 1996 verwiesen 4 2 3 2 Triangulation Rekonstruktion Die Berechnung der Weltkoordinaten eines Punktes M welcher auf die beiden Bildebenen projiziert wird erfolgt mittels Triangulation Theoretisch wird dabei der Schnittpunkt der bei den Sehstrahlen g und g gesucht welche sich durch die Projektion des Punktes auf die Bild ebene m bzw m in Abbildung 4 13 und den Nullpunkt des jeweiligen Kamerakoordinatensystems O und Op in Abbildung 4 13 ergeben In der praktischen Anwendung schneiden sich die beiden Sehstrahlen aufgrund von Ungenauigkeiten jedoch in der Regel nicht Deshalb wird eine N herung f r den gesuchten Punkt berechnet Dazu wird hier der Punkt M mit dem minimalen Abstand zu den beiden Geraden g und g gesucht siehe Abbildung 4 14 Zun chst werden die Fu punkte der gemeinsamen Lotgeraden der beiden Sehstrahlen bestimmt Der Punkt M mit minimalem Abstand zu beiden Geraden ergibt sich dann als Mittelpunkt der beiden Lotfu punkte Die Berechnung 46 Grundlagen der Lotfu punkte erfolgt in Anlehnung an TIETZ 1979 Seien g und g zwei windschiefe Geraden und X und X die gesuchten Lotfu punkte in denen g und g von geschnitten werden Es gilt g ist definiert durch g X X AS mit S X X 4 50 X Lotfu punkt von auf g X X2 Punkte auf g N skalarer Faktor und g st definiert durch g X X uS mit S X X 4 51 X Lotfu pun
99. det F r die Beschreibung der Kinematik eines Verbindungsgliedes des Roboters werden vier Parameter verwendet Sie beschreiben das Verbindungsglied und die Verbindung zum Nach barglied Die Verbindungsglieder des Roboters werden von 0 bis n nummeriert wobei 0 die unbewegliche Basis kennzeichnet Die Verbindungsachsen werden von 1 bis n nummeriert Das Verbindungsglied an sich wird durch seine L nge a und den Winkel zwischen seinen beiden Gelenkachsen beschrieben Die Verbindung zum n chsten benachbarten Glied wird ber einen Abstand entlang der Verbindungsachse d link offset und den Drehwinkel ent lang der Verbindungsachse 6 joint angle beschrieben Um die Parameter ermitteln zu k nnen wird jedem Verbindungsglied ein eigenes Koordina tensystem zugewiesen Details bez glich der Konventionen f r die Zuweisung der Koordina tensysteme und die Bestimmung der Parameter k nnen CRAIG 1989 entnommen werden Mittels der Parameter l sst sich eine Transformationsmatrix H bestimmen welche die rela tive Lage der Verbindungsachse 1 zu 1 1 angibt Durch Multiplikation der einzelnen Trans formationsmatrizen gelangt man dann zu einer Gesamttransformationsmatrix welche f r n Achsen die Relation zwischen Bas skoordinatensystem 0 und Manipulatorkoordinatensys tem entspricht dem letzten Glied N beschreibt H H H Hy 4 60 Diese Transformation ist eine Funktion aller n Verbindungsvariablen Sind die aktu
100. die Lage der einzelnen Passmarken 1m Bild ermit telt Die Bilder und die Informationen zur Lage der Kalibrierpunkte wurde gespeichert Die Daten einer Position wurden nur dann gespeichert und in die Auswertung bernommen wenn die Kalibrierpunkte n beiden Bildern erkannt wurden Zus tzlich wurden die einzelnen 69 Material und Methoden Stellungen des Roboters w hrend des Kalibriervorganges gespeichert Diese gesammelten Informationen waren die Grundlage f r die verwendeten Kal brierverfahren F r die Kal brierungen wurden nicht ausschlie lich Routinen der Halcon Bibliothek verwen det da diese in der verwendeten Version nicht ber ein Verfahren zur Stereo Kamerakalibrie rung verf gte Abbildung 5 12 Beispielaufnahmen eines Kalibriervorganges der am Roboterarm mon tierten Kalibriertafel aus unterschiedlichen Positionen 2 i T ee ie fat ae ar ore Seas DS D En ieee ji PAIN eoe Ss Dh cee CESS Shit ee Abbildung 5 13 Aufnahme einer Kalibriertafel links und Raster der erkannten Passmarken rechts 70 Material und Methoden F r die Kalibrierungsprozesse und die weiteren Berechnungen waren Bezugskoordinatensys tem notwendig die den einzelnen Anlagenkomponenten zugeordnet waren Auf diese Weise konnte auch die relative Lage der Komponenten zueinander tiber Rotation und Translation ermittelt und angegeben werden Folgende relevanten Koordinatensysteme wurden im Rah
101. dreidimensionalen Informationen wurden die inverse Kinematik sowie ein kolli sionsfreier Pfad berechnet In praktischen Versuchen wurde mit dem System eine Ernterate von etwa 75 erreicht Fol gende Fehler traten dabei auf Fehler in der Bildanalyse 32 Funktionsst rung Endeffektor 5 Fehler Pfadplanung 18 ungenaue Positionierung des Endeffektors 36 und Fehler bei der Handhabung der geernteten Fr chte 9 VAN HENTEN et al 2003 Die durchschnittliche Erntezeit pro Gurke wurde mit 124 Sekunden angegeben In dieser Zeit waren bereits Fehlzeiten f r misslungene Ernteversuche und die Bewegung des Gesamtsys Literatur bersicht tems zwischen zwei Positionen enthalten Die Dauer f r einen einzelnen Erntevorgang von der Bildaufnahme bis zu Ablage des Erntegutes wurde mit 65 Sekunden angegeben In Japan wurde ebenfalls ein Gurkenernteroboter entwickelt ARIMA und KONDO 1999 Der Einsatz wurde mit einer speziellen Kulturtechnik kombiniert bei der die Triebe schr g auf warts an Rankhilfen gef hrt wurden und die Fr chte so in den Raum hingen F r die Tren nung der Fr chte von Bl ttern und Stielen im Bild wurde eine Monochromkamera mit zwei verschiedenen Interferenzfiltern verwendet Aufgrund unterschiedlicher Reflektionscharak teristika der Pflanzenteile in den beiden Wellenl ngenbereichen konnten die Fr chte gut getrennt werden Die eigentliche Erkennung der Fr chte erfolgte mittels morphologischer Operatoren F
102. e 120 Abbildung 6 29 Anordnung der Schwerpunkte der Bl tenstielobjekte m linken und rechten Bild Ausgehend von der Position der Schwerpunkte wurden die Objekte von rechts nach links einander zugeordnet Zugeordnete Objekte sind 1m gleichen autom darsestell ee san nee ee 121 Abbildung 6 30 Ermittlung korrespondierender Punkte a Bl tenstielobjekte m Bild der rechten und linken Kamera b Bestimmung von Ausgangspunkten f r die Berech nungen durch berlagerung des Bildes mit einem Raster und Schnittmengenbildung rote Kreise markieren Schnittpunkte c Berechnung der entsprechenden Epipolar linien rot 1m rechten Bild und Ermittlung korrespondierender Punkte durch Schnittmengenbildung blaue Kreise markieren korrespondierende Bildpunkte 123 Abbildung 6 31 Dreidimensionales Modell der Gerberapflanze Der Blickwinkel ent spricht in etwa der Sicht aus Position der linken Kamera ccccccceeeeeecceeeeeeeeees 127 Abbildung 6 32 Seitenansicht des dreidimensionalen Modells Rechts m Bild s nd die Berden KamerasGarsestellt 2 2 128 Abbildung 6 33 Erkennungsraten bezogen auf das Gesamtbild differenziert nach Anzahl Bl tenstielen m Bild eines I a toa dolenes 130 Abbildung 7 1 Stereoaufnahmen der Beispielpflanze mit erkannten Bl tenstielobjekten OR Se ee RE 132 VI Abbildungsverzeichnis Abbildung 7 2 Gesamtmodell mit Versuchsanlage Roboter und Pflanzenmodell Der sch
103. e Verzerrung Abbildung 4 11 Auswirkungen radialer Verzerrung ver ndert nach WENG et al 1992 Die radiale Verzerrung einer Linse kann nach BROWN 1971 f r einen Bildpunkt mit Koordi naten x y folgenderma en ausgedr ckt werden Kr K r r 4 39 39 Grundlagen mit r 4 x y radiale Verzerrung K Koeffizienten der radialen Verzerrung r radiale Entfernung des betrachteten Bildpunktes vom Hauptpunkt Hier wird nur ein Koeffizient der radialen Verzerrung verwendet dieser ist nach TSAI 1987 f r praktische Anwendungen ausreichend Auch BOUGUET 1999 LENZ 1987 und FRASER 2001 verwenden in ihren Modellen lediglich einen Verzerrungskoeffizienten F r die ver zerrten Bildkoordinaten xaya ergibt sich dann x x l x r Va y l Kr mit r 4 x y x y Koordinaten des unverzerrten Bildpunktes 4 40 Xaya Koordinaten des verzerrten Bildpunktes K Koeffizient der radialen Verzerrung r radiale Entfernung des betrachteten Bildpunktes vom Hauptpunkt F r die praktische Anwendung ist die inverse Operation von 4 40 von Bedeutung also die R ckrechnung verzerrter beobachtbarer Koordinaten in unverzerrte Koordinaten so dass zwischen den Weltkoordinaten und dem entzerrten Bild wieder ein lineares Kameramodell verwendet werden kann Die exakte Bestimmung f hrt ber die L sung eines kubischen Gleichungssystems siehe PRESS et al 1992 BOUGUET 1999 gibt fiir
104. e Merkmalsopertoren f r Bildobjekte stellen eine wichtige Grundlage zur Klassifikation von Objekten dar Sie liefern Werte welche z B Position Gr e und Orientierung eines Objektes beschreiben k nnen Im Rahmen dieser Arbeit sind Merkmalsoperatoren f r die Klassifika 20 Grundlagen tion von Objekten in Bildern der Gerberapflanzen von Bedeutung Sie stellen die Grundlage f r die Identifizierung der Pflanze bzw der Bl tenstiele dar Ein sehr grundlegender Merkmalsoperator ist die Fl che Sie ist definiert als die Anzahl von Bildpunkten einer Region Sie kann auch aus dem Bin rbild abgeleitet werden Dabei werden die einzelnen Bits des Bin rbildes gez hlt Die Objektpunkte der Region haben den Wert 1 Hintergrundpunkte den Wert 0 ABMAYR 1994 T H n 4 17 H Eingabefl che region Punktemenge n Anzahl Punkte in der Region Ip Fl che der Punktemenge H Ein Merkmal zur Beschreibung der Orientierung eines Objektes stellt die Orientierung der quivalenten Ellipse einer Punktmenge dar Das Verfahren beruht auf einer Implementierung von MVTec 1999 Es wird die Orientierung der Ellipse berechnet welche die gleiche Ori entierung und das gleiche Seitenverh ltnis wie die Eingaberegion haben Als Orientierung gilt die Lage der Hauptachse bez glich der Horizontalen x Achse des Bildes F r weitere Details sei auf MVTEC 1999 verwiesen KM Y 4 18 H Eingabefl che Punktemenge y Winkel bez glich der Horiz
105. e Nachbarn in aktueller Zeile Sehne neuer Teilregion Hyg j zuweisen Sehne gleicher Region Hyg zuweisen wie Nachbarsehne j jH Unverzweigte Einzelregionen Hyp Abbildung 6 9 Ablauf der Aufteilung potentieller Bliitenstielregionen in unverzweigte Einzelregionen 93 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bliitenstielen Das Ergebnis der Analyse waren unverzweigte Regionen Hyg welche Teile h chstens eines Bl tenstieles beinhalten sollten au er sie enthielten Kreuzungs bzw berlappungsbereiche Nach der Auftrennung wurden die Regionen wieder zur ck auf ihre vorherige Position gedreht Hyg Qpa AHue Ps AB i Y rV2 Diese einzelnen Regionen stellen die Bausteine f r die Erstellung der sp teren Bl tenstielob jekte dar Jeder potentiellen Bl tenstielregion Hg aus Hg wurden also jetzt unverzweigte Regionen Hug zugeordnet a b Abbildung 6 10 Auftrennung der Ausgangsregion a in unverzweigte Einzelregionen b Zusammenh ngende Bereiche gleicher Farbe stellen die einzelnen Teilregion dar 6 5 Entfernung unverzweigter Regionen ohne Bl tenstielteile Wie bereits zu Beginn des Kapitels erw hnt baut der Algorithmus auf der Erkennung und Modellierung der Bl tenstiele auf Bis zum jetzigen Schritt waren neben den Bl tenstielen jedoch mindestens noch die Bl ten in den briggebliebenen Regionen vorhanden Deshalb wurden im n chsten Verarbeitungsschrit
106. e so wurden in 97 aller F lle n mindestens einer Aufnahmeposition alle Bl tenstiele der Pflanze erkannt Anders ausgedr ckt w re es n 97 aller Aufnahmeserien m glich gewesen eine dreidimensionales Modell zu errechnen und somit die Voraussetzungen f r eine automatisierte Ernte zu schaf fen Dies stellt 1m Hinblick auf eine praktische Verwendung der Ergebnisse das wesentlichste Ergebnis dar 100 90 Sl 70 60 S0 40 30 20 Erkennungsrate o l 3 Anzahl Bl tenstiele Abbildung 6 33 Erkennungsraten bezogen auf das Gesamtbild differenziert nach Anzahl Bl tenstielen im Bild 130 Ernte der Bliitenstiele 7 Ernte der Bl tenstiele Die m vorherigen Kapitel ermittelten Daten und Modelle wurden f r den Ernte der Bl ten stiele mit Hilfe des Roboters verwendet Im folgenden wird zun chst der prinzipielle Ernte vorgang am Beispiel eines einzelnen Bl tenstiels dargestellt Der gesamte Erntevorgang mit den notwendigen Entscheidungsregeln um auch komplexere Erntevorg nge mit mehreren Bl testielen durchzuf hren wird n einem zweiten Teil mit verschiedenen Beispielen erl u tert Unter anderem wird dort auch wieder auf die Beispielpflanze eingegangen anhand derer der Bildverarbeitungsalgorithmus im vorherigen Kapitel erl utert wurde 7 1 Ernte eines einzelnen Bl tenstiels 7 1 1 Erstellung eines 3D Modells aus der Versuchsanlage und der Pflanze Das be der Bildverarbeitung errechnete Modell der Gerbe
107. e Epipolarlinen aber nahezu parallel zur X Achse Die Zuordnung wird 170 Diskussion problematischer wenn der Winkel zwischen Bliitenstielachse und Epipolarlinien geringer wird Zum einen k nnen dann eventuell zwei Punkte 1m benachbarten Bild auf derselben Epi polarlinie liegen und zum anderen wirken sich geringe Ungenauigkeiten bei der Kalibrierung sehr stark aus Die Anwendbarkeit der beschriebenen Methode ist auch abh ngig von der Genauigkeit der Kalibrierung Je geringer der Fehler bei der Kalibrierung desto besser werden die Ergebnisse der Zuordnung von Bl tenstielpunkten ausfallen 8 1 3 2 3D Modell der Pflanze Durch die starke Abstraktion der Pflanzenteile war eine einfache und schnelle Erstellung eines 3D Modells m glich Die deutliche Vereinfachung kann aber auch zu Problemen f h ren Die Bl tter der Pflanze in der Summe als Hauptpflanze bezeichnet und die Bl ten der Pflanze wurden aufgrund empirisch ermittelter Werte modelliert Die Werte wurden zwar so gew hlt dass der gr te Teil der Pflanzenteile innerhalb der gew hlten Modellgrenzen lag aber einzelne Bl tter oder Bl tenteile lagen au erhalb dieser Grenzen Genauer w re eine Ermittlung und Modellierung mit anderen Verfahren zur Korrespondenz analyse m glich gewesen Denkbar w ren intensitatsbasierte Verfahren aufgrund der Grau werte im Bild gewesen damit h tte ein punktgenaues Modell zur Verf gung gestanden Ein weiteres h ufig angewende
108. e Modelle f r alle 36 Positionen DONIGA CRIVAT 2003 8 1 4 Interpretation der Ergebnisse der Bildverarbeitung Eine Interpretation der Ergebnisse des Bildverarbeitungsalgorithmus aufgrund von Ver gleichswerten st nicht m glich da keine vergleichbaren Untersuchungen existieren Eine Bewertung der G te scheint aber sinnvoll unter dem Aspekt ob der entwickelte Bildverar beitungsalgor thmus als Grundlage f r den Erntevorgang der Gerberabl tenstiele verwendet werden konnte Die vorliegenden Untersuchungen lassen den Schluss zu dass unter Verwen dung der eingesetzten Sensorik eine nahezu hundertprozentige Identifizierung aller Bl ten stiele aus einem beliebigen Blickwinkel sehr unwahrscheinlich ist insbesondere bei steigen der Anzahl Bl tenstielen Durch Auswertung einer Serie von Aufnahmen aus verschiedenen Blickwinkeln konnten jedoch in 97 aller F lle alle Bl tenstiele in mindestens einem Bild paar erkannt werden Diese Erkenntnis wurde dann auch als Grundlage f r den automatisier ten Erntevorgang verwendet Es bleibt somit festzuhalten dass der entwickelte Algor thmus f r den beabsichtigten Zweck ausreichend war 173 Diskussion 8 1 5 Gesamtbetrachtung der Bildverarbeitung Zuvor wurde bereits herausgestellt dass der verwendete Algorithmus als Grundlage fiir den sp teren Erntevorgang verwendet werden konnte Ein Nachteil des verwendeten Algorithmus ist die Tatsache dass lediglich die f r den Menschen sichtbaren
109. e ernten zu k nnen Es muss daher davon ausgegangen werden dass dann die Anzahl geernteter Bl tenstiele abnehmen w rde 8 2 7 Ergebnisse Ernte Insgesamt konnten 80 aller Bl tenstiele geerntet werden In Anbetracht der teilweisen sehr komplexen Szenerie erscheint das Ergebnis gut F r eine praktische Anwendung w ren 20 nicht geernteter Bl tenstiele unter gewissen Umst nden akzeptabel Es k nnte ein Nachernte per Hand erfolgen bzw entstehen durch die laufende Ernte in der Regel Pflanzen mit weniger 179 Diskussion Bl tenstielen Im Ergebnisteil wurde deutlich dass besonders bei einer Bl tenstielanzahl unter vier eine sehr hohe Ernterate erzielt wurde vergleiche Tabelle 7 1 Zu den Ergebnissen muss auch angemerkt werden dass die Bl tenstiele an der Versuchspflanzen sehr lange verblieben und nicht bereits bei der eigentlichen Erntereife abgeerntet wurden um f r die Versuche m glichst viele Bl tenstiele vorr tig zu haben Die Anzahl Bl tenstiele an den Pflanzen innerhalb der Versuche entspricht also nicht der unter realen Bedingungen In der Praxis w re der durchschnittliche Bl tenbesatz geringer somit w re insgesamt mit besseren Ergebnissen zu rechnen Bemerkenswert ist dass auch bei mehr als drei Bl tenstielen an der Pflanze nach wie vor mehr als 50 der Bl tenstiele geerntet werden konnte obwohl bei der Entwicklung und den Tests des Bildverarbeitungsalgorithmus keine Pflanzen mit mehr als drei Bl tenstiel
110. e geerntet werden Mit Blick auf die in Tabelle 7 1 dargestellten Ergebnisse verwundert es nicht dass die drei Pflanzen bei denen keine Bl ten stiel geerntet werden konnte alle zur Gruppe mit f nf und mehr Bl tenstielen geh rten In 5 aller F lle musste die Ernte abgebrochen werden da es sonst zu Besch digungen der Pflanze gekommen w re In diesen F llen h tte der Roboter die Pflanze umgeworfen oder angehoben Auffallend war bei diesen Abbr chen eine konstruktionsbedingter Fehler bezogen auf den Erntemechanismus Die Ausgestaltung des Greifers f hrte dazu dass Bl tenstielreste bereits geernteter Bl tenstiele m Bereich des hinteren Gest nges des Greifers eingeklemmt werden konnten wenn der aktuell betrachtete Bl tenstiel abgeschnitten wurde In der Folge wurde die Pflanze dann angehoben und der Vorgang abgebrochen um eine Besch digung der Pflanzen zu vermeiden Drei der vier Abbr che waren auf diesen Fehler zur ckzuf hren Tabelle 7 2 Anzahl und Anteil Pflanzen gruppiert nach dem Ergebnis bezogen auf die Gesamtpflanze Es wurden alle Ein Teil der Es wurde kein Abbruch da sonst Bl tenstiele Binienzuele Bl tenstiel Besch digung der geerntet wurde geerntet geerntet Pflanze Anzahl Pflanzen 57 2 3 4 Anteil an allen 75 16 4 5 Pflanzen 162 Ernte der Bliitenstiele 7 3 2 Abwartsbewegung bei der Stielverfolgung In Vorversuchen wurden die Grenzen fiir die maximale erlaubten Abstand zur Topfoberkante ermitt
111. e gelegt sondern hin zu dem Einzelwert verschoben in dessen Richtung ins gesamt weniger Werte lokalisiert waren siehe Abbildung 6 15 Die ermittelten Trennwerte f r den jeweiligen Parameter wurden auf zwei Stellen hinter dem Komma gerundet F r die Klassifikation wurden beide Trennwerte dann hintereinander angewendet Folgende Trenn 105 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bl tenstielen werte wurden ermittelt min 1 99 bernahme wenn gt Trennwert bzw rm 0 88 ber nahme wenn gt Trennwert Die Ergebnisse der Anwendung der verschiedenen Klassifikationsmethoden auf den Testda tensatz sind in Tabelle 6 3 dargestellt Die besten Ergebnisse lieferten die Methode der Entscheidungsregeln mit festen Schwellenwerten und die k N chste Nachbarn Methode F r die weitere Verwendung wurde erstere verwendet da die Anwendung und Implementierung deutlich einfacher war Des weiteren war ein Zugriff auf die Kalibrierungsdaten der k N chs ten Nachbarn Methode nicht m glich siehe oben Eingabe schmale Regionen As Ausgangsbild A Ausgangsregion schmale Regionen leicht dilatieren Hremp E Ons V Definitionsbereich des Ausgangsbildes auf vorher bestimmte Region Hremp eingrenzen B PRA H Temp Kantenrichungsbild mit eingegrenztem Bild ermitteln C Px B a Haufigkeitsverteilung der Kantenrichtungsbildpunkte ermitteln und Verteilung gau gl tten Maxima der Vertei
112. ecececeececeees 70 II Abbildungsverzeichnis Abbildung 5 13 Aufnahme einer Kalibriertafel links und Raster der erkannten Pass TATOO CE CH eier ee 70 Abbildung 5 14 Schematische Darstellung der Lage der Koordinatensysteme der einzel nen Anlagenkomponenten Dabei ist die X Achse jeweils rot die Y Achse gr n und die Z Achse Diaudarzestell ns 71 Abbildung 5 15 Lage der Kameras rechts und Rekonstruktion der einzelnen Kalibrier punkte links welche w hrend des Kalibriervorganges verwendet wurden als Ergebnis der Stereo Kalibrierung mit der Calibration Toolbox Punkte einer Farbe kennzeichnen die Punkte einer Aufnahme Das Hauptbezugskoordinatensystem ist in dieser Darstellung das Koordinatensystem der linken Kamera Die Achsen der beiden Kamerakoordinatensysteme sind in Blau dargestellt die pyramidalen Struk turen symbolisieren die Blickrichtung der Kameras cccccccssseeseesseeeecceeeeeeeeeeeeeeaaaas 73 Abbildung 5 16 Schematische Darstellung der Konfiguration f r die Hand Auge Kalib rierung mit den beteiligten Koordinatensystemen und der Bezeichnung der Trans formationen zwischen den jeweiligen Koordinatensystemen ver ndert nach BODO ee ne ee nee 74 Abbildung 5 17 Projektion des Weltkoordinatensystems welt Kal brierk rperkoordi natensystems kal b und Werkzeugkoordinatensystems wkz in eine Aufnahme des Kalibrierk6rpers nach erfolgter Hand Auge Kal brierung Die z Achsen des Kal brierk rp
113. egung vom Startpunkt zum Zielpunkt eigentlich immer dann m glich ist sofern der Zielpunkt erreichbar ist Klarer Nachteil ist die Tatsache dass die Bahn nicht bekannt ist und eine vorherige Absch tzung von Kollisionen damit kaum m glich wird Letzterer Punkt ist der Vorteil der Linear und Kreisinterpolation Bei beiden ist die Bahn welche die Werkzeugspitze beschreibt klar definiert und die Bewegung des Roboters kann ungef hr abgesch tzt werden Au erdem sind solche Bewegungsarten die Grundlage f r Arbeiten entlang vordefinierter Pfade Nachteil dieser Verfahren ist die Tatsache dass eine Bewegung vom Start zum Zielpunkt nicht immer m glich ist In der Praxis zeigt sich dass die Durchf hrbarkeit einer Linear oder Kreisbewegung mit steigendem Abstand von Start und Zielpunkt abnimmt F r gro e Wege sind sie also meist nicht geeignet 4 4 5 Pfadplanung Be praktischen Anwendungen in denen die Arbeitsobjekte var abel sind ist eine st ndige Anpassung der Bewegungsabl ufe und Positionierungen des Roboters notwendig Somit ist eine feste Programmierung der Abl ufe wie sie in der Industrie h ufig anzutreffen ist nicht m glich Um den Roboter von seiner Ausgangsstellung in eine errechnete Zielstellung zu bringen ohne dabei mit Hindernissen oder dem Arbeitsobjekt zu kollidieren ist eine Pfadplanung notwen dig Voraussetzung f r eine solche Pfadplanung sind Modelle der Arbeitsumgebung des Arbeitsobjektes und des Rob
114. ehrung Ein System zur automatischen Verarbeitung von Stecklingen entwickelte SIMONTON 1990 Stecklinge wurden mit einer monochromen CCD Kamera aufgenommen identifiziert und nach Gr en klassifiziert Basierend auf diesen Informationen wurden die Stecklinge mit einem Roboter mit sechs Freiheitsgraden erfasst und in der Folge gek rzt teilweise entlaubt und in Abh ngigkeit vom Klassifikationsergebnis zur anschlie enden Bewurzelung in Sub strat gesteckt SIMONTON konnte bei seinen Versuchen hnlich gute Ergebnisse wie bei manu eller Arbeit erreichen sowohl hinsichtlich Qualit t als auch der ben tigten Zeit KONDO et al 1996b beschreiben ein vergleichbares System f r die automatische Verarbei tung von Chrysanthemen Stecklingen Sie verwendeten einen Roboter mit f nf Freiheitsgra den zum Greifen und Ablegen der Stecklinge Die Stecklinge wurden mittels Aufnahmen einer monochromen Kamera mit Infrarotfilter dentifiziert Der Roboter nahm die Stecklinge auf und f hrte sie der weiteren Verarbeitung zu die aus einer Entbl tterungsmaschine und einem Steckmodul f r d e Platzierung der Stecklinge n das Substrat bestand Bei beiden Untersuchungen waren f r die Lokalisierung lediglich zweidimensionale Informa tionen notwendig da die H he f r das Greifen der Stecklinge durch ein Laufband gegeben war auf dem die Stecklinge platziert waren Literatur bersicht ROSIER et al 1996 beschreiben die Vorarbeiten zu einem System
115. ei Bl tenstiele vorhanden Die Ergebnisse f r die Erkennung der Bliitenstiele in den Bildern ist in Tabelle 6 5 dargestellt Zun chst wurden die Bilder einer Kamera analys ert Dabei wurde zun chst die Erkennungs rate bezogen auf jeden einzelnen Bl tenstiel betrachtet Insgesamt wurden 74 aller Bl ten stiele richtig erkannt 128 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bl tenstielen Tabelle 6 5 Erkennungsraten des Bildverarbeitungsalgorithmus zur Erkennung von Bl tenstielobjekten differenziert nach Bewertungskriterium Bewertungskriterium Erkennungsrate Erkennung bezogen auf einzelne 74 Bl tenstiele Erkennung bezogen auf Gesamtbild Erkennung bezogen auf alle Bl tenstiele m 72 Bild Bezogen auf das Gesamtbild beide 6 3 Kameras Bezogen auf das Gesamtbild beide Kameras in mindestens einer der acht 97 verschiedenen Aufnahmepositionen Jeder Bl tenstiel wurde einzeln bewertet Das Gesamtbild wurde als richtig bewertet wenn alle Bl tenstiele im Bild richtig erkannt wurden Wie es mussten jedoch alle Bl tenstiele in den zeitgleich aufgenommenen Bilder beider Kameras richtig erkannt werden Es musste das Kriterium nach erf llt werden jedoch lediglich in mindestens einer der Aufnahmen mit den acht unterschiedlichen Positionen der Pflanze Danach wurde die Erkennungsrate bezogen auf das gesamte Bild betrachtet Dies bedeutet ein Bild wurde dann al
116. eile des Manipulators eindeutig bestimmen Am Ende der kinematischen Kette befindet sich der Endeffektor Diesem wird tiblicherweise ein Werkzeugkoordinatensystem zugewiesen Die Position des Endeffektors wird dann defi niert tiber die Lage des Werkzeugkoordinatensystems relativ zum sogenannten Basiskoordi natensystem welches mit der unbeweglichen Basis des Roboters verbunden ist vergleiche Abbildung 4 15 Eine grundlegende Aufgabe ist die Berechnung der direkten Kinematik des Manipulators Damit ist die Position und Orientierung des Endeffektors relativ zum Basiskoordinatensystem bei gegebener Gelenkstellung gemeint Abbildung 4 16 Schematische Darstellung der Verbindung zweier Achsen eines Roboters mit den entsprechenden Denavit Hartenberg Parametern nach Craig CRAIG 1989 X Y Z Einheitsvektoren der Achsen des Koordinatensystems a L nge des Verbindungsglieds a Winkel zwischen den Gelenkachsen des Verbindungsglieds a i Index des betrachteten Gelenks d Abstand zum n chsten benachbarten Glied entlang der Verbindungsachse 6 Drehwinkel entlang der Verbindungsachse zum n chsten benachbarten Glied 54 Grundlagen Die kinematische Kette des Roboters kann tiber die sogenannten Denavit Hartenberg Para meter beschrieben werden In der Literatur werden verschiedene Beschreibungen mit Denavit Hartenberg Parametern bezeichnet die sich in einigen Details unterscheiden Hier wird die Beschreibung nach CRAIG 1989 verwen
117. elle welche zur Ermittlung der dreidimensionalen Informationen notwendig sind und in dieser Arbeit verwendet wurden werden im folgenden beschrieben 4 2 1 R umliche Darstellung und Transformationen von Punkten und Koordinatensystemen F r die Berechnung dreidimensionaler Informationen aus Bildern ist die Darstellung von Punkten 1m dreidimensionalen Raum sowie die Transformation dieser Punkte zwischen ver schiedene Koordinatensystemen eine grundlegende Voraussetzung Im folgenden werden die notwendigen Grundlagen kurz dargestellt Soweit nicht anders angegeben basieren die Aus f hrungen auf CRAIG 1989 27 Grundlagen Abbildung 4 6 a Lage eines Punktes im Raum b Darstellung zweier Koordinatensys teme mit unterschiedlicher Lage und Orientierung ver ndert nach CRAIG 1989 M Punkt im dreidimensionalen Raum M 3D Vektors des Punktes relativ zum Koordinatensystem A x wo Yo Z Einheitsvektoren der Achsen des Koordinatensystems A 4 Koordinatensystem A 4 2 1 1 Beschreibung der Position Ist ein Koordinatensystem im Raum gegeben so kann die Position eines beliebigen Punktes M mittels eines 3 x 1 Ortsvektors M mit Koordinaten x y z beschrieben werden Im Zusammenhang mit der Transformat on von Punkten m dreidimensionalen Raum werden in dieser Arbeit f hrende hochgestellte Indizes verwendet um das Koordinatensystem zu kennzeichnen welches zur Beschreibung der Lage des betrachteten Punktes verwendet wird So wird
118. ellen Ach senstellungen bekannt kann die Position und Orientierung des Endeffektors tiber die Gesamt transformationsmatrix errechnet werden 4 4 3 Inverse Kinematik Im Gegensatz zur direkten Kinematik ist beim Problem der inversen Kinematik die gew nschte Position und Orientierung des Werkzeugkoordinatensystems bekannt Gesucht ist eine Kombination an Gelenkstellungen mit der die gew nschte Konfiguration erreicht werden kann Dabe k nnen f r eine gew nschte Positionierung und Orientierung mehrere L sungen existieren Dies ist insbesondere in Zusammenhang mit Hindernissen inte 55 Grundlagen ressant wenn eine oder mehrere der m glichen Konfigurationen zu Kollisionen f hren w rde eine andere aber nicht Bez glich der L sung der inversen Kinematik l sst sich nach CRAIG 1989 folgendes zusammenfassen F r die L sung der inversen Kinematik stehen L sungen in geschlossener Form und numerische L sungen zur Verf gung wobei L sungen in geschlossener Form wegen der schnelleren Berechnung vorzuziehen sind L sungen in geschlossener Form exis tieren jedoch nicht f r alle Robotertypen Eine ausreichende Bedingung f r die Anwendbar keit bei einem Manipulator mit sechs rotator schen Achsen ist dass sich drei benachbarte Gelenkachsen schneiden Details zu den Verfahren k nnen CRAIG 1989 entnommen werden 4 4 4 Bewegungsarten F r die Bewegung des Roboters von einem gegebenen Anfangspunkt zu einem geplanten Z
119. elt siehe auch 7 1 5 Die im Rahmen dieser Vorversuche ermittelten Daten konnten auch dazu verwendet um die Abw rtsbewegung des Roboters 1m Rahmen der Stielverfolgung zu beurteilen da die Abw rtsbewegung des Roboters und der Abstand zur Topfoberkante detailliert aufgezeichnet wurden Die Ergebnisse s nd n Tabelle 7 3 differenziert nach Sorten dargestellt Insgesamt wurden je Sorte 12 Pflanzen untersucht Die Pflanzen der Sorte Arobella wiesen dabei insgesamt 22 Bliitenstiele auf die der Sorte Cornice 23 Zwei Kriterien wurden f r die Auswertung der Stielverfolgung ausgew hlt Zum einen wurde die Entfernung des endg ltigen Erntepunktes vom prim ren bzw sekund ren Erntepunkt als Kriterium f r den zur ckgelegten Weg bei der Stielverfolgung verwendet Zum anderen wurde der Abstand des endg ltigen Erntepunktes von der Topfoberkante gew hlt Die Topf oberkante entsprach bei den Pflanzen in den meisten F llen in etwa dem basalen Ansatz des Bl tenstiels und kann somit als Kriterium f r den brig gebliebenen Bl tenstielteil verwendet werden da die tats chliche Position des Bl tenstielansatzes sp ter n cht als einheitliches Bewertungskriter um verwendet werden konnte da sie nicht bekannt war wurde die Topf oberkante gew hlt Der zur ckgelegte Weg bei der Abw rtsbewegung lag im Mittel bei der Sorte Arobella mit 63 mm ein wenig h her als bei Cornice mit 52 mm Die minimal zur ckgelegten Wege unter scheiden sich leicht 25
120. en Grund hierf r war die Tatsa che dass der gesamte Ernteablauf n cht hinsichtlich der zeitlichen Performance optimiert wurde Aussagen zur Erntedauer w ren somit nur wenig aussagekr ftig An dieser Stelle sollen trotzdem kurz Einzelaspekte zur Dauer erl utert und die kritischen Bereiche dargestellt werden Hinsichtlich der Geschwindigkeit des Systems s nd grundlegend zwei Bereiche zu differen zieren Zum einen ist die Geschwindigkeit der Softwarekomponenten zu betrachten zum anderen die Zeiten welche durch Bewegungen der mechanischen Anlagenkomponenten und durch notwendige Wartezeiten verursacht werden Hinsichtlich der Softwarekomponenten ist die kritische Komponente alle n der Bildverarbei tungsalgorithmus f r die Erkennung der Bl tenstiele S mtliche anderen Berechnungen und 164 Ernte der Bliitenstiele Kontrollstrukturen sind aufgrund der geringeren Komplexit t und zu analysierenden Daten mengen zu vernachl ssigen F r die Erkennung der Bl tenstiele wurden pro Bild je nach Anzahl der Bl tenstiele ca eine bis drei Sekunden ben tigt F r die Bilder beider Kameras ergibt sich so eine maximal Zeit von etwa f nf bis sechs Sekunden F r die Pfadplanung kann je nach Komplexit t der Szene mit ein bis zehn Sekunden gerechnet werden Die Werte wur den aus Videoaufnahmen exemplarischer Ernteversuche abgesch tzt und sollen eine grobe Orientierung f r die Zeiten geben Die Zeiten welche f r Bewegungen der An
121. en auch die Richtungen der einzelnen Kantenpixel ermittelt c zeigt einen vergr erten Ausschnitt Anhand der H ufigkeitsverteilung der Kantepixel d werden parallel verlaufende Kanten e ermittelt Die gestrichelten Linien in d begrenzen die Bereiche um die Maxima welche den parallelen Kanten zugeordnet werden sssssssssssssessssnsssseeneeeeennnnn 108 Abbildung 6 18 Entfernung unverzweigter Regionen ohne parallele Kanten Die unver zweigten Regionen links werden mit den parallelen Kanten Mitte geschnitten Ubernommen werden nur unverzweigte Regionen welche parallele Kanten enthal LEM FCC INS ee ee Beisein A N TS 109 Abbildung 6 19 Ablauf Entfernung von Kreuzungsbereichen eeeeee 110 Abbildung 6 20 Entfernung von Kreuzungsbereichen Regionen links welche Kreu zungspunkte des Skeletts der Ausgangsregion Mitte mit roten Kreisen markiert enthalten Werden entiernt kechis ei seni een 111 Abbildung 6 21 Approximation der Bl tenstielsegmente durch Strecken als Grundlage f r einen Zusammengeh rigkeitstest F r die einzelnen Ausgangsregionen HPT Links wurden Teilbereiche bestimmt Mitte rot welche als Eingabepunkte f r eine Richtungsbestimmung des oberen bzw unteren Teilbereiches mittels Regres sion dienen F r jede Region wurde dann eine Strecke bestimmt welche f r die Bestimmung eines Kollinearit tswertes zur Suche nach zugeh rigen Segmenten verwendet werden konnte
122. en auf die Horizontale wird zu x 2 m entsprechenden Ergebnis bild Dieser Umstand ist damit zu begriinden dass in dem zur Darstellung und Speicherung verwendeten Grauwertbild lediglich 256 Werte pro Bildpunkt differenziert werden k nnen Somit ist eine Aufl sung von 1Grad f r die Richtungskodierung nicht m glich In Bildpunk ten mit Kantenamplitude 0 wird als Kantenrichtung der Wert 255 undefinierte Richtung zur ckgeliefert Im weiteren wird die Kantenrichtung des einfacheren Verst ndnisses halber trotzdem in vol len Gradschritten im Bereich von 0 bis 359 Grad angegeben Es sei aber darauf hingewiesen dass die Genauigkeit aufgrund der Originaldaten nur 2 Grad betr gt Der Kantenoperator wird f r diese Arbeit wie folgt definiert Y A a B 4 23 A Eingabebild Grauwertmatrix B Ergebnisbild Grauwertmatrix Grauwerte kodieren Kantenrichtung Q Koeffizient der Filtermaske f r Kantensuche hier 0 9 entspricht einer 7 x 7 Filtermaske Yk Kantenerkennung mit Richtungserkennung 23 Grundlagen Abbildung 4 2 Beispielhafte Anwendung des Kantenoperators anhand eines Gerberabildes Links Ausgangsbild Mitte Resultierendes Richtungskantenbild nach Anwendung des Kantenoperators Rechts Ausschnittsvergr erung der Kanten deut lich sichtbar sind die unterschiedlichen Grauwerte der verschiedenen Kantenrichtun gen 4 1 5 Erkennung linienartiger Strukturen in Bildern 4 1 5 1 Hough Transformation zur Identifiz
123. en beschrieben wobei eine Sehne durch Zeilennummer Anfangs und Endpunkte Spaltennummer definiert ist Vorteil der Sehnendarstellung und speicherung ist der geringere Speicherbedarf m Gegen satz zur Speicherung von Einzelpunkte und eine damit einhergehende Beschleunigung der Verarbeitung bei bestimmten Operationen 4 1 2 Bearbeitung und Manipulation von Punktmengen Regionen E n Verfahren zur Bearbeitung bzw Erstellung von Punktemengen wurde bereits n Formel 4 2 mit der Generierung einer Punktemenge mittels Schwellenwertoperation dargestellt E n weiteres Verfahren zur Generierung einer Punktmenge aus Grauwertbildern st die Schwellenwertoperation mit Hysterese welche n der Softwarebibliothek Halcon MVTEC 1999 integriert ist Sie erfolgt laut MVTEC 1999 in Anlehnung an CANNY 1983 Dabei werden alle Punkte im Eingabebild gr er oder gleich einer oberen Schwelle sz sofort in die Ausgaberegion en bernommen Sie stellen sichere Punkte dar Umgekehrt werden alle Punkte mit Grauwerten kleiner der unteren Schwelle s zur ckgewiesen Potentielle Punkte mit Grauwerten zwischen den beiden Schwellen schlie lich werden dann bernommen wenn sie durch einen Pfad mit maximaler L nge von potentiellen Punkten mit einem sicheren Punkt verbunden sind Die sicheren Punkte strahlen also auf ihre Umgebung aus sie wir ken nach Hysterese Osy A s H 4 3 A Eingabebild Grauwertmatrix S Schwellenwertve
124. en den gesuchten Kan tenbildpunkten ein nicht zu hoher Teil anderer Kantenbildpunkte vorliegt Ansonsten besteht die Gefahr dass die durch die hohe Anzahl von Bildpunkten hnlicher Richtung verursachten Maxima aufgrund der Dominanz anderer Strukturen nicht gefunden werden Sollten z B die Kanten von Anlagenteile aus dem Hintergrund oder der Teile eines Blattes vorliegen so w r den s ch eine Verteilung ergeben welche nicht unbedingt deutliche Max ma zeigt Bei der verwendeten Methode muss au erdem bedacht werden dass Kantenbildpunkte alle n auf grund der Kantenrichtung selektiert wurden und zun chst keine weiteren Parameter wie Nachbarschaft oder Formparameter der selektierten Regionen beachtet wurden In den Unter suchungen konnte jedoch keine nachteiligen Effekte der Methode beobachtet werden KAIZU et al 2002 Verwendeten zur Erkennung paralleler Strukturen bei Zuckerrohr die Hough Transformation Allerdings handelte es sich dabei in den meisten F llen um nahezu lineare Strukturen und au erdem wurden immer nur einzelne Spr sslinge untersucht ber schneidungen kamen also nicht vor Eine Alternative zum verwendeten Verfahren w re die Bestimmung gekr mmt linearer Strukturen mit Hilfe des Operators Qro gewesen der allerdings dann nicht die parallelen Kanten sondern die Mittelachsen gekr mmt linearer Strukturen zur ckgeliefert h tte verglei che Kapitel 6 8 In Vorversuchen wurde diese Variante ansatzweise getestet Sie zeig
125. en vor handen waren 8 2 8 Zeitlicher Aspekt In Kapitel 7 wurde kurz auf die Dauer des Erntevorgangs eingegangen Es wurde festgehalten dass f r einen Erntevorgang an der Gesamtpflanze insgesamt mehrere Minuten ben tigt wur den Eine solch langer Zeitraum je Erntezyklus ware fiir eine praktische Anwendung nicht akzeptabel da sich ein solcher Automat betriebswirtschaftlich nicht rentieren w rde Im Vergleich dazu seien die Erntezeiten angefiihrt welche VAN HENTEN et al 2003 in Ver suchen fiir Gurken ermittelten Fiir die Ernte einer Gurke ermittelten Sie eine Zeit von 65 Sekunden Dies umfasst den Zyklus von der Bildaufnahme bis zur Ablage der Gurke F r einen realen Gesamtzyklus in den auch Fehlversuche und Bewegungen des Gesamtsystems zwischen den Erntevorg ngen einbezogen wurden konnte eine durchschnittliche Zeit von 124 Sekunden je geernteter Gurke ermittelt werden W rde man bei dem vorgestellten System lediglich den Erntezyklus in einer Position von der Bildaufnahme bis zur Ablage betrachten so w rden sicher hnlich Zeiten erreicht werden Die langen Zeiten f r den Gesamtzyklus kommen insbesondere durch die zahlreichen Auf nahmepositionen und die insgesamt langen Wartezeiten durch die Eigenbewegung der Pflanze nach der Drehung zustande Weiter oben wurde bereits eine andere M glichkeit der Bildauf nahme mit bewegter Kamera zur Verringerung der Wartezeiten diskutiert 180 Diskussion 8 3 Einsetzbarkeit des
126. ennnn 20 4 1 4 Bearbeitung und Manipulation von Grauwertbildern 22 4 1 5 Erkennung linienartiger Strukturen in Bildern uu0sssssseeeeeeeeeeeeeeeeeeeeeeeeeen 24 4 1 5 1 Hough Transformation zur Identifizierung kollinearer Punkte 24 Inhaltsverzeichnis 4 1 5 2 Ermittlung gekr mmt linearer Strukturen cccccccccccccccceeeeeeeeeeeeeeeaees 25 4 2 Gewinnung dreidimensionaler Informationen aus Stereo Bildern 26 4 2 1 R umliche Darstellung und Transformationen von Punkten und Koordinaten BY SUC MIG IN 355 ae een E E ATN 2 ADA Beschreibune der Postio oisean een 28 4 2 1 2 Beschreibung der Orfientierins una an 28 42 1 3 Transtormalion von Punkien enssdasese een 29 4 2 1 4 Darstellung Interpretation des Rotationsteils 002222222220seeeeeeeeeen 31 422 Dask ameramode Uesiroireno a E 33 4 2 2 1 Das Lochkameramodell perspektivische Projektion 33 4 2 2 2 Innere Kameraparameler este 37 42 22 Rad ale Verzeitund 22a 39 42 24 Piemme Kameraparamelen ass 41 4 22 53 Kamerakalibrierune anne a a A 42 2232 POLE VISION ee ee een 42 4 2 3 1 Epipolargeometrie und Epipolarl nie cccccccecseseeeeeceeeeeeeeeeeeeeeaeeenees 44 4 2 3 2 Triangulation Rekonstruktion uuessseessssssnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnn 46 4 3 Klassifikation von Objekten Statistik
127. ennung von Cherry Tomaten entwickelt Tiefeninformationen wurden ber Laserscanner ermittelt Durch den Einsatz ver schiedener Wellenl ngen und Verh ltnisbildungen der Signale konnten reife Fr chte von anderen Pflanzenteilen differenziert werden 2 2 9 Gurke In den Niederlanden wurde ein autonomer Gurkenernteroboter entwickelt VAN HENTEN et al 2002 und VAN HENTEN et al 2003 Bei dem entwickelten System handelt es sich um eines der am weitesten entwickelten Systeme im Bereich Ernteroboter Es wird deshalb hier auch ausf hrlicher beschrieben S e verwendeten einen Roboter mit insgesamt sieben Freiheitsgraden Der eigentliche Mani pulator war dabei auf einer mobilen Plattform montiert welche auf Heizungsrohren auf dem Boden gef hrt wurde Als Greifer f r die Ernte wurde ein thermischer Schnittmechanismus n Kombination mit einem Zweifingergreifer und einem Saugapparat f r den Transport und die Ablage entwickelt Das verwendete Kamerasysteme war fahrbar auf der mobilen Plattform befestigt Es bestand aus zwei synchronisierten CCD Chips welche den gleichen Bildaus schnitt aufnahmen jeweils aber mit unterschiedlichen Filtern 1m nahen Infrarotbereich aus gestattet waren Durch Kombination der beiden Bilder konnten die Fr chte identifiziert wer den Dreidimensionale Informationen wurden mittels Stereobildverarbeitung gewonnen Dazu wurden je zwei Aufnahmen aus unterschiedlichen Positionen mit der Kamera gemacht Basie rend auf den
128. eo Kamerakalibrie Und esse T E AOR 72 5 3 Hand AygesRalbrie tun ss a 74 5 4 Softwarekomponenten zur Simulation und Modellierung der Anlage 71 IA AUCCMEINE Senise E a A G 71 342 CosMIT Professional erruen ra a aaa 71 5 4 3 Bibliothek f r inverse Kinematiken neenssssssssssnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnsnnn 78 544 MPK nd das Open Inventor Formal nasse a EA E E TS 79 5 5 Pflanzenmare talent ta rcunl E 8l Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bliitenstielen 84 6 1 AECE O See ee a Bel ee Te mere 84 6 2 Identifizierung der Gesamtpflanze seisscsnoa a an E 85 6 3 Segmentierung potentieller Bliitenstielbereiche ccc ccc cceeeeeeeeeeeeseeeeeeeeees 87 6 4 Aufteilung potentieller Bl tenstielregionen in unverzweigte Einzelregionen 91 6 5 Entfernung unverzweigter Regionen ohne Bl tenstielteile 94 6 5 1 Reduzierung potentieller Bl tenstielregionen auf schmale Regionen 95 6 5 2 Ermittlung parallel verlaufender Kanten ccccneeneseenennnnn 101 6 5 3 Entfernung unverzweigter Regionen ohne parallele Kanten 109 6 6 Entfernung von Kreuzungs berlappungsbereichen u ceneenene 110 6 7 Verkn pfung der Einzelregionen zu Bl tenstielobjekten 111 6 8 Ermittlung der Mittelachsen der Bl tenstielobjekte ennnn 118
129. er und Weltkoordinatensystems weisen vom Betrachter weg und wer den deshalb von der Kal briertafel verdeckt Die x Achse des Weltkoordinaten systems weist nach unten und die y Achse weist in Richtung des Betrachters 76 Abbildung 5 18 Simulationsmodell der Versuchsanlage in Cosimir Professional 78 Abbildung 5 19 Dreidimensionales Bas s Modell des Roboters RV E4NM Dargestellt sind die Rotationsachsen der Gelenke schwarze Linien und die Koordinatensys teme mit den nach CRAIG 1989 zugeordneten Achsen rote gr ne und blaue Einen entsprechen 2 y und Achse ae eu 80 Abbildung 5 20 Beispielpflanzen des Pflanzensatzes welcher fiir die Ernteversuche verwendet wurde Oben Sorte Arobella unten Sorte Cornice eee eeeeeeecee scene ees 83 Abbildung 6 1 Beispielaufnahmen mit Gerberapflanzen uuusssseeeeeeeeeeeeeeeeeeeeneneeeeeeenen 84 Abbildung 6 2 Gesamtablauf der Erkennung von Bl tenstielobjekten 85 II Abbildungsverzeichnis Abbildung 6 3 Einzelschritte bei der Identifizierung der Gesamtpflanze a Ausgangsbild b Ergebnis der Schwellenwertbildung mit Hysterese c Bildung von Teilregionen d Gesam MANZE Mt COTO ee eisen 86 Abbildung 6 4 Ablauf der Identifizierung der Gesamtpflanze 0 cccceeeeseeseeeeeeeeeseeeeens 87 Abbildung 6 5 Ablauf Segmentierung potentieller Bltitenstielbereiche
130. er Abstand zur Topfoberkante erreicht Zielpunkt f r Bewegung ermitteln auf vorhergesagtem Bl tenstielverlauf Abstand zu aktuellem Punkt in X Richtung 25 mm minimaler Abstand zu Topfoberkante berschritten nein Zielpunkt so korrigieren dass minimaler Abstand zu Topfoberkante erreicht wird Befehl zur Linearbewegung zum ermittelten Zielpunkt an Steuereinheit des Roboters Ernte der Bl tenstiele Toleranzgrenze f r Abweichung in y z Richtung berschritten oder minimal zul ssiger Abstand zur Topfoberkante erreicht Zielpunkt f r Bewegung in x Richtung ermitteln Abstand zu aktuellem Punkt in X Richtung 25 mm minimaler Abstand nein zu Topfoberkante berschritten Zielpunkt so korrigieren dass minimaler Abstand zu Topfoberkante erreicht wird Toleranzgrenze f r Abweichung in y z Richtung berschritten nein Zielpunkt so korrigieren dass Toleranzgrenz in y z Richtung erreicht wird Linearachsenbewegung zur Erreichung Zielpunktes durchf hren Ende Abbildung 7 13 Ablauf der Stielverfolgung der Abw rtsbewegung des Robotergreifers entlang des vorhergesagten Bl tenstielverlaufs 145 Ernte der Bliitenstiele Auf der Basis dieser Berechnung wurde der Erntegreifer schrittweise abw rts bewegt Die Bewegung wurde zun chst als lineare Bewegung des Robotergreifers durchgef hrt Da die eigentliche Bewegung durch die Steuereinheit des Roboters ermittelt wurde war v
131. er Bl tter von Schlumbergera vom Typ Bridesli Basierend auf der Erkennung mittels ASM wurde dann die Lage der Blatter im dreidimensio nalen Raum errechnet Als alternative Techniken zur Berechnung dreidimensionaler Modelle waren auch der Einsatz strukturierten Lichts oder der Lasertechnik denkbar gewesen Strukturiertes Licht wurde z B von HOTHER 1998 zur Qualit tserkennung bei pfeln verwendet Lasertechnik wurde z B von SUBRATA et al 1997 zur Erkennung von Cherry Tomaten verwendet Beide Methodi ken haben jedoch gemeinsam dass sie lediglich eine dreidimensionales Modell der Gesamt szene liefern k nnen Dies bedeutet dass das prim re Ergebnis der Bildverarbeitung bzw der Sensorinformationen zun chst ein genaues dreidimensionales Modell der Szene ohne eine Differenzierung in einzelne Pflanzenteile gewesen w re Die Segmentierung oder Lokalisie 174 Diskussion rung der gew nschten Pflanzenteile h tte dann also am dreidimensionalen Modell erfolgen m ssen In anbetracht der Komplexit t der Objekte kann bezweifelt werden dass eine Ermittlung anhand des dreidimensionalen Modells eine Vereinfachung w re 8 2 Ernteablauf 8 2 1 3D Modell der Pflanze Das 3D Modell der Pflanze und ihrer Komponenten wurde in den Untersuchungen sehr ver einfacht Lediglich die Bl tenstiele Pflanze wurden detailliert modelliert da dies f r eine genaue Ansteuerung notwendig war Die Bl ten der Pflanze wurden als Zylinder ausreichend g
132. er Pfadplanung in der Computersimulation links und Umsetzung als realer Bewegungsablauf rechts 141 Ernte der Bliitenstiele 7 1 4 Steuerung des Roboters zum Schnittpunkt Ausgehende von der angesteuerten Vorernteposition wurde dann versucht den Roboter bzw den Erntegreifer direkt mittels Linearinterpolation zum Schnittpunkt zu bewegen Dazu wurde der Translationsvektor V bzw V2 siehe auch 7 1 2 welcher zur Ermittlung der Vorerntestellung verwendet wurde invertiert und V bzw V2 als Parameter f r die Ansteue rung des Roboters verwendet Vor der Ausf hrung der Linearbewegung war nicht bekannt ob die angestrebte Linearbewe gung m gl ch war Der Befehl f r die Linearbewegung wurde an den Roboter bermittelt und die Antwort der Steuereinheit ausgewertet War keine Linearbewegung zum gew nschten Punkt m glich so wurde e n Fehler zur ckgegeben ansonsten wurde d e Linearbewegung ausgef hrt Pfadplanung zu sekund rem Schnittpunkt und Roboteransteuerung kollisionsfreie Vorerntestellung nein Anfahrt m glich Linearbewegung des Roboters mit V durchf hren Linearbewegung des Roboters mit V durchf hren nein Linearbewe gung m glich ja Linearbewe gung m glich Ernte f r Bl tenstiel abbrechen Abbildung 7 10 Ablauf Bewegung des Roboters von der Vorerntestellung zum Schnittpunkt 142 Ernte der Bliitenstiele War die Linearbewegung nicht
133. erheitszone n Weltkoordinaten mit h 0 01 m Das aufgrund von zwei Stereoaufnahmen Abbildung 7 1 erstellte Pflanzenmodell ist in Abbildung 7 2 dargestellt Abbildung 7 1 Stereoaufnahmen der Beispielpflanze mit erkannten Bl tenstielobjekten rot 132 Ernte der Bliitenstiele Abbildung 7 2 Gesamtmodell mit Versuchsanlage Roboter und Pflanzenmodell Der schmale rote Bereich oberhalb des Hauptpflanzenzylinders griin stellt den Sicher heitsbereich fiir die Ansteuerung dar Der Roboter befindet sich in der Ruhestellung fiir die Bildaufnahme Rechts im Bild sind die beiden Kameras in Stereoanordnung zu sehen Die Positionen der einzelnen Komponenten im Modell basieren auf den Ergebnis sen der Systemkalibrierung 7 1 2 Bestimmung des Schnittpunktes und der Vorerntestellung Anhand der errechneten Bliitenstielkoordinaten wurde der Schnittpunkt fiir den Erntevorgang bestimmt Als Schnittpunkt wurde im ersten Schritt der unterster Punkt M des zu erntenden Bl tenstiels verwendet prim rer Schnittpunkt War dieser Punkt aus unterschiedlichen Gr nden durch den Erntegreifer nicht erreichbar und ein Ernte somit nicht m glich siehe weiter unten so wurde in einem weiteren Versuch ein zweiter Schnittpunkt 50 mm oberhalb in X Richtung bestimmt und die Durchf hrung der Ernte f r diesen Punkt versucht sekun d rer Schnittpunkt Die Orientierung des Greifers wurde f r den Erntevorgang fest vorgegeben Dadurch entfiel
134. erung beider Strecken in Radiant s minimaler Abstand zwischen Verl ngerung der l ngeren Strecke und dem Mittelpunkt der k rzeren Strecke g minimaler Abstand der Endpunkte beider Strecken lj L nge der k rzeren Strecke Abbildung 6 22 Skizze zur Ermittlung der Parameter f r die Berechnung der Kollinearit t zwischen zwei Strecken ver ndert nach LOWE 1987 Der Test auf Zusammengeh rigkeit wurde f r die oberhalb und unterhalb gelegenen Regionen getrennt durchgef hrt Es wurde also zun chst f r alle oberhalb gelegenen Regionen und dann f r die unterhalb gelegenen Regionen die Kollinearit t berechnet Abbildung 6 24 b Der jeweils beste Partner wurde selektiert wenn der Kollinearit tswert unterhalb eines Schwel lenwertes lag siehe weiter unten und es wurde f r dieses Segment getestet ob ein besserer Partner vorhanden war Abbildung 6 24 c Wurde f r das Segment ein besserer Partner gefunden wurde der n chstbeste Partner untersucht usw War dies nicht der Fall wurden beide Segmente zu einem zusammengefasst und die Parameter f r dieses Segment neu berechnet Die Suche nach Partnersegmenten wurde dann mit dem neu generierten Segment weitergef hrt bis keine Partnersegmente mehr vorhanden waren Die so neu generierte Region wurde als ein Bl tenstielobjekt gespeichert Abbildung 6 24 d Die gesamte Prozedur wurde dann beginnend mit dem Schnitt mit den Houghlinien wieder holt und weitergef hrt bis keine weiteren B
135. es Links Ausgangsbild Mitte Resultierendes Richtungskantenbild nach Anwen dung des Kantenoperators Rechts Ausschnittsvergr erung der Kanten deutlich sichtbar sind die unterschiedlichen Grauwerte der verschiedenen Kantenrichtungen 24 Abbildung 4 3 Anwendung der Hough Transformation auf eine Punktemenge in der Eingabepunktemenge links werden mittels Hough Transformation und Schwel lenwertanwendung auf die Anzahl kollinearer Bildpunkte linienartige Strukturen SFM ELS 11 CNC ee ee ee een 25 Abbildung 4 4 Ermittlung gekr mmt linearer Strukturen ccccccccccceeeeeeeeeeeeeeeeeeeeeees 26 Abbildung 4 5 Ablauf der Erstellung dreidimensionaler Modelle aus Stereo Bildern yeranden nach KEETTECl Aly T995 a net 21 Abbildung 4 6 a Lage eines Punktes m Raum b Darstellung zweier Koordinatensys teme mit unterschiedlicher Lage und Orientierung ver ndert nach CRAIG 1989 28 Abbildung 4 7 Transformation eines Punktes bzw dessen Ortsvektor zwischen zwei Koordinatensystemen ver ndert nach CRAIG 1989 22uuuuseeeeeeeeeeennnnnnnnnnnnnnnnnnnen 30 Abbildung 4 8 Rotation eines Koordinatensystems ber Euler Winkel mit der Reihen TONG CZ Vo nee el el ne een lee heil el ee tele ee a ee 32 Abbildune 9 Lochkameramodel nee ae 34 Abbildung 4 10 Koordinatentransformation in der Bildebene 2220000ceeeeens 3 Abbildung 4 11 Auswirkungen radialer Verzerrung ver nde
136. es Schwellenwertverfahren notwendig Das verwendete Verfahren unter Verwendung von Sperrfiltern war jedoch ohne Einschran kungen f r die vorliegenden Bedingungen gut anzuwenden Denkbar w re auch der Einsatz unterschiedlicher Sperrfilter und die Bildung von Differenzbildern w e dies z B von GRAND D ESNON et al 1987 f r pfel oder ARIMA und KONDO 1999 sowie VAN HENTEN et al 2002 f r Gurken beschrieben wurde Kritisch angemerkt werden muss jedoch dass das entwickeltet Verfahren die Pflanze alle n aufgrund der gr ten gefundenen zusammenh ngenden Fl che identifizierte Da keine weite ren Parameter beachtet wurden k nnen theoretisch auch andere Objekte m Bild als Pflanze identifiziert werden Allerdings sollten dann aufgrund der komplexen weiteren Auswertungen keine Bl tenstiele gefunden werden Das Verfahren zur Bestimmung potentieller Bl tenstiele funktionierte in den Versuchen gut lediglich sehr kurze Bl tenstiele bzw Bl tenstiele welche nur kurz ber dem Laub standen wurden teilweise nicht erkannt Um hier Verbesserungen zu erreichen m ssten andere Verfah ren zur Erkennung eingesetzt werden Das Verfahren zur Aufteilung der Bl tenstielregionen in unverzweigte Regionen welches insbesondere zum Ziel hatte die Gesamtregion an Kreuzungsbereichen und an den Bl tenan s tzen aufzuteilen arbeitete gut Die Regionen wurden an den berschneidungspunkten zuverl ssig aufgetrennt und auch die Bl ten wurden sep
137. ewerten da Abbruch des Programms Die Pflanzen wurden dann dem Ernteergebnis nach der jeweiligen Gruppe zugeteilt und die Anzahl zugeh riger Pflanzen ermittelt Tabelle 7 1 Ernteraten bezogen auf Einzelstiele in Prozent differenziert nach Gruppen mit unterschiedlicher Anzahl Bl tenstielen Anteil der Ernterate AUZABLDIULENSUIENE Pflanzengruppe an bezogen auf je Pflanze allen Pflanzen Einzelstiele l bis 2 36 8 97 9 3 bis 4 46 1 89 7 5 und mehr 17 1 50 7 161 Ernte der Bliitenstiele Tabelle 7 1 zeigt die Ernteraten bezogen auf Einzelstiele differenziert nach Gruppen mit unterschiedlicher Anzahl Bl tenstiele Dazu wurden die Pflanzen nach Bl tenanzahl in drei Gruppen eingeteilt ein bis zwei Bl ten 37 aller Pflanzen drei bis vier Bl ten 46 aller Pflanzen und f nf oder mehr Bl ten 17 aller Pflanzen Die Ernteraten nahmen dabei beginnend mit der Gruppe mit den wenigsten Bliitenstielen von 98 ein bis zwei Bliiten stiele ber 90 drei bis vier Bl tenstiele auf 51 f nf und mehr Bl tenstiele ab Tabelle 7 2 zeigt die Verteilung der Pflanzen gruppiert nach dem Ergebnis bezogen auf die Gesamtpflanze Es zeigt sich dass bei 75 aller Pflanzen alle Bl tenstiele geerntet werden konnten In diesen F llen funktionierte die vollautomatische Ernte also fehlerlos Des weite ren wurde bei 16 aller Pflanzen ein Teil der Bl tenstiele geerntet Lediglich in 4 aller F lle konnte keiner der Bl tenstiel
138. f r Technik in Gartenbau und Landwirtschaft Universit t Hannover Selbst ndige T tigkeit als Entwickler von Internetapplikationen Angestellter bei der Eugen Ulmer KG Stuttgart Abteilung Datenbanken und IT Entwicklung Name Date of birth Place of birth Marital status 1979 1983 1983 1992 7 1992 7 1993 8 1993 7 1995 10 1995 3 2000 2 1997 3 1997 3 1998 4 1998 3 2000 10 2004 6 2000 12 2004 since 11 2004 Curriculum vitae Marco Kawollek 29 04 1973 Kassel married 1 child School education Primary school Dorothea Viehmann Schule Kassel Grammar school Engelsburg Kassel Matriculation Abitur Community service Communinty service at Johanniter Unfall Hilfe e V Kassel Professional training Professonal training as gardener field of ornamental plants at the Lehr und Versuchsanlagen der Arbeitsgruppen Botanik der Universitat Gesamthochschule Kassel University education University of Hannover Course of studies Horticultural science Degree Diploma in horticultural science Practical training Firma Ernst Benary Samenzucht GmbH Verlag Eugen Ulmer GmbH amp Co Stuttgart Work experience Research Assistant at the Institute for Horticultural and Biosystems Engineering University of Hannover Development of internet applications as self employed person Employee at Eugen Ulmer KG Stuttgart division databases and information technology development
139. flanzenregion potentiellen Bl tenstielregionen Bl tenstielobjekte Regionen paralleler Bl tenstielkanten Teilmengen der parallelen Bl tenstielkanten schmale Regionen unverzweigte Einzelregionen Bildebene Menge von Punkten p bzw p im linken K bzw rechten X Kamerakoordinatensystem 3D Punkt Gro buchstaben kursiv 3D Vektor eines Punktes Gro buchstaben fett Repr sentation eines Punktes in homogenen Koordinaten perspektivische Projektionsmatrix Rotationsmatrix 3x3 Menge von subpixelgenauen Punktmengen mit 1 Regionen S Punktmenge subpixelgenau Mittelachsen der Bliitenstielobjekte Sensitivit t Spezifit t Translationsvektor 3D Vektor Verschiebungsmaske Einheitsvektoren der Koordinatenachsen Im Zusammenhang mit Roboterachsen Winkel zwischen zwe Gelenkachsen Drehwinkel rad ale Verzerrung Im Zusammenhang mit Roboterachsen Drehwinke entlang der Verbindungsachsen Orientierung der quivalenten Ellipse einer Region Fl che optimale Regressionsgerade durch alle Punkte einer Punktmenge ODA Qg Cr OG QGH Ohr Abk rzungs und Symbolverzeichnis Unterkante einer Punktmenge h chster Zeilen Wert Oberkante einer Punktmenge geringster Zeilen Wert konvexe H lle kleinster umschlieBender Kreis kleinstes umschlie endes Rechteck geometrischer Schwerpunkt Kantenerkennung mit Richtungserkennung Reduzierung des Definitionsbereiches eines Bildes Grauwertoperator Dilation
140. geblieben w re Aus diesem Grund wurde versucht den Schnittpunkt mittels Stielverfolgung schrittweise weiter nach unten zu verlegen Stielverfolgung bedeutet hier nicht eine tats chliche Verfol gung des weiteren Verlaufs des Bl tenstiels unterhalb des angefahrenen Schnittpunktes da keine weiteren Informationen vorhanden waren Stattdessen wurde der weitere Verlauf des Bl tenstiels aufgrund der vorhandenen Informationen extrapoliert Zun chst wurde ein Bereich des Bl tenstiels definiert welcher als Grundlage f r die Weiter verfolgung verwendet wurde Dazu wurde der Punkt auf dem Bl tenstiel ermittelt welcher einen Abstand von 0 05 m zum untersten Punkt des Bl tenstiels aufwies Durch diesen ermittelten Punkt und den untersten Punkt wurde eine Gerade gelegt welche den weiteren Verlauf des Bl tenstiels unterhalb des untersten ermittelten Punktes darstellte siehe Abbildung 7 12 Schnittpunkt im Greifer u Bewegungsrichtung mit Linearinterpolation Bewegungsrichtung mit Linearachse Tolleranzbereich f r pa Vorhergesagter Verlauf des Bl tenstiels Linearachsenbewegung Abbildung 7 12 Schematische Darstellung der Extrapolation des Stielverlaufs und der m glichen Bewegungsrichtungen des Greifers in Richtung des vorhergesagten Stielverlaufs 144 Bliitenstielpunkte B Ermittlung Richtungsvektor f r weiteren Verlauf des Bl tenstiels Linearbewegung nicht weiter m glich oder minimal zul ssig
141. h Hungarian Robotic Harvester ASAE Paper No 927042 KAWOLLEK M H J TANTAU und T RATH 2002 Entwicklung eines Versuchsstandes zur bildanalytisch gest tzten Robotersteuerung im Pflanzenbau Gartenbauwissenschaft 67 121 127 KLETTE R K SCHL NS und A KOSCHAN 1998 Computer Vision Three Dimensional Data from Images Springer Singapore KONDO N Y NISHITSUJI P P LING und K C TING 1996a Visual Feedback Guided Robotic Cherry Tomato Harvesting Transactions of the ASAE 39 6 2331 2338 KONDO N Y OGAWA M MONTA und Y SHIBANO 1996b Visual Sensing Algorithm for Chrysanthemum Cutting Sticking Robot System Acta Horticulturae 440 383 388 KONIG R 1990 Definitionen Aufbau von Industrierobotern In WARNECKE H J und R D SCHRAFT Hrsg Industrieroboter Handbuch f r Industrie und Wissenschaft Springer Verlag Berlin Heidelberg KOZAI T H MURASE und T HOSHI 1998 Strawberry Harvesting Robot on Hydroponic System Artificial Intelligence in Agriculture 1998 Proceedings of the 3rd IFAC CIGR Workshop Makuhari Chiba Japan 24 26 April 1998 181 185 LANSER S und W ECKSTEIN 1991 Eine Modifikation des Deriche Verfahrens zur Kantendetektion Mustererkennung 1991 13 DAGM Symposium M nchen 9 11 Oktober 1991 Informatik Fachberichte 290 Springer 151 158 LANSER S C ZIERL und R BEUTLHAUSER 1995 Multibildkalibrierung einer CCD Kamera 17 DAGM Sy
142. h ist ein solche Vorgehensweise denkbar Dazu m ssten die Pflanzen z B auf Mobilpaletten kultiviert werden und f r die Ernte zum Arbeitsbereich der Roboter gefahren werden Der Einsatz von Mobilpaletten und der Transport der Pflanzen f r Kulturarbeiten wie dem Verpflanzen hin zu einem zentralen Arbeitsbereich wird seit Jahren im Gartenbau praktiziert Im Unterschied zu seltener h ufig vorkommenden Kulturarbeiten m ssten die Pflanzen f r regelm ige Erntevorg nge immer wieder mit einer vergleichsweise hohen Frequenz jeden oder jeden zweiten Tag zum Arbeitsbereich transportiert werden Dies stellt hohe Anspr che an die Steuerung des Gesamt systems Eine andere M glichkeit w re die Modifikation des Gesamtsystems hin zu einer mobilen Anlage Weiter oben wurde bereits die M glichkeit einer beweglichen Kamera diskutiert Dar ber hinaus m sste das Bildverarbeitungssystem bei einem mobilen System welches in der Kultur arbeitet adaptiert werden Denkbar w re der Einsatz eines Blitzger tes um gleichm ige Belichtungsbedingungen zu erreichen 181 Diskussion Eine weite notwendige Voraussetzung f r einen praktischen Einsatz w re eine Modifikation des Greifers bzw des Ernteverfahrens Es wurde bereits darauf eingegangen dass e n Schnitt der Bliitenstiele nicht der Praxis entspricht Vielmehr m sste ein Mechanismus entwickelt werden welcher die Bl tenstiele herausbricht bzw zieht 8 4 bertragbarkeit auf andere Kultu
143. hen einer geschlossenen Region aufgef llt Qy H De 4 8 H Eingabefl che Punktemenge Fyeu Menge der Teilregionen Zusammenhangskomponenten Or iteratives F llen von H mit 8 ter Nachbarschaft Objekte k nnen mit Hilfe der Hintereinanderschaltung iterativer morphologischer Operatoren auf Strukturelemente reduziert werden welche nur ein Pixel breit sind Im Rahmen dieser Arbeit ist die Bildung des Skeletts einer Region von Bedeutung Es entsteht durch Verd n nung der Region auf Linien mit ein Pixel Breite Mit entsprechenden Filtermasken lassen sich aus dem Skelett auBerdem noch Kreuzungs und Endpunkte extrahieren Qy H ic 4 9 B e a k s mit 18 Grundlagen Va Reduzierung auf Skelettanfangs und endpunkte Vx Reduzierung auf Skelettkreuzungspunkte Vs Reduzierung auf Skelett H Eingabefl che Punktemenge Aney Reduzierte Punktemenge H ufig werden variable geometrische Grundformen ermittelt welche die betrachtete Punkt menge umschlieBen In dieser Arbeit werden das kleinste umschlie ende Rechteck und der kleinste umschlie ende Kreis verwendet welche die betrachtete Region vollst ndig abdecken und den kleinsten Fl cheninhalt aller m glichen umschlie enden Objekte haben Es gilt O H V 4 10 und O H V 4 11 H Eingabefl che Punktemenge y Ergebnisfl che Punktemenge kleinstes umschlie endes Rechteck von H kleinster umschlie ender Kreis von H Neben morphologi
144. hier nahezu identisch Dies liegt daran dass der Null punkt des Werkzeugkoordinatensystems des Roboters nach Vermessung so verlegt wurde dass bei Koordinatenurspr nge zusammenfielen Der Vorteil bei dieser Vorgehensweise lag daran dass f r die Transformation KH ip nur der Rotationsanteil und kein Translationsteil bestimmt werden musste Die z Achse des Werkzeugkoordinatensystems war identisch mit der y Achse des Kal brierk rperkoordinatensystem und wird m Bild von dieser berlagert Abbildung 5 17 Projektion des Weltkoordinatensystems welt Kalibrier k rperkoordinatensystems kalib und Werkzeugkoordinatensystems wkz in eine Aufnahme des Kalibrierk rpers nach erfolgter Hand Auge Kalibrierung Die z Achsen des Kalibrierk rper und Weltkoordinatensystems weisen vom Betrachter weg und werden deshalb von der Kalibriertafel verdeckt Die x Achse des Weltkoordinatensys tems weist nach unten und die y Achse weist in Richtung des Betrachters 76 Material und Methoden 5 4 Softwarekomponenten zur Simulation und Modellierung der Anlage 5 4 1 Allgemeines Der Erntevorgang der Bl tenstiele wurde im Rahmen dieser Arbeit geplant und simuliert Dazu wurden verschiedene Module eingesetzt Angefangen von der Modellierung der gesamten Versuchsanlage ber die Berechnung von m glichen Roboterstellungen f r eine gew nschte Ernteposition des Bl tenstiels die Planung eines kollisionsfreien Bewegungspfa des f r den Erntev
145. hluss wurde f r jede Region Hg aus Hg die Verteilung der Sehnenl ngen einer Region berechnet Die Ermittlung einer solchen H ufigkeitsverteilung ist in Abbildung 6 11 schematisch dargestellt L nge Sehnen Abbildung 6 11 Schema der Generierung einer H ufigkeitsverteilung der Sehnenl ngen einer potentiellen Bl tenstielregion Links Potentielle Bl tenstielregion Mitte Vergr Berter Ausschnitt der Region mit ermittelten Sehnenl ngen Rechts Gesamte H ufig keitsverteilung der Sehnenl ngen der Region 95 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bl tenstielen Die einzelnen Sehnen wurden dann anhand ihrer L nge hinsichtlich hrer Zugeh rigkeit zu schmalen Bereichen klassifiziert Die verwendete Klassifikationsmethode war nur eine von vier verschiedenen welche w hrend der Entwicklung des Algor thmus miteinander vergli chen wurden Folgende Methoden wurden miteinander verglichen eine heuristische Methode m folgenden Max Mi n Methode genannt und drei weitere statistische Methoden Alle Methoden beruhten auf der Analyse von Merkmalen der Sehnenl nge und der H ufig keitsverteilung der Sehnenl ngen bezogen auf die gesamte analysierte Region Grundlage der Analysen war die Annahme dass Bl tenstielbereiche eine homogene 1m Ver gleich zu den meisten anderen Bereichen z B Bl ten oder Bl tter geringe Breite aufweisen Aufgrund dieser Tatsache sollten sie bei der Analyse p
146. hnung von Lageinformationen unter der Beteiligung mehrerer Koordinatensys tem ist oft eine Koordinatentransformation von Punkten notwendig Dabei wird z B die Lage eines Punktes M dessen Lage in Relation zu einem Koordinatensystem 8 gegeben ist in Relation zu einem anderen Koordinatensystem A gesucht Die Transformation gliedert sich in zwei Schritte vergleiche Abbildung 4 7 1 Rotation M wird zun chst relativ zu einem Zwischenkoordinatensystem beschrie ben welches die gleiche Orientierung wie das Zielkoordinatensystem A aufweist 2 Translation Im Anschluss wird die Verschiebung zwischen den Koordinatensystemen beachtet indem der Vektor Tg welcher die Verschiebung zwischen den Koordina tensystemen beschreibt addiert wird 29 Grundlagen Abbildung 4 7 Transformation eines Punktes bzw dessen Ortsvektor zwischen zwei Koordinatensystemen ver ndert nach CRAIG 1989 M Punkt im dreidimensionalen Raum M BM 3D Vektors des Punktes relativ zum Koordinatensystem A bzw B AT Translationsvektor der die Position von B relativ zu A beschreibt X Y Z Einheitsvektoren der Achsen des Koordinatensystems A Koordinatensystem A B Koordinatensystem B Die gesamte Transformation kann ausgedr ckt werden durch siehe auch Abbildung 4 7 M R M 4T 4 27 AR Rotationsmatrix Orientierung von B relativ zu A Ts Translationsvektor Lage von B relativ zu A AM M Punkt M
147. hsstand konnten feste Werte f r die Parameter der Schwellenwertoperation verwendet werden H QOoy A s mit s 40 80 und 20 85 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bliitenstielen In den meisten F llen wurden durch die Schwellenwertoperation neben der Pflanze auch klei nere St rungen im Hintergrund ausgew hlt Das Resultat der Segmentierung waren dann mehrere Regionen unterschiedlicher Gr e Abbildung 6 3 b F r die Weiterverarbeitung wurde deshalb f r alle Teilregionen die Fl che Ip bestimmt und die Region mit dem gr ten Wert ausgew hlt Abbildung 6 3 c Der Bilddefinitionsbereich wurde n der Folge auf die zuvor ausgew hlte Region eingeschr nkt Ergebnis dieses Schrittes war eine Gesamtpflanzen region Hy Der gesamte Ablauf der Identifizierung der Gesamtpflanze ist Abbildung 6 4 dargestellt Zwischenstufen der Bildverarbeitung k nnen in Abbildung 6 3 betrachtet werden c Abbildung 6 3 Einzelschritte bei der Identifizierung der Gesamtpflanze a Ausgangs bild b Ergebnis der Schwellenwertbildung mit Hysterese c Bildung von Teilregionen d Gesamtpflanzenregion 86 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bliitenstielen Aus gangs bildmatrix A Bestimme Gesamtpflanzenregion Teilregion mit gr ter Fl che H mit Ip A max l p A H c H Schwellenwert mit Hysterese auf Bildmatrix A anwenden H Q Gp A 8 mit s
148. iben sind weitere grundlegende Untersuchungen notwendig Neben rein methodischen Ans tzen sind praktische Anwendungen und Fallbeispiele notwendig um die Probleme welche bei praktischen Arbeiten an der Pflanze auftreten in den Griff zu bekommen Einleitung Diese Arbeit besch ftigt sich mit Kulturarbeiten an Zierpflanzen da dieser Bereich bisher kaum beachtet wurde Das Beispiel der Ernte von Bl tenstielen stellt dabei ein grunds tzliches Modell dar welches auch als Ansatz f r andere Verfahren wie der Ernte von Stecklingen verwendet werden k nnte Literatur bersicht 2 Literatur bersicht 2 1 Einleitung In der Literatur werden zahlreiche Arbeiten zur Automatisierung von Arbeitsabl ufen im Gartenbau und der Landwirtschaft beschrieben Ein Kennzeichen pflanzlicher Objekte ist die Variabilit t Die unterschiedlichen Individuen unterscheiden sich teilweise stark voneinander selbst innerhalb ein und derselben Pflanzenart Betrachtet man ein einzelnes Individuum va riiert der Habitus im Zeitverlauf und ist au erdem stark von u eren Einfl ssen abh ngig Aus diesen Gr nden sind Automatisierungsvorg nge oft komplex und ben tigen objektab hangige Entscheidungsregeln Um die Eigenschaften eines Objektes zu erfassen sind Sensoren notwendig In den meisten F llen kommen dabei Kameras zum Einsatz Automatisierungsvorg nge k nnen dann weiter unterschieden werden in solche bei denen die gewonnenen Informationen ledigli
149. iden Bildern gleich e Ist die Anzahl erkannter Bl tenstiele gleich der theoretisch angenommenen Ernte der Bliitenstiele ee ee es ees I Seiner 159 Ernte der Bliitenstiele Abbildung 7 23 Gesamternteablauf a Ausgangsituation Pflanze mit beiden Bliitenstie len b Programmoberfl che Erkennung der Bl tenstielobjekte und Berechnung der dreidimensionalen Informationen c Pfadplanung f r Erntevorgang der erste Bl ten stiel konnte in dieser Position nicht geerntet werden siehe auch Abbildung 7 19 d geernteter Bl tenstiel kurz nach der Ernte e Erkennung und dreidimensionale Berech nung in n chster Position f Pfadplanung f r Erntevorgang zweiter Bl tenstiel g geern teter Bl tenstiel kurz vor der Ablage h Kontrollaufnahmen zur berpr fung des Erntevorgangs 7 3 Ergebnisse der Ernteversuche Der entwickelte Ablauf zur vollautomatischen Ernte aller Bl tenstiele einer Pflanze wurde an einem Testdatensatz von insgesamt 76 Pflanzen getestet Dies waren alle beerntbaren Pflan zen des zum Zeitpunkt der Ernteversuche vorgehaltenen Satzes Gerbera Der Testdatensatz setzte sich aus 40 Exemplaren der Sorte Cornice und 36 Exemplaren der Sorte Arobella zusammen Insgesamt waren 232 Bl tenstiele vorhanden welche geerntet werden sollten dies entspricht einem Mittelwert von etwa 3 Bl tenstielen je Pflanze Die Verteilung der Anzahl an Bl tenstielen je Pflanze m Testdatensatz zeigt Abbildung 7 24 30 25
150. ie als durch Bl tenstielkanten verursacht klassifizierten Maxima als Grundlage f r eine Schwellenwertoperation auf die urspr nglichen Kantenrich tungsbilder verwendet Es wurde ein Bereich von 30 Grad um die Maxima ausgew hlt so dass auch etwas st rker gekr mmte Bl tenstiele bei der Schwellenwertoperation vollst ndig erfasst wurden Dieser Bereich wurde nach Analyse von Bildern mit st rker gekr mmten Bl tenstielen festgelegt Ergebnis dieser Schwellenwertbildung waren Regionen paralleler Bl tenstielkanten Hp wel che jeweils einer potentiellen Bl tenstielregion Hg aus Hg zugeordnet waren 107 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bliitenstielen 14 60 50 40 H ufigkeit Maximum Maximum 270 Kantenrichtung der Bildpunkte Grad Abbildung 6 17 Ermittlung parallel verlaufender Bl tenstielkanten ber die H ufiskeitsverteilung der richtungscodierten Kantenpixel Aus dem eingeschr nkten Ausgangsbild a werden die Kanten b extrahiert Dabei werden auch die Richtungen der einzelnen Kantenpixel ermittelt c zeigt einen vergr erten Ausschnitt Anhand der H ufiskeitsverteilung der Kantepixel d werden parallel verlaufende Kanten e ermit telt Die gestrichelten Linien in d begrenzen die Bereiche um die Maxima welche den parallelen Kanten zugeordnet werden 108 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bliitenstielen
151. ielbereichen geh rten Um diese St rungen zu reduzieren wurden Regionen unterhalb einer definierten H he Anzahl Zeilen m Anschluss an die eigentliche Klassifikation der Sehnen entfernt siehe Abbildung 6 13 Um eine gewisse Unabh ngigkeit von der Aufl sung zu erreichen wurde diese H he in Pixel nicht fest defi n ert sondern n Abh ngigkeit von der H ufigkeitsverteilung der Sehnenl ngen bestimmt Als Bestimmungskriterium f r die maximal zul ssige H he der Region in Pixel wurde die L nge der am h ufigsten vorkommende Sehnenl nge innerhalb der Verteilung verwendet Diese sollte den berlegungen zufolge in etwa der Breite des Bl tenstiels entsprechen und relativ niedrige Werte mit geringen Schwankungen aufweisen Alle Teilregionen mit einer H he kleiner oder gleich dieses Wertes der Breite wurden entfernt Dieses Verfahren wird im weite ren als St rungsreduzierung bezeichnet 97 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bliitenstielen Abbildung 6 13 Reduzierung der potentiellen Bliitenstielregion auf schmale Bereiche Links Ausgangsregion Mitte Klassifikation der Sehnenl ngen auf der Basis der H u fiskeitsverteilung Rechts St rungsreduzierung F r die d skr minanzanalytischen Methoden wurden die Originaldaten ohne Gl ttung verwen det Zun chst wurden Parameter f r die Diskriminanzanalyse ermittelt Diese sollten die jeweils zu klassifizierende Sehne m glichst in Beziehung zur
152. ielpunkt kommen verschiedene Bewegungsarten in Frage Sie unterscheiden sich in der F h rung der Werkzeugspitze des Roboters bzw der Bahn welche die Werkzeugspitze auf ihrem Weg beschreibt Die folgenden Bewegungsarten stellen die grundlegendsten Methoden dar a Gelenkinterpolation Bei Bewegungen mittels Gelenkinterpolation werden die Roboterachsen unabh ngig vonein ander so bewegt dass die Werkzeugspitze von der Konfiguration des Startpunktes in die des Endpunktes bewegt wird Die Bahn der Werkzeugspitze ist dabei nicht definiert Diese Art der Bewegung wird auch als Punkt zu Punkt Steuerung PTP Point To Point bezeichnet AHRENS 1990 b Linearinterpolation und Kreisinterpolation Im Bahnbetrieb mit Linearinterpolation werden die Achsen des Roboters so gesteuert dass die Werkzeugspitze auf einer Geraden im Raum zwischen Startpunkt und Endpunkt entlang f hrt Die Orientierung des Werkzeuges bleibt dabei w hrend der Bewegung im Allgemeinen konstant Bei der Kreisinterpolation wird die Werkzeugspitze kreisbogenf rmig entlang einer vordefi nierten Zwischenposition verfahren Die Werkzeugspitze bewegt sich also auf einer Kreis bahn 56 Grundlagen Beide Steuerungsarten k nnen unter dem Begriff Bahnsteuerung CP Continuous Path oder Controlled Path zusammengefasst werden da sich die Werkzeugspitze auf einer definierten Bahn bewegt AHRENS 1990 Der Vorteil der Gelenkinterpolation besteht dar n dass eine Bew
153. ierung kollinearer Punkte Die Hough Transformat on ist ein Verfahren bei dem in bestimmten Bildausschnitten linien artige Strukturen identifiziert werden k nnen Das Verfahren basiert auf der Suche nach kolli nearen Bildpunkten also Bildpunkten d e ann hernd auf einer Geraden liegen Linien werden in Hessescher Normalform d h durch Richtung und L nge ihres Normalenvektors repr sen tiert Bei der Suche nach Linien mit der Hough Transformation muss die Genauigkeit f r die Bestimmung der Winkel also der Orientierung einer Linie angegeben werden Die Hough Transformation liefert dann f r alle m glichen Linien im gew hlten Raum die Anzahl Punkte durch die eine Linienhypothese gest tzt wird Es ist somit m glich einen Schwellenwert zu setzten um Linien mit einer geringen Wahrscheinlichkeit auszuschlie en Im Rahmen dieser Arbeit wird die Ermittlung von Geraden mittels Hough Transformation wie folgt definiert f r weitere Details sei auf HABER CKER 1987 und MVTEC 1999 verwie sen 24 Grundlagen Q H s H 4 24 Eingabeflache Punktmenge O Winkelaufl sung fiir die Hough Transformation Ss Schwellenwert fiir minimale Anzahl kollinearer Punkte H Ergebnismenge Punktmengen mit identifizierten Linien Quit Hough Transformation zur Ermittlung linienartiger Strukturen in der Eingabepunkt menge Die Anwendung der Hough Transformation auf eine Punktmenge ist beispielhaft in Abbildung 4 3 dargestellt
154. ildverarbeitung Es stellt eine Biblio thek von ber 900 Operatoren bereit welche unter C implementiert werden k nnen Die bereitgestellten Operatoren decken ein breites Spektrum ab w e z B Bildaufbereitung Seg mentierung Kamerakalibrierung Hand Auge Kalibrierung Farbbildanalysen siehe hierzu auch RATH 1997 Zur Unterst tzung der verwendeten Framegrabber Karten wurde ein spe zielles Interface entwickelt Halcon stellt dar ber hinaus auch eine Oberfl che mit dem Namen HDevelop MVTEC 2001 zur Verf gung welche zur schnellen Entwicklungen von Bildverarbeitungsapplikationen verwendet werden kann HDevelop wurde im Zuge der Arbeit h ufig zun chst bei der Ent wicklungen einzelner Teile des Bildverarbeitungsalgorithmus verwendet So entwickelte Abl ufe konnten mit relativ geringem Aufwand in das eigene C Programm bertragen werden da die verwendeten Funktionen vom Grundaufbau her sehr hnlich sind F r komple xere Applikationen welche auch die Interaktion mit anderen Bauteilen der Versuchsanlage beinhalten war HDevelop jedoch nicht geeignet 5 2 2 Software f r statistische Auswertungen F r statistische Auswertungen wurden The SAS System 8 SAS INSTITUTE 1999 sowie Analyse it 1 67 ANALYSE IT SOFTWARE 2003 verwendet Analyse t wurde neben The SAS System 8 f r deskriptive Analysen verwendet SAS wurde neben deskriptiven Verfahren ins besondere f r komplexere Verfahre m Rahmen diskriminanzanalytischer Methoden
155. ination von Gelenkstellungen der Roboterachsen sein um die gew nschte Stellung zu erreichen da die Microb Bibliothek eine analytische L sung ermittelte siehe auch Kapitel 5 Die Gelenkstel lungen wurden sowohl in der f r die Roboteransteuerung notwendigen Notation in Grad als auch normiert f r die Verwendung in der MPK Bibliothek zur ckgegeben F r die weiteren Berechnungen wurden zun chst die einzelnen Elemente der Versuchsanlage und der Pflanze aufgrund der berechneten Daten zu einem Gesamtmodell zusammengef hrt Alle Einzelkomponenten wurden in Relation zum Weltkoordinatensystem positioniert wel ches durch die Kalibrierung festgelegt wurde Dazu wurden die Daten der verschiedenen Ausgangsquellen zu einem Gesamtmodell kombiniert Abbildung 7 4 Gerberamodell aus Bildverarbeitung Komponenten der Versuchsanlage durch Vermessung Robotermodell aus Hersteller informationen Modell der Gesamtanlage mit Gerberapflanze im Open Inventor Format Lage und Orientierung des Weltkoordinaten systems aus Kalibrierung Relative Position des Roboters aus Systemkali brierung Relative Position der Kameras aus Systemkali brierung Abbildung 7 4 Generierung eines Gesamtmodells aus Einzelkomponenten radial ange ordnete Symbole 136 Bl tenstielpunkte B Erntepunkt ermitteln prim r oder sekund r Vorerntestellung gefunden oder Linearachse an Endposition Transformation des Erntepunktes
156. kt von auf g Ar Punkte auf g u skalarer Faktor X und X bzw X und X entsprechen m und O bzw m und Ox vergleiche Abbildung 4 14 A und u k nnen ermittelt werden durch XX OS S SSS bzw _ XX SSS SSS 4 53 SESS SSS SY l Xh X2 Punkte auf g X1 X2 Punkte auf g S D Xo X bzw Xo Xr Durch Einsetzen in 4 50 und 4 51 erh lt man X und X Der Mittelpunkt zwischen beiden ergibt s ch dann aus 47 Grundlagen M 0 5 X X 4 54 M Mittelpunkt zwischen den beiden LotfuBpunkten XX LotfuBpunkte von auf g und g Abbildung 4 14 Schematische Darstellung der Triangulation M Punkt im dreidimensionalen Raum 7 7 Bildebene der linken bzw rechten Kamera g g Sehstrahlen der Projektion der beobachteten Punkte in der linken und rechten Kamera l Lotgerade der beiden Sehstrahlen X X Projektionszentrum der linken bzw rechten Kamera X2 X gt Schnittpunkt der Sehstrahlen mit der linken bzw rechten Kamera 4 3 Klassifikation von Objekten Statistik 4 3 1 Allgemeines Im Rahmen dieser Arbeit sollten innerhalb der Bildverarbeitung die Bl tenstielteile identifi ziert werden Ausgehend von einer Menge von Objekten im Bild die auf die verschiedenste Art und Weise ermittelt wurden sollten die Objekte erkannt werden welche Teile der Bl ten stiele waren Dazu wurde die Klassifikation eingesetzt 48 Grundlagen Die Aufgabe der Klassifik
157. kte Bl tenstielregion Amp Pr A A B 6 9 Berechnung dreidimensionaler Informationen und Modellierung der Pflanze F r die Ermittlung dreidimensionaler Informationen und der Erstellung eines r umlichen Modells der Gerbera wurden die Informationen der Bilder beider Kameras verwendet Zun chst wurde der beschriebene Algorithmus eingesetzt um die Bl tenstielobjekte Hgo und deren Mittelachsen Sgo in beiden Bildern zu identifizieren 6 9 1 Korrespondenzanalyse Das verwendete Verfahren zur Zuordnung korrespondierender Bildpunkte gliederte sich in zwei Schritte zun chst wurden einander entsprechende Bl tenstielobjekte in den beiden Bil dern zugeordnet und dann innerhalb dieser Objekte korrespondierende Bildpunkte ermittelt Zuordnung der Bl tenstielobjekte Die Zuordnung der Bl tenstielobjekte erfolgte alleine aufgrund der Reihenfolge der Objekte in den Bildern Dazu wurde der Schwerpunkt Qs der Bl tenstielregionen Hgo bestimmt und die Reihenfolge der Objekte von rechts nach links anhand der Spaltenkoordinaten des Schwerpunktes ermittelt Dieses Verfahren setzte die Annahme voraus dass in beiden Bildern 120 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bliitenstielen die gleichen Objekte erkannt wurden Aus diesem Grunde wurden die Berechnungen abgebrochen wenn n beiden Bildern eine unterschiedliche Anzahl Bl tenstielobjekte erkannt wurde Schwerpunkt Schwerpunkt Schwerpunkt lielobjekt S
158. ktor s 57 52 maximale L nge Pfad potentieller Punkte zu sicheren Punkten H Ergebnisfl che Punktemenge Ocm Generierung von H aus A mit s und Nach der Generierung einer Punktemenge aus Grauwertbildern k nnen zahlreiche Verfahren zur Bearbeitung dieser Punktemengen eingesetzt werden Die wesentlichen in dieser Arbeit verwendeten sind im folgenden beschrieben Unter Verwendung affiner Abbildungen ist es m glich Punktemengen zu drehen und zu ver schieben Drehungen um beliebige Winkel erfordern Interpolationsverfahren die das Ziel 16 Grundlagen haben den Bildzusammenhang in der bin ren Bildmatrix aufrechtzuerhalten Die folgende Definition beschreibt eine Drehung einer Punktmenge um einen definierbaren Mittelpunkt F r die Anwendung der affinen Transformation m ssen die Zeilen der Matrix als x Koordi naten und die Spalten als y Koordinaten interpretiert werden Dies ist notwendig um ein rechtsh ndiges Koordinatensystem das f r die homogenen Transformationsmatrizen ange nommen wird f r das Bild zu erhalten siehe MVTEC 1999 Die folgende Definition erfolgt in Anlehnung an RATH 1997 ya H m y H ro 4 4 H Eingabefl che Punktemenge m Mittelpunkt der Drehung y Drehwinkel Anew Ergebnisfl che Punktemenge Opa Drehung durch affine Abbildung Drehung von H mit 7 Wichtige Operationen der Bin rbildverarbeitung sind Verfahren welche die Ausgangsdaten unter Verwendung struktu
159. l tenstiele an der Pflanze ab So konnten bei Pflanzen mit ein bis zwei Bl tenstielen 98 aller Bl tenstiele geerntet werden bei Pflanzen mit f nf und mehr Bl tenstielen nur noch 51 Der Bereich der Bildverarbeitung und die Module zur Pfadplanung und Ansteuerung der Roboter sind mit Modifikationen prinzipiell einsetzbar eine bertragung auf die Bl tenstiel ernte bei anderen Kulturen mit hnlichen Randbedingungen ist denkbar Schlagworte robotisierte Ernte Bildverarbeitung Gerbera jamesonii Abstract Model based robotic control for horticultural plant production based on image processing by using Gerbera jamesonii as model plant A system for automatic harvesting of Gerbera jamesonii cut flowers was developed using image processing The plants were presented in front of a stereo camera system with high resolution CCD cameras and near infrared filters on a swiveling pallet In the experiments eight images per plant were taken from different viewpoints The developed images processing algorithm identifies flower stem objects in images Based on this data three dimensional models of the plant where computed Results show that in 72 of the images all flower stems were identified correctly Looking at the whole image series of eight pictures per plant in 97 of the series in at least one oft the stereo image pairs all flower stems were completely identified For harvesting process of flower stems an industrial robot with six axe
160. l tenstielobjekte mehr gefunden wurden Dies stellte gleichzeitig das Ende der Suche nach Bl tenstielobjekten dar Die ermittelten Bl tenstielobjekte wurden dann f r die Weiterverarbeitung gespeichert Abbildung 6 25 114 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bl tenstielen Eingabe Unverzweigte Einzelregionen Hyg parallele Kanten Hp schmale Regionen Hg Linienartige Strukturen ermitteln durch Anwendung der Hough Transformation Eingabe ist Skelett der schmalen Regionen Hy Hough 2 Hs Hpr bestimmen mit Hpr i Hygi Hp jede Region Apr korrespondiert zu einer Region Hyg F r jede Einzelregion der parallelen Kanten Apr aus Hpr obere Apro und untere Hpry Teilregion bestimmen je 50 Punkte F r jede obere und untere Teilregion Regressionsgerade ermitteln lon Fro pro i bzw lu Uec Apzo i Aus jeder Gerade Strecke bilden mit Start und Endpunkt Startpunkt sto stu oberer bzw unterer Schnittpunkt mit konvexer H lle von Hpro i bzw Hpry j Endpunkt sto stu Punkt auf Geraden mit Abstand gleich L nge der Gesamtregion Apr L nge der Gesamtregion Oberster Punkt bis unterster Punkt Schleife solang berschneidung der Houghlinien mit unverzweigten Einzelregionen IpHyar N Hur gt 0 Region Hgo ermitteln mit gr ter Schnittfl che max Ip Hyr N Hue Houghlinien Startregion f r Bl tenstielobjekte
161. lagenkomponenten und die notwendigen Warte zeiten ben tigt wurden waren deutlich h her Dazu geh ren die Zeiten f r das Anfahren der Paletten mit den Pflanzen das Ausheben und Drehen der Paletten die Wartezeiten bis Schwingungen der Pflanze gering waren sowie d e Zeiten f r Bewegungen der Roboter und die Berechnung der Bewegungen mit den Steuereinheiten der Roboter Diese Zeiten waren insgesamt deutlich h her als die Zeiten welche durch die entwickelte Software verursacht wurden Insgesamt wurden bis zu 10 Minuten f r einen Erntevorgang einer kompletten Pflanze aufgewendet Diese langen Zeiten sind jedoch auch durch die relat v langsamen Bewegungsgeschwindigkeiten der Roboter n den Versuchen zu erkl ren Daraus wird klar dass die Zeiten f r die Softwareberechnungen deutlich geringer waren als die brigen 165 Diskussion 8 Diskussion 8 1 Bildverarbeitung 8 1 1 Gesamtpflanzenerkennung und Identifizierung potentieller Bl tenstielregionen Das verwendete Verfahren zur Identifizierung der Pflanze m Bild mittels Schwellenwertbil dung ist als vergleichsweise einfach einzustufen Einfach deshalb da mit konstanten Schwel lenwerten bei gleichbleibenden Belichtungsverh ltnissen gearbeitet wurde F r ein reales Szenario unter Praxisbedingungen m sste man mit nat rlichen und damit auch schwankenden Belichtungsbedingungen rechnen Unter nat rlichen Strahlungsbedingungen w re eine andere Beleuchtung und oder ein adaptiv
162. le Abbildung 7 7 Vergleich der geplanten Bewegungspfades ohne links und mit rechts Pfadglattung Gelb dargestellt ist der Pfad auf dem der Greifer vom Start zum End punkt bewegt wird kollisionsfreie Vorerntestellung Pfadplanung und Pfadgl ttung soweit m glich Linearachse an errechnete aktuelle Roboterstellung lesen a Einzelstellungen der Pfadplanung schrittweise mittels Gelenkinterpolation Pfad gefunden anfahren Abbildung 7 8 Ablauf Pfadplanung und Roboteransteuerung 139 Ernte der Bliitenstiele Die ermittelten Informationen wurden dann zur Ansteuerung des Roboters verwendet Der Roboter wurde dabei schrittweise zum berechneten Schnittpunkt gesteuert Zu Beginn befand sich der Roboter in der Ruhestellung fiir die Bildaufnahme Zun chst wurde die Linearachse an die ermittelte Position gefahren Die so erreichte Stellung stellte die Ausgangsstellung des bei der Pfadplanung errechneten Pfades dar Dann wurden die einzelnen bei der Pfadplanung ermittelten Zwischenpositionen der Reihe nach angefahren siehe Abbildung 7 9 Dabei wurden zun chst die Gelenkstellungen der Zwischenposition als Roboterpositionen definiert und diese Positionen dann Schritt f r Schritt mittels Gelenkinterpolation angefahren Am Ende dieses Bewegungsablaufs befand sich der Roboter dann in der ermittelten Vorernteposition 140 Ernte der Bliitenstiele Abbildung 7 9 Bewegungsablauf basierend auf dem Ergebnis d
163. le der Bl tenstiele erstellt Die br gen Teile der Pflanze wurden verein facht modelliert In den Versuchen konnte bei 72 aller Aufnahmen alle Bl tenstiele 1m Bild korrekt erkannt werden Betrachtet man die gesamte Aufnahmeserie der jeweiligen Pflanze so wurden in 97 aller F lle in mindestens einer Aufnahmeposition alle Bl tenstiele der Pflanze in beiden Bildern erkannt F r die Ernte der Bl tenstiele wurde ein Industrieroboter mit sechs Achsen eingesetzt wel cher zus tzlich auf einer Linearachse montiert war F r d e Ernte wurde ein pneumatischer Greifer entwickelt welcher die Bl tenstiele durch Schnitt ernten konnte F r den Erntevor gang wurden zun chst die Ergebnisse de Bildverarbeitung aus den acht unterschiedlichen Positionen ausgewertet um m glichst in mindestens einer Position alle Bl tenstiel erkennen zu k nnen Basierend auf diesen Ergebnissen wurde die Ernte schrittweise durchgef hrt wenn n tig mit unterschiedlichen Positionen der Pflanze Um einen kollisionsfreien Bewe 183 Zusammenfassung gungspfad des Roboters f r die Ernte zu erm glichen wurde ein Pfadplanungsmodul integ riert welches die dreidimensionalen Modell der Pflanze und der Versuchsanlage beinhaltete Um m glichst lange Bl tenstiele zu ernten wurde zus tzlich ein Algorithmus zur Stielver folgung implementiert welcher zur Vorhersage des weiteren Verlaufs des Bl tenstiels im nicht sichtbaren weil durch Bl tter verdeckten ba
164. lstellen mittels einer Grauwertkamera und Schwellenwertbild ermittelt H henunterschiede der Oberfl che wurden durch zus tzlichen Einsatz eines Infra rotlasers und Bestimmung der Reflektionsposition einer Kamera bestimmt Leere Zellen n den Kulturbeh ltern konnten zu 95 korrekt erkannt werden Verpflanzmaschinen unter Einsatz von Bildverarbeitung werden bereits industriell eingesetzt z B VISSER 2000 2 5 Gesamtbetrachtung der Praxistauglichkeit Bei den vorgestellten Arbeiten mit Ausnahme der Verpflanzmaschinen und einem Roboter zur Automatisierung der Gewebekultur handelt es sich ausnahmslos um Forschungsprototy pen Keines der beschriebenen Ger te hat bisher den Schritt in die regul re gartenbauliche Praxis erreicht Bei vielen Systemen wurde dar ber hinaus keine Information ber die tat s chliche Funktionalit t und den m glichen praktischen Einsatz dargestellt 10 Ziele der Arbeit 3 Ziele der Arbeit Das Ziel dieser Arbeit war die Entwicklung eines Gesamtsystems zur automatisierten Ernte von Bl tenstielen mit Hilfe eines neuen methodischen Konzeptes Das System sollte mit neuen Konzepten dazu beitragen den Einsatz von autonomen Robotersysteme m intensiven Pflanzenbau voranzutreiben Als Modellpflanze wurde dabe zun chst Gerbera jamesonii gew hlt da d e Bl tensteile der Gerbera deutlich abgehoben ber der Pflanze stehen und somit eine einfachere Erkennung erwarten lie en Die Entwicklung l ss
165. lung ermitteln Nur Maxima bernehmen welche eine Partnermaximum mit einer Richtungsdifferenz von 180 4 Grad aufweisen In der folge nur Betrachtugn von Paaren Nur Paare bernehmen mit l min gt 1 99 und 2 Ny gt 0 88 Schwellenwertoperation auf Kanterichtungsbild anwenden auf Basis der Kantenrichtungen der bernommenen Maximapaare bernommen werden nur Kantenpunkte deren Richtung r 30 Grad um eines der ermittelten Maxima liegt Ap 2c C s mit s r 30 und s r 30 Regionen mit parallelen Bl tenstielkanten Hp Abbildung 6 16 Ablauf der Ermittlung Paralleler Bl tenstielkanten 106 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bl tenstielen Tabelle 6 3 Ergebnisse der Klassifikation der Maxima Paare unter Verwendung ver schiedener Klassifikationsmethoden Korrekte Klassifikation in Gruppe Maximum Paar nicht Maximum Paar verursacht verursacht durch Bl ten Klassifikationsmethode durch Bl tenstielkanten stielkanten Sensitivit t Spezifit t Verwendung von Entscheidungs 99 96 regeln mit festen Schwellenwerten Lineare Diskriminanzanalyse 100 87 Quadratische Diskriminanzanalyse 96 96 k N chste Nachbarn Methode 100 96 k 1 Gesamtzahl Paare je Gruppe 221 23 Die k N chste Nachbarn Methode wurde mit unterschiedlicher Anzahl Nachbarn 1 3 5 7 9 getestet Die besten Ergebnisse wurden mit k 1 erzielt F r die weitere Verarbeitung wurden d
166. m glich und handelte es sich bei der angesteuerten Position um den prim ren Schnittpunkt so wurde in einem zweiten Versuch probiert den sekund ren Schnittpunkt anzusteuern Dann wurde zun chst mittels Pfadplanung ein kollisionsfreier Pfad zur Vorerntestellung des sekund ren Schnittpunkte berechnet da sich d e Vorerntestellung des sekund ren Schnittpunktes geringf gig von der des prim ren unterschied siehe auch Abbildung 7 3 War eine Bewegung zu dieser Vorerntestellung m glich so wurde dann ver sucht von dort aus den sekund ren Erntepunkt mittels Linearinterpolation anzusteuern War auch dies n cht m glich so wurde der Ernteversuch f r den betrachteten Bl tenstiel abgebrochen die weitere Vorgehensweise im Zusammenhang mit dem gesamten Ernteablauf wird in Kapitel 7 2 beschrieben Abbildung 7 11 Roboter in Vorerntestellung links und in prim rer Erntestellung nach Linearbewegung rechts 7 1 5 Algorithmen zur Stielverfolgung Der m vorherigen Punkt angesteuerte Schnittpunkt f r die Ernte basierte allein auf dreidi mensionalen Informationen welche aufgrund der Ergebnisse der Bildverarbeitung ermittelt wurden Da der Bildverarbeitungsalgorithmus alle n Bl tenstielbereiche oberhalb der Ober kante der Hautpflanze fand lag auch dieser Schnittpunkt relativ we t oben Somit h tte eine 143 Ernte der Bliitenstiele Ernte an diesem Punkt bedeutet dass ein recht gro er Teil des Bliitenstiels stehen
167. male rote Bereich oberhalb des Hauptpflanzenzylinders griin stellt den Sicher heitsbereich fiir die Ansteuerung dar Der Roboter befindet sich in der Ruhestellung fiir die Bildaufnahme Rechts im Bild sind die beiden Kameras in Stereoanordnung zu sehen Die Positionen der einzelnen Komponenten im Modell basieren auf den Ergebnissen der Systemkalibrierung ccccccseeeececceceeeeeeeeeaeaeseeeessesssseseeeeeeeeseeees Abbildung 7 3 Schematische Darstellung des prim ren und sekund ren Erntepunktes an einem Bl tenstiel sowie der jeweils dazugeh rigen Vorerntestellung des Roboters V und Vz sind die Vektoren vom Erntepunkt zur entsprechenden Vorerntestellung Abbildung 7 4 Generierung eines Gesamtmodells aus Einzelkomponenten radial ange ordnete oy MDOE ae ee Abbildung 7 5 Ablauf Ermittlung m glicher Achsenstellungen f r einen Erntepunkt Abbildung 7 6 Visualisierung einer als kollisionsfrei berechneten Vorerntestellung f r den Roboter 2 se een Abbildung 7 7 Vergleich der geplanten Bewegungspfades ohne links und mit rechts Pfadgl ttung Gelb dargestellt st der Pfad auf dem der Greifer vom Start zum Endpunkt BOW eC OU WII Abbildung 7 8 Ablauf Pfadplanung und Roboteransteuerung eeeeeeeeennnneeeeenn Abbildung 7 9 Bewegungsablauf basierend auf dem Ergebnis der Pfadplanung in der Computersimulation links und Umsetzung als realer Bewegungsablauf rechts
168. mensionaler Punkte M in homogenen Koordinaten Pi perspektivische Projektionsmatrix A Matrix der inneren Kameraparameter Grundlagen m Punkt m in homogenen Koordinaten im Pixelkoordinatensystem 4 2 2 3 Radiale Verzerrung Das bisher vorgestellte Kameramodell ist lediglich eine Approximation der realen Kamera projektion Es erm glicht eine einfache und lineare mathematische Formulierung f r die Beziehung zwischen Objekt und Bildkoordinaten In der Praxis wird dieses Modell jedoch meist durch geometrische Verzerrung der Linsen n der Kamera eingeschr nkt Die geometri sche Verzerrung beeinflusst die Position des Bildpunktes in der Bildebene Das Ergebnis sol cher Verzerrungen sind Abbildungsfehler des optischen Systems Sollen genaue Messungen mit Kameras durchgef hrt werden so m ssen diese Effekte ber cksichtigt werden Es wird zwischen radialer und tangentialer Verzerrung unterschieden SLAMA 1980 Laut TSAI 1987 ist es f r industrielle Anwendungen ausreichend die radiale Verzerrung zu beachten Die rad aler Verzerrung verursacht laut WENG et al 1992 eine Verschiebung der Bildpunkte welche symmetrisch n Bezug auf den Hauptpunkt c des Bildes ist Eine negat ve rad ale Verzerrung der Bildpunkte wird auch als tonnenf rmig bezeichnet eine positive als kissenf rmig Die Auswirkungen radialer Verzerrung sind in Abbildung 4 11 dargestellt Position mit Verzerrung s cj e e e _ Position ohn
169. mposium Bielefeld in SAGERER G S POSCH und F KUMMERT Hrsg Mustererkennung 1995 S 481 491 Informatik aktuell Springer Verlag Berlin 188 Literaturverzeichnis LANSER S und C ZIERL 1995 Robuste Kalibrierung von CCD Sensoren fiir autonome mobile Systeme In Dillmann R R Rembold und T L th Hrsg Autonome Mobile Systeme 1995 172 181 Informatik Aktuell Springer Verlag Berlin LATOMBE J C 1991 Robot Motion Planning Kluwer Academic Publishcers Norwell Massachusetts LENZ R 1987 Linsenfehlerkorrigierte Eichung von Halbleiterkameras mit Standardobjektiven f r hochgenaue 3 D Messungen in Echtzeit Mustererkennung 1987 9 DAGM Symposium Braunschweig 29 9 1 10 1987 Informatik Fachbericht 149 Springer 2 12 2116 LOWE D G 1987 Three Dimensional Object Recognition from Single Two Dimensional Images Artificial Intelligence 31 3 355 395 MATROX 2002 Matrox Meteor II Digital Installation and Hardware Reference Matrox Electronic Systems Ltd Dorval MATSIKIS A 2005 Bildgest tztes Teach In eines mobilen Manipulators in einer virtuellen Umgebung Dissertation Fakult t f r Elektrotechnik und Informationstechnik Rheinisch Westf lischen Technischen Hochschule Aachen MCFARLANE N J B 1993 Image guidance for robotic harvesting of micropropagated plants Computers and Electronics n Agriculture 8 1993 43 56 MICROSOFT 2001 Visual C 6 0 ht
170. mst ndlich auf diese Weise konnten jedoch die Funktionen der Microb Bibliothek zur Bestimmung der inversen Kinematik genutzt werden welche sich in Vorversuchen als robust und schnell erwiesen hatten Es muss jedoch angemerkt werden dass be bestimmten Kons tellationen aufgrund der Schrittweite zwischen zwei Linearachsenstellungen mit diesem Ver fahren eventuell keine m glich Konfiguration ermittelt wurde Eine direkte Verbesserung k nnte durch eine Verringerung der Schrittweite der Linearachsenstellung erreicht werden Die beobachteten Ergebnisse geben dazu jedoch keinen Anlass Das eingesetzte Verfahren der MPK Bibliothek zur Pfadplanung in Verbindung mit den errechneten Modellen arbeitete fehlerfrei und z gig auch in vermeintlich komplizierteren S tuationen bei denen mehrere Bl tenstiele eng beieinander lagen Des weiteren f hrte die Pfadgl ttung in den meisten F llen zu einem optimierten Bewegungspfad Ein Vorteil des eingesetzten Pfadplanungsmoduls ist die einfache bertragbarkeit auf andere Situationen und Modelle Au erdem ist die MPK Bibliothek auch in der Lage die Bewegun gen mehrerer Roboter simultan zu planen selbst bei sich berschneidenden Arbeitsbereichen Bei der verwendeten Versuchsanlage k nnte demzufolge auch der zweite Roboter in die Ansteuerung mit einbezogen werden Ein dreidimensionales Modell des zweiten Roboters 1m Open Inventor Format wurde parallel zu dem des verwendeten Roboters bereits erstellt 1
171. n links in unverzweigte Einzelregionen rechts Die einzelnen Laufl ngen werden zeilenweise auf Nachbarseh nen in den benachbarten Reihen untersucht Teilsehnen gleicher Farbe im rechten Bild werden einer gemeinsamen Region zugeordnet Die Vorgehensweise ist in Abbildung 6 9 dargestellt F r alle Sehnen einer Zeile wurde nach benachbarten Sehnen n der oberhalb liegenden Zeile gesucht Genauer gesagt wurde nach benachbarten Bildpunkten gesucht Ein Bildpunkt galt dabei als Nachbar wenn er direkt oberhalb des betrachteten Bildpunktes n der gleichen Spalte lag Bei der Suche wurde also die sogenannte 4er Nachbarschaft verwendet Wurde keine benachbarte Sehne gefunden bildete die betrachtete Sehne den Beginn einer neuen Region Huyg Zuweisung einer eindeutigen Regionen Nummer Wurde eine benachbarte Sehne gefunden so wurde die aktuelle Sehne der Region Hug der benachbarten Sehne zugeordnet Voraussetzung o es gab nur eine Nachbarsehne oberhalb und o es existierten keine weiteren Sehen in der aktuell betrachteten Reihe welche auch zu der oberhalb benachbarten Sehne benachbart war 92 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bl tenstielen Sehnen der potentiellen Bl tenstielregionen Hg j 0 Schleife ber alle Sehnen nein Sehne hat Nachbarsehne in oberhalb liegender Zeile Anzahl Nachbar sehnen in Zeile oberhalb gt 1 Nachbarsehne hat weiter
172. n Aufnahmen aus acht unterschiedlichen Positionen gemacht Der entwickelte Bildverarbeitungsalgorithmus identifizierte Bl tenstielobjekte in den Bildern Aus den Daten beider Bilder wurden dann dreidimensionale Modelle der Pflanze erstellt In den Versuchen konnte bei 72 aller Aufnahmen alle Bl tenstiele im Bild korrekt erkannt werden Betrachtet man die gesamte Aufnahmeserie der jeweiligen Pflanze so wurden in 97 aller F lle in mindestens einer Aufnahmeposition alle Bl tenstiele der Pflanze in beiden Bildern erkannt F r die Ernte der Bl tenstiele wurde ein Industrieroboter mit sechs Achsen eingesetzt wel cher zus tzlich auf einer Linearachse montiert war F r die Ernte wurde ein Greifer entwi ckelt welcher d e Bl tenstiele durch Schnitt ernten konnte F r den Erntevorgang wurden die Ergebnisse der Bildverarbeitung aus acht Positionen ausgewertet um in mindestens einer Position alle Bl tenstiel erkennen zu k nnen Die Ernte wurde schrittweise durchgef hrt wenn n tig mit unterschiedlichen Positionen der Pflanze Zur Realisierung eines kollisionsfreien Bewegungspfades des Roboters f r die Ernte wurde ein Pfadplanungsmodul integriert Zus tzlich wurde ein Algorithmus zur Stielverfolgung implementiert welcher zur Vorhersage des weiteren Verlaufs des Bl tenstiels 1m nicht sichtbaren Teil des Stiels verwendet wurde In Ernteversuchen konnten 80 aller Bl tenstiele geerntet werden Die Ernteraten nahmen mit steigender Anzahl B
173. n Ernte 2 2 1 pfel Bereits 1987 beschrieben GRAND D ESNON et al einen autonomen Roboter zur Ernte von p feln mit der Systembezeichnung Magali Als Bildverarbeitungssystem wurden drei Kameras mit unterschiedlichen optischen Filtern verwendet welche den gleiche Bildausschnitt auf nahmen Nach Verrechnung der Bildinformationen der verschiedenen Aufnahmen wurden die pfel durch Schwellenwertbildung und Weiterverarbeitung der Daten erkannt Der eigent liche Erntemechanismus des Roboters bestand aus einem teleskopartigen Saugrohr welches entlang des Sehstrahls der Kamera gef hrt wurde b s die Frucht eingesaugt wurde Eine Tie fenbestimmung mittels Bildverarbeitung wurde nicht durchgef hrt In Versuchen wurden 50 der Fr chte geerntet Ein weiterer Roboter zu Ernte von pfeln wurde von KASSAY et al 1992 entwickelt Das AUFO 06 genannte System verwendete ein Stereo Farbkamerasystem zu Erkennung und Positionsbestimmung der pfel F r die Ernte konnten bis zu sechs auf einem Grundger st montierte Greifarme eingesetzt werden welche mit pneumatischen Fingergreifern ausgestattet waren Diese Greifarme waren nur in der vertikalen Ebene beweglich Mit dem System wur den 44 der Fr chte geerntet wobei jedoch auch nur insgesamt 55 aller pfel f r das System sichtbar gewesen w ren PETERSON et al 1999 entwickelten einen Prototyp zu Ernte von pfeln Die roten Fr chte wurden durch einfache Schwellenwertbildung in drei Farbbe
174. n ae ee einen 167 81 22 Warallele aM iesene a 167 8 1 2 3 Verkn pfung zu Einzelregionen sseui 169 8 1 3 Ermittlung dreidimensionaler Informationen und Erstellung des 3D Modells 169 Skok K rtespondenzanalvsen esieee ernennen 169 81 3 2 SD Model der PIRA ee a ee Den 171 8 1 4 Interpretation der Ergebnisse der Bildverarbeitung ccccceeeeeeeeeeeeeeeeees 173 8 1 5 Gesamtbetrachtung der Bildverarbeitung 2222220000000seeeeenennennnnnnnnnn 174 82 PC ANAL asien a stent nce deen ieephetnaeenci nm idiotic antes 175 Sak 3D Modellaer Prane visier eek 175 8 2 2 Auswahl des zu emmtenden Bl lensteles asus E E 175 8 2 3 Verfahren zur Berechnung und Ansteuerung des Schnittpunktes 176 82 UE VSTi OUI Eee nee 177 8 2 5 Schnitt und Ablage des Bl tenstiels 2 00 cccccccccecccceeeeeeeeeeeeaseseseeeeeseeees 177 8 2 0 Gesamtablaul der Einlea u 2 8 178 82 PEDE SE ME ao 179 8 29 O10 01 Aspekten 180 8 3 Einselzb rkeit des Systems sun a a a ens 181 8 4 bertragbarkeit auf andere Kulturen unsnnneeseenennnnnnnennnnnennnnnennennennnnnnn 182 9 Zusammen lassung ernennen a 183 10 Weiteratary CPCI CIS ost sen octet die ttt on acd nee ehe 185 Abbildungsverzeichnis Abbildungsverzeichnis Abbildung 4 1 Bildmatrix eines digitalisierten Bildes mit Koordinatensystem 14 Abbildung 4 2 Beispielhafte Anwendung des Kantenoperators anhand eines Gerberabil d
175. n oder keine weitere Posi tion mehr vorhanden war In Abbildung 7 18 sind sechs solcher potentieller Erntepositionen vorhanden In diesen Positionen wurden jeweils zwei Bl tenstielobjekte n beiden Bildern erkannt Zwei Positionen schieden f r die Weiterverarbeitung aus da dort die Anzahl erkannter Bl tenstiele in beiden Bildern ungleich war Zun chst wurde die Pflanze an die erste in Frage kommende Position gedreht Dann wurde eine Programmschleife gestartet welche mittels verschiedener Aktionen und Kontrollmecha n smen die Ernte der Bl tenstiele gew hrleisten aber auch auf Fehler oder Probleme reagie ren konnte Dazu wurden zu Beginn in der aktuellen Position mit beiden Kameras Bilder aufgenommen und die Bl tenstiele in den Bildern identifiziert Wurde in beiden Bildern die gleiche Anzahl Bl tenstiele erkannt so wurde der Vorgang fortgesetzt Da die Bl tenstiele aufgrund leichter Schwankungen in der Belichtung oder durch Restbewegungen der Pflanze nicht immer sofort sicher erkannt wurden wurde der Vorgang der Aufnahme bis zu dreimal wiederholt Wurde in keinem der Versuche die gleiche Anzahl Bl tenstiele in beiden Bilder erkannt so wurde der Vorgang abgebrochen und der Ablauf mit der n chsten Aufnahmeposition fortgesetzt Wurden mehr Bl tenstiele erkannt als dies nach den bisherigen Ergebnissen der Bildverar beitung erwartet wurde so wurde die Anzahl zu erkennender Bl tenstiele heraufgesetzt und davon ausgegangen das
176. nd Machine Vision in Practice Toowoomba Australia September 23 25 1997 60 65 STANFORD UNIVERSITY 2004 Homepage MPK Motion Planning Kit http robotics stanford edu mitul mpk 28 09 2004 STEGER C 1996 Extraction of Curved Lines from Images 13th International Conference on Pattern Recognition Volume 2 251 255 STEINMETZ V M J DELWICHE D K GILES und R EVANS 1994 Sorting Cut Roses with Machine Vision Transactions of the ASAE 37 4 1347 1353 SUBRATA I D M T FUJIURA S NAKAO H YAMADA M HIDA und T YUKAWA 1997 3 D Vision Sensor for Cherry Tomato Harvesting Robot Japan Agricultural Research Quarterly 31 4 257 264 TAI Y W P P LING und K C TING 1994 Machine vision assisted robotic seedling transplanting Transactions of the ASAE 37 2 661 667 THE MATHWORKS 2002 Matlab 6 5 Documentation The Mathworks Inc Natick Massachusetts THEIMAGINGSOURCE 2000 Produkt Information Digital Kameras DxD Serie TheImagingsource Bremen TIETZ H 1979 Einf hrung in die Mathematik f r Ingenieure Band 1 Vandenhoeck und Ruprecht Gottingen TILLETT R D F R BROWN N J B MC FARLANE C M ONYANGO P F DAVIS und J A MARCHANT 1990 Image guided Robotics for the Automation of Micropropagation IEEE International Workshop on Intelligent Robots and Systems 265 270 TIMMERMANS A J M und A A HULZEBOSCH 1995 Computer vision
177. nd sind aufwendigere Sensorsysteme und kompliziertere bildanalytische Verfahren f r die Robotersteuerung notwendig Die Automatisierung von Kulturverfahren nimmt im Gartenbau eine immer wichtigere Rolle ein und die zuk nftige gartenbauliche Produktion wird durch einen hohen Automatisierungs grad gekennzeichnet sein Mit steigendem Kostendruck durch Arbeits und Energiekosten wird neben dem Einsatz einfacher Automaten die Bedeutung komplexer und flexibler Sys teme steigen die station r oder beweglich arbeiten Ein wichtiges Kriterium dabei wird die autonome Arbeitsweise der Systeme sein das hei t die Pflanzenobjekte die eine hohe Varia bilitat und Inhomogenit t aufweisen m ssen individuell erkannt und manipuliert werden Untersuchungen zum mobilen oder station ren Robotereinsatz in Kombination mit Bildverar beitungssystemen existieren im intensiven g rtnerischen Pflanzenbau f r verschiedene Teilbe reiche Die meisten Untersuchungen wurden zur Ernte von Obst und Gem se durchgef hrt Im Bereich des Zierpflanzenbaus liegen bisher fast keine Untersuchungen vor obwohl hier aufgrund des hohen Arbeitseinsatzes bei Vermehrungs und Erntearbeiten zahlreiche Einsatzm glichkeiten denkbar sind Bei den bisherigen Entwicklungen handelt es sich fast ausnahmslos um Forschungsprototypen und keine konnte s ch bisher n der gartenbaulichen Praxis durchsetzen Um den autonomen Einsatz von Robotern in gartenbaulichen Kulturverfahren voranzutre
178. ndung des Algorith mus auf die Beispielaufnahmen aus Abbildung 6 1 F r die Ermittlung eines geeigneten Trennwertes f r die Zuordnung von Segmenten anhand des Kollinearit tswertes wurden 440 Bilder von 55 unterschiedlichen Pflanzen analysiert In jedem Bild wurden m gliche Partnersegmente durch manuelle Bewertung hinsichtlich Ihrer Zusammengeh rigkeit klassifiziert Somit wurden zwei Gruppen von Segmenten gebildet Eine Gruppe mit zusammengeh renden Segmenten und eine mit nicht zusammengeh renden F r jedes Segmentpaar wurde der Kollinearit tswert bestimmt und gespeichert Die Anzahl Eingabepunkte f r die lineare Regression wurde dabei variiert F r die Berechnungen wurden die v er Stufen 25 Punkte 50 Punkte 75 Punkte und 100 Punkte verwendet Als Trennwert wurde f r jede der vier Stufen der Mittelwert der Mittelwerte beider Gruppen ermittelt Der beste Trennwert 1m Sinne eine Fehlerminimierung wurde durch Reklassifikation der Aus gangsdaten ermittelt Da es sich hier nicht um einen grunds tzlichen Methodenvergleich han delte wurden die Ausgangsdaten mit den errechneten Trennwerten klassifiziert und es fand vorher kein Aufspaltung in Test und Trainingsdaten statt Die Ergebnisse der Klassifikation sind in Tabelle 6 4 dargestellt Die beste Klassifikation wurde bei Verwendung von je 50 Pixel fiir die Regression erreicht In diesem Fall wurden 88 der zusammengeh rigen Strecken richtig als zusammengeh rend klassifiziert und 82
179. nis der Stereo Kalibrierung mit der Calibration Toolbox Punkte einer Farbe kennzeichnen die Punkte einer Aufnahme Das Hauptbezugskoordinatensystem ist in dieser Darstellung das Koordinatensystem der linken Kamera Die Achsen der beiden Kamerakoordinatensysteme sind in Blau dargestellt die pyramidalen Strukturen sym bolisieren die Blickrichtung der Kameras 73 Material und Methoden 5 AbschlieBend wurde ausgehend von den errechneten Parametern die Fundamentalmat rix siehe Gleichungen 4 47 und 4 48 errechnet welche sp ter f r die Triangulations berechnungen verwendet wurde 5 3 3 Hand Auge Kalibrierung Ist die Lage eines Objektes n Relation zu den verwendeten Kameras bekannt so ist die Ansteuerung eines Roboters aufgrund der errechneten Informationen nur dann m glich wenn die Lage des Roboters n Relation zur Kamera bzw zum betrachteten Objekt bekannt ist sea TTO hg Ee kam H kalih l kam H kal h Abbildung 5 16 Schematische Darstellung der Konfiguration f r die Hand Auge Kalibrierung mit den beteiligten Koordinatensystemen und der Bezeichnung der Trans formationen zwischen den jeweiligen Koordinatensystemen ver ndert nach MVTEC 2002 Hra Lage und Orientierung des Kalibrierk rpers relativ zur Kamera Hy lt is Lage und Orientierung der Roboterbasis zur Kamera Hwg Lage und Orientierung des Werkzeugs relativ zur Roboterbasis Hyatib Lage und Orientierung des Kal brierk
180. nkte M aus B mit dem gr ten x Wert im Weltkoordinatensystem die x Achse des Weltkoordinatensys tems wies relativ zur Versuchsanlage nach unten also nahmen weiter unten gelegene Punkte positive x Werte an 125 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bliitenstielen welt Ma Xu VuZ mit 6 12 x max x I Konsequenterweise wurde der oberste Punkt M definiert durch welt Mo XoVosZo mit 6 13 x min x Die Unterkante der Hauptpflanze schloss mit der Oberkante der Transportpalette ab auf der die Pflanze positioniert war Die Oberkante der Pflanze wurde definiert durch den untersten Punkt des Bl tenstiels Bei mehreren Bl tenstielen wurde der Punkt des Bl tenstiels verwen det der zur Ernte ausgew hlt war Die Lage des Mittelpunktes des Hauptpflanzenzylinders wurde somit definiert durch X fi vM p M 0 7 6 14 0 welt 9 Ortsvektor des Nullpunktes des Gesamtsystems mit Weltkoordinaten 0 0 0 Xu x Koordinate des untersten Bliitenstielpunktes M welt Mime Ortsvektor des Mittelpunktes der Hauptpflanzen in Weltkoordinaten Da die Basis des Weltkoordinatensystems aufgrund der Kalibrierung nahezu identisch mit dem Mittelpunkt der Palette war auf der die Pflanzen positioniert wurden wurden die y und Z Koordinate gleich Null gesetzt Als Radius fiir die Hauptpflanze wurde eine Konstante von 0 3 m festgelegt Die Lage des Mittelpunktes des Bl te
181. nktes in Pixeleinheiten d d die Gr e eines Bildelementes des CCD Chips m XpVp Koordinaten im Pixelkoordinatensystem F r die Transformation der normalisierten Kamerakoordinaten gilt 37 Grundlagen x X f d X0 Yp Y f d Vo 4 36 XnYn normalisierte Koordinaten des metrischen Kamerakoordinatensystems xo Vo Position des Hauptpunktes in Pixeleinheiten f Brennweite m Xp Yp Koordinaten im Pixelkoordinatensystem Vereinfacht kann man schreiben f f d f F d fc fy k nnen interpretiert werden als die Brennweite der Kamera in Einheiten der horizontalen bzw vertikalen Dimension eines Pixel Gleichung 4 36 kann mit homogenen Koordinaten auch als lineares Gleichungssystem angegeben werden x IE 0 Sl n m y 9 f yoly Am 4 37 Ww 0 0 Ilw m m Punkt m in homogenen Koordinaten 1m Pixelkoordinatensystem p und im normalisierten Kamerakoordinatensystem n A Matrix der inneren Kameraparameter Xs Vax Wa normalisierte homogene Koordinaten des Punktes m Xp Vp Wp homogene Koordinaten des Punktes m in Pixeleinheiten xo yo Position des Hauptpunktes in Pixeleinheiten Te Brennweite der Kamera in Einheiten der horizontalen bzw vertikalen Dimen s on eines Pixel Durch Kombination von 4 34 und 4 37 kann die Transformation eines Punktes M im dreidimensionalen Raum in einen Punkt m in Pixelkoordinaten linear in einem Schritt bestimmt werden m AP M 4 38 M dreidi
182. nterschiedliche Strecken blau berechnet welche auf den Ergebnissen der Regression f r den oberen bzw unte ren Teilbereich rot basierten 112 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bl tenstielen Aus den so berechneten Geraden wurden durch die Ermittlung von Start und Endpunkten auf der Geraden definierte Strecken generiert Als Startpunkt wurde der Schnittpunkt der Geraden mit der konvexen H lle der Eingabepunkte verwendet F r die Ermittlung der Strecke f r den oberen Bereich wurde der oberste Schnittpunkt verwendet f r die Strecke welche den unteren Bereich repr sentieren sollte der unterste Schnittpunkt Ausgehend von diesem Start punkt wurde der Endpunkt in Richtung des gegen berliegenden Endes der Eingaberegion gesucht Dieser Endpunkt wurde definiert als der Punkt auf der Geraden dessen Abstand zum Startpunkt der Lange der Eingaberegion entsprach Als L nge der Eingaberegion wurde der Abstand zwischen oberstem und unterstem Schnittpunkt ver wendet Somit wurden f r jede Ausgangsregion zwei Strecken erzeugt welche im weiteren Verlauf dann als Bas s f r Tests auf Zusammengeh rigkeit mit den oberhalb bzw unterhalb gelegenen Regionen dienen sollten siehe Abbildung 6 21 F r die Tests auf Zusammengeh rigkeit wurde zun chst eine Startregion bestimmt welche als Ausgangsregion f r ein Bl tenstielobjekt diente F r die Bestimmung dieser Ausgangsregion wurde die Hough Transformation ver
183. nzylinders wurde definiert durch 126 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bliitenstielen 0 0 i ve Mp Y 0 05 7 6 15 0 0 Yo y Koordinate des obersten Bl tenstielpunktes M YIM mg Ortsvektor des Mittelpunktes der Bl te in Weltkoordinaten Als Radius f r die Bl ten wurde eine Konstante von 50 mm festgelegt Die einzelnen Objekte wurden mit den berechneten Koordinaten im Open Inventor Format abgespeichert Bl ten und Bl tenstielobjekte wurden dabei in einzelnen Dateien gespeichert um w hrend des Erntevorgangs flexibel Objekte entfernen zu k nnen Die Definition der Hauptpflanze wurde sp ter zusammen mit den Teilen der Versuchsanlage in eine Datei geschrieben Das berechnete Modell ist in Abbildung 6 31 und Abbildung 6 32 dargestellt Abbildung 6 31 Dreidimensionales Modell der Gerberapflanze Der Blickwinkel ent spricht in etwa der Sicht aus Position der linken Kamera 127 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bliitenstielen Abbildung 6 32 Seitenansicht des dreidimensionalen Modells Rechts im Bild sind die beiden Kameras dargestellt 6 10 Ergebnisse des Bildverarbeitungsalgorithmus F r die Bewertung des Bildverarbeitungsalgorithmus wurden die Aufnahmen von 37 Pflanzen aus je acht unterschiedlichen Positionen ausgewertet Dies entspricht 296 Bildern Die Summe der Bl tenstiele in allen Bildern betrug 544 In den Bildern waren maximal dr
184. oduction to Robotics Mechanics and Control 2nd ed Addison Wesley Publishing Company Reading Massachusetts 185 Literaturverzeichnis DEICHSEL G und H J TRAMPISCH 1985 Clusteranalyse und Diskriminanzanalyse Fischer Verlag Stuttgart DONIGA CRIVAT M 2003 R umliche Erfassung von Pflanzen mit Hilfe der Computerbild analyse Diplomarbeit am Institut fir Technik in Gartenbau und Landwirtschaft der Universi tat Hannover EDAN Y D ROGOZIN T FLASH und G E MILES 2000 Robotic Melon Harvesting IEEE Transactions on Robotics and Automation 16 6 831 834 FAUGERAS O 1993 Three Dimensional Computer Vision A Geometric Viewpoint MIT Press Cambridge Massachusetts FAUGERAS O und Q T LUONG 2001 The Geometry of Multiple Images MIT Press Cam bridge Massachusetts FRASER C S 2001 Photogrammetric Camera Component Calibration A Review of Ana lytical Techniques In Gruen A und Huang T S Hrsg 2001 Calibration and Orientation of Cameras in Computer Vision Springer Verlag Berlin Heidelberg FUJIRUA T K UEDA S H CHUNG M DOHI N KONDO und S ARIMA 2000 Vision Sys tem for Cucumber Harvesting Robot Preprints Bio Robotics Il 2nd IFAC CIGR Interna tional Workshop on Bio Robotics Information Technology and Intelligent Control for Bioproduction Systems November 25 26 2000 Sakai Osaka Japan 65 69 GRAND D ESNON A G RABATEL R PELLENC A JOURNEAU
185. oldt Universitat zu Berlin IDA M K NAMIKAWA K FURUBE M UMEDA und M TOKUDA 1995 Development of Watermelon Harvesting Robot II Proceedings of International Symposium on Automation and Robotics in Bioproduction and Processing November 3 6 1995 Kobe Japan 17 24 IREQ 2004 Homepage MICROB Module Int gr s de Contr le de ROBots http www robotique ireq ca microb en index html 28 09 2004 IRF 2001 Anleitung Cosimir Professional Institut f r Roboterforschung IRF Dortmund JENTJENS MACHINETECHNIEK B V 2005 Rombomatic Produktinformationen www jentjens nl 03 11 2005 JIMENEZ A R R CERES und J L PONS 1999 A Machine Vision System Using a Laser Radar Applied to Robotic Fruit Harvesting IEEE Workshop on Computer Vision Beyond the Visible Sprectrum Methods and Applications 1999 CBVS 99 110 119 KAI K N KONDO T HAYASHI Y SHIBANO K KONISHI K MOHRI und M MONTA 1995 Study on Quality Evaluation of Spray Type Chrysanthemum using Image Processing Proceedings of International Symposium on Automation and Robotics in Bioproduction and Processing November 3 6 1995 Kobe Japan 9 16 187 Literaturverzeichnis KAIZU Y T OKAMOTO und K IMOU 2002 Shape Recognition and Growth Measurement of Micropropagated Sugarcane Shoots Agricultural Engineering International Vol IV October 2002 KASSAY L D C SLAUGHTER und S MOLMAR 1992 Experimental Results wit
186. on Toolbox enthaltenen Kalibrierfunktion Bei der Linsenverzerrung sollte dabei nur der erste Koeffizient der radialen Verzerrung ermittelt werden Ergebnis der Berechungen waren die inneren Parameter der beiden Kameras welche zun chst in Dateien gespeichert wurden 4 Schlie lich wurde die in der Calibration Toolbox integrierte Funktion zur Stereokalibrierung der Kameras verwendet F r die Eingabe wurden die Ergebnisse der Einzelkamerakalibrierungen verwendet Ergebnis waren die korrigierten inneren 12 Material und Methoden Parameter der Kameras sowie die relative Lage der Kamerakoordinatensysteme zuein ander als Rotations und Translationsmatrix Abbildung 5 15 visualisiert die Ergeb nisse der Stereo Kalibrierung bzw der externen Parameter Dargestellt sind die Lage der Koordinatensysteme der beiden Kameras zueinander sowie die Lage der einzelnen Kalibrierpunkte aus den Aufnahmen des Kalibrierprozesses Der Nullpunkt des Koor dinatensystems der linken Kamera ist in der Abbildung der Nullpunkt der eingezeich neten Achsen Kalibrierpunkte einer Aufnahme eines Kal brierk rpers sind jeweils in ein und derselben Farbe dargestellt rekonstruierte Kalibrierpunkte ree 1 wc ios rechte Kamera y TER F p Kamera gt aM zul Abbildung 5 15 Lage der Kameras rechts und Rekonstruktion der einzelnen Kalibrierpunkte links welche w hrend des Kalibriervorganges verwendet wurden als Ergeb
187. on drehen Interne Merker initialisieren f r Anzahl geerntete nicht geerntete Bl tenstiele Anzahl zu erkennender Bl tenstiele und Nummer zu erntender Bl tenstiel Schleife ber maximal drei Aufnahmen Aufnahme mit beiden Kameras und Bl tenstielerkennung Anzahl zu erntender Bl tenstiele bmax im letzten Bl tenstiel geerntet n chsten Bl tenstiel f r Ernte ausw hlen 158 Durchgang ja Anzahl Bl tenstiele in beiden Bilder Dig nein Vorgang fortsetzen nein alle Bl tenstiele geerntet nein Abbildung 7 22 Ablauf Gesamternte ja 3D Koordinaten der Bl tenstiele berechnen Vorerntestellung und prim ren bzw sekund ren Schnittpunkt anfahren Vorerntestellung angefahren Stielverfolgung Abw rtsbewegung des Greifers am Stiel entlang i Ernteschnitt Ablage des geernteten Bl tenstiels Interne Merker aktualisieren f r Anzahl geerntete Bl tenstiele und Anzahl zu erkennender Bl tenstiele im n chsten Durchlauf Roboter wenn notwendig zur ck in Ausgangsstellung fahren internen Merker setzten dass Bl tenstiel im n chsten Durchlauf ignoriert wird l Test ber Anzahl erkannter Stiele Kontrollen f r Entscheidung ob Ablauf weiterverfolgt wird e Sind theoretisch noch Bl tenstiele zu erkennen e Ernte noch nicht bei allen Bl tenstielen versucht Anzahl erkannter Bl tenstiele in be
188. onsraum generiert wobei in der N he von Hindernissen gezielt mehr Punkte verteilt und auf Kollisionsfreiheit getestet werden Nah beieinanderliegende Punkte k nnen ber einen lokalen Planer miteinander ver bunden werden falls ein Pfad zwischen diesen Punkten existiert Die Punkte bilden die Kno ten eines Graphen die mit dem lokalen Planer gefundene Verbindungen stellen die Kanten des Graphen dar Ist kein Weg vom Start zum Zielpunkt vorhanden dann werden zus tzliche Punkte n der N he von Hindernissen zufallsverteilt eingef gt MATSIKIS 2005 Der verwendete RPM Planer war der sogenannte SBL Planer Single query Bi directional Lazy in collision checking Details zu diesem Planer k nnen SANCHEZ und LATOMBE 2001 entnommen werden Nach erfolgreicher Pfadplanung erm glichte MPK eine Gl ttung des errechneten Pfades so dass der teilweise sehr umst ndlich erscheinende Pfad verk rzt werden konnte W hrend der Entwicklung stellte sich heraus dass die Funktion zur Pfadgl ttung teilweise in einer Endlos schleife verharrte und das Programm somit nicht weiter ausgef hrt wurde Aus diesem Grunde wurde eine Funktion implementiert welche die Pfadgl ttung f nf Sekunden nach deren Start abbrach In einem solchen Fall wurde dann der ungegl ttete Pfad weiterverwendet F r die Integration der dreidimensionalen Modelle welche f r die Visualisierung und die Kollisionstests notwendig sind verwendet MPK das sogenannte Open Inventor Fo
189. ontalen des Bildes rad Io Orientierung der quivalenten Ellipse der Punktmenge H Ein Merkmal welches h ufig zur Sortierung von Punktmengen verwendet wird ist die Ober kante bzw Unterkante einer Region Sie wird hier definiert als die minimale bzw maximale Reihenkoordinate einer Punktmenge Es gilt l zmin H Z min 4 19 und l zmax H Z max 4 20 H Eingabefl che Punktmenge I zmin Oberkante der Punktmenge geringster Zeilen Wert 21 Grundlagen I zmax Unterkante der Punktmenge h chster Zeilen Wert F r eine Punktmenge kann eine optimale Regressionsgerade ermittelt werden Das hier ver wendete Regressionsverfahren beruht auf einer Implementierung von MVTEC 1999 Dieses Verfahren minimiert den Abstand der einzelnen Punkte der Eingaberegion senkrecht zur Geraden Dieses Verfahren differiert zu dem in der Statistik blichen Regressionsverfahren bei dem der Abstand senkrecht zu einer Achse des Koordinatensystems minimiert wird Die Regressionsgeraden wird in der Hesseschen Normalform zuriickgeliefert Pao H I 4 21 H Eingabefl che Punktmenge ln Parameter der Regressionsgeraden in Hessescher Normalform rg optimale Regressionsgerade durch alle Punkte der Punktmenge H 4 1 4 Bearbeitung und Manipulation von Grauwertbildern F r die Anwendung von Operationen auf Teilbereiche eines Bildes kann es von Vorteil sein den Definitionsbereich eines Bildes einzugrenzen Dadurch werden be weiteren Opera
190. organgs bis hin zur berpr fung und Simulation eines kompletten Ernte ablaufs wurden die verschiedensten Softwarekomponenten zur Optimierung des Gesamtab laufs eingesetzt 5 4 2 Cosimir Professional Zur Simulation von Bewegungsabl ufen wurde die Software Cosimir Professional 4 0 IRF 2001 verwendet Die Software verf gte ber vordefinierte Basismodelle der verwendeten Mitsubishi Roboter Diese sehr genauen dreidimensionalen Modelle der Roboter konnten mit Hilfe der gleichen Programmiersprachen und mit dem gleichen Befehlssatz wie die Original roboter angesprochen werden Die simulierten Bewegungsabl ufe entsprachen denen der Originalroboter Die gesamte Versuchsanlage wurde aufgrund von Ma angaben der Hersteller einzelner Teile der Anlage und durch eigene Vermessungen n ein Gesamtmodell bertragen siehe Abbildung 5 18 Zu Beginn der Untersuchungen wurde Cosimir Professional verwendet um die Basisfunktio nal t ten und Bewegungen der Roboter ohne Risiko einer m glichen Kollision offline zu tes ten Auf diese Weise konnten die verschiedenen Interpolationsarten f r die Bewegungen und Abl ufe mit h heren Geschwindigkeiten ohne Risiko getestet werden Im weiteren Verlauf wurde die Software verwendet um die mit der Pfadplanungsbibliothek MPK STANFORD UNIVERSITY 2004 errechneten und visualisierten Bewegungsabl ufe zu berpr fen und auf Kollisionsfreiheit zu testen Da die identischen Ansteuerungsbefehle wie bei den tats
191. orher nicht klar ob die angestrebte lineare Bewegung m glich war Aus diesem Grund wurde eine relat v geringe Schrittweite von 2 5 cm f r die Bewegung in x Richtung abw rts gew hlt Gr ere Schrittweiten h tten die Wahrscheinlichkeit f r die Ausf hrung einer Linearbewegung verrin gert da diese aufgrund der Stellung und der Eigenschaften des Roboters nur in einem begrenzten Radius m glich war War dies in die gew nschte Richtung nicht weiter m glich so wurde der Roboter alleine mittels Bewegung der Linearachse abw rts bewegt bis eine vorher definierte Toleranzgrenze bez glich der Abweichung des vorhergesagten Stielverlaufs vom aktuellen Schnittpunkt des Greifers berschritten wurde Eine solche Toleranzgrenze war notwendig da die Bewegung mit der Linearachse lediglich eine Bewegung in Richtung der x Achse des Roboters erm g lichte und so nicht dem vorhergesagten Stielverlauf gefolgt werden konnte Als max mal erlaubte Toleranz in y z Richtung wurde eine Abweichung von 10 mm festgelegt siehe auch Abbildung 7 12 Um Kollisionen zu vermeiden wurden zwei zus tzliche Kontrollmechanismen eingebaut Zum einen wurde auf eine m gliche Kollision des Roboters mit dem Bl tenstiel von oben getestet Zum anderen wurde der Greifer nur bis zu einem festgelegten Punkt oberhalb des Topfrandes bewegt um die Zerst rung von Pflanzenteilen zu vermeiden F r den Kollisionstest wurde das Robotermodell auf die drei ersten Achsen reduzie
192. otentieller Bl tenstielregionen ein deutlich erkennbares Maximum in der H ufigkeitsverteilung der Sehnenl ngen verursachen absolutes Maximum t Anzahl Sehnen Schwellenwert erstes Minimum nach absolutem Maximum l i I I App _ N S amp Y Q Sehnenl nge Abbildung 6 12 H ufigkeitsverteilung der Sehnenl ngen gegl ttet der potentiellen Bl tenstielregion aus Abbildung 6 11 mit absolutem Maximum erstem Minimum nach dem absoluten Maximum und resultierendem Schwellenwert Alle Sehnen mit einer L nge oberhalb des Schwellenwertes werden verworfen 96 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bliitenstielen wenn die untersuchten Regionen tats chlich gr ere Bl tenstielteile beinhalteten F r die Max Min Methode wurde die H ufigkeitsverteilung mittels einer Gau funktion gegl ttet o 0 5 um geringe Schwankungen f r die sp tere Analyse auszugleichen Als Trennwert f r die Klassifikation wurde das erste lokale Minimum nach dem absoluten Maxi mum daher Max Min Methode der H ufigkeitsverteilung verwendet alle Sehnen mit einer L nge kleiner des Trennwertes wurden als Bl tenstielteil klassifiziert alle gr er oder gleich dem Trennwert als St rung Nachdem die Sehnen nach der Max Min Methode klassifiziert wurden blieben neben gr e ren zusammenh ngenden Regionen des fteren auch kleinere zusammenh ngende Regionen brig welche nicht zu Bl tenst
193. oters Die Forschung im Bereich der Pfadplanung hat zu zwei grundlegenden Techniken gef hrt CRAIG 1989 Die eine Gruppe von Techniken arbeitet mit verbundenen Grafen des Bewe gungsraumes und verwendet diese zur Suche nach einem kollisionsfreien Pfad Die zweite Gruppe von Techniken arbeitet mit k nstlichen abstoBenden Polen um Hindernisse herum und mit anziehenden Polen am Zielpunkt 57 Material und Methoden 5 Material und Methoden 5 1 Versuchsanlage 5 1 1 Allgemeines Die Untersuchungen wurden an einer Roboterversuchsanlage des Institutes fiir Biologische Produktionssysteme Fachgebiet Biosystem und Gartenbautechnik der Universit t Hannover vorgenommen Eine schematische bersicht der Anlage zeigt Abbildung 5 1 Die Hauptkomponenten werden im folgenden beschrieben Ausf hrlichere Informationen zur Ver suchsanlage k nnen KAWOLLEK et al 2002 entnommen werden 5 1 2 Transferstrecke und SPS F r den Transport und die Bereitstellung des zu untersuchenden Pflanzenmaterials wurde ein Umlaufsystem der Firma Mannesmann Dematic installiert Das Umlaufsystem bestand aus zwei parallel angeordneten F rderstrecken welche durch zwei Umlenker miteinander ver a URE ai Roboter mit vertikaler aii Linearachse pe ae sie zentraler Arbeitsbereich d S mit Hub und Drehstation Roboter mit 1 horizontaler gt Linearachse a A wa z i Videokameras Umlaufsystem mit Werkst cktr
194. r aktu ellen Stellung zur ck in die Ausgangstellung gefahren wobei nur die sechs Hauptachsen des Roboters beachtet wurden Die Stellung der Linearachse konnte also von der Stellung bei der Bildaufnahme abweichen Die Bewegung zur ck wurde wiederum mit Hilfe des Pfadpla nungsmoduls errechnet und schrittweise mit den bestimmten Zwischenpositionen durchge f hrt In einem letzten Schritt wurde dann noch die Linearachse in die Ausgangsstellung gebracht Ausgehend von der Ausgangstellung wurde der Roboter an d e mittels Teach In fest pro grammierte Ablageposition bewegt Zum Abschluss wurde der Greifer ge ffnet und der Bl tenstiel abgelegt 150 Ernte der Bliitenstiele h Abbildung 7 17 Bewegung des Roboters tiber die Ausgangsstellung zur Ablageposition und Ablage des Bliitenstiels 151 Ernte der Bliitenstiele Ausgehend von der Schnittposition a wurde der Roboter zun chst mittels Linearachsenbewegung nach oben gefahren b und dann entsprechend der bei einer weiteren Pfadplanung g h errechneten Parameter mit den sechs Hauptachsen zur ck in die Ausgangsstellung gebracht c Ausgehend davon wurde auch die Linearachse in Ausgangsstellung gebracht d und der Roboter dann an die fest einprogrammierte Ablageposition gebracht e Schlie lich wurde der Greifer ge ffnet und die Bl te abgelegt f 7 2 Gesamtablauf der Ernte Der Ablauf der Ernte f r einen einzelnen Bl tenstiel wurde in 7 1 gezeigt Um f r eine
195. ra war am Endeffektor eines 4 achs gen Roboters befestigt welcher auf einem fahrbaren Untersatz montiert war 2 2 5 Auberginen HAYASHI et al 2002 beschreiben ein autonomes System zur Ernte von Auberginen Fr chte wurden mittels eines Farbsegmentierungsalgorithmus und eines vertikalen Trennungsalgo Literatur bersicht r thmus basierend auf Vorlagenmustern erkannt Die Fr chte wurden mit einem speziell entwickelten Endeffektor geerntet an diesem war auch die CCD Kamera befestigt In Versu chen wurde eine Ernterate von 63 erreicht wobei pro Erntevorgang etwa 1 min ben tigt wurde 2 2 6 Pilze Ein System zur Ernte von Champignons entwickelten REED et al 2001 Unter kontrollierten Bedingungen mit Leuchtstofflampen wurden Aufnahmen mit einer monochromen Videoka mera gemacht Die Erkennung der Spitzen der Pilze erfolgte mit einfacher Schwellenwertbil dung und anschlie ender Weiterverfolgung der K pfe F r die Ernte wurde ein kartesischer Roboter mit einem speziellen Saugerntegreifer verwendet In zwei praktischen Ernteversu chen konnten 76 bzw 67 der Pilze geerntet werden 2 2 7 Erdbeeren KOZAI et al 1998 entwickelten ein System zur Ernte von Erdbeeren in einem speziellen hydroponischen Anbausystem bei dem die Pflanzen n Arbeitsh he menschlicher Arbeiter kultiviert wurden Farb Video Kamera Die Identifizierung der Fr chte erfolgte durch Verrechnung der RGB S gnale und partielle Schwellenwe
196. rapflanze und das Basismodell der Versuchsanlage wurden f r den Erntevorgang n einem Modell zusammengef hrt Dieses Modell wurde so aufgebaut dass einzelne Objekte zur Laufzeit entfernt werden konnten F r verschiedene Kollisionstests konnte die Position aller Achsen des Roboters mit Hilfe der MPK Bibliothek STANFORD UNIVERSITY 2004 dynamisch ver ndert werden Das erstellte Pflanzenmodell wurde f r die Berechnung des Erntevorgangs noch um eine Sicherheitszone oberhalb des Hauptpflanzenzylinders erweitert Diese sollte Kollisionen des Greifers mit Pflanzenteilen vermindern In Vorversuchen hatte sich gezeigt dass der Grei fer oft zu dicht an den Bl ttern gef hrt wurde und es dadurch zu Sch den an Bl ttern kam oder die Greif ffnung des Schnittwerkzeugs durch Bl tter verdeckt wurde die mitgef hrt wurden Ein Sicherheitsbereich von 10 mm war bereits ausreichend um die Probleme deut lich zu verringern Diese Sicherheitszone wurde analog zur Hauptpflanze als Zylinder mit gleicher Mittelachse definiert welcher direkt oberhalb an die Hauptpflanze anschloss Der Mittelpunkt wurde definiert als welt M MS 7 1 O os ooNn gt 131 Ernte der Bliitenstiele ir x Koordinate des untersten Bl tenstielpunktes M hs H he der Sicherheitszone in m Da der Mittelpunkt der Sicherheitszone im negativen Bereich des Weltkoordinatensystems lag wurde A mit 1 multipliziert Mus Ortsvektor des Mittelpunktes der Sich
197. rden Stereoaufnahmen verwendet Unter guten Bedingungen kein Wind bedeckter Himmel konnte eine Ernterate von 85 erreicht wer den bei schlechten Bedingungen sank diese auf bis zu 52 JIMENEZ et al 1999 beschreiben ein Bildverarbeitungssystem basierend auf Tiefeninforma tionen eines Infrarot Laserscannersystems welches zu Testzwecken zur Steuerung des AGRIBOT Orangenernte Roboters eingesetzt wurde 2 2 3 Melonen IIDA et al 1995 und TOKUDA et al 1995 beschreiben die Entwicklung eines selbstfahren den Wassermelonenernteroboters Die Erkennung erfolgte ber Aufnahmen einer Mono chromkamera unter Einsatz eines Bandpassfilters ca 800 nm und anschlie ender Schwel lenwertbildung f r die Segmentierung der Fr chte Ein anderer Melonenernteroboter wurde von EDAN et al 2000 entwickelt Die Erkennung der Fr chte nach Schwellenwertbildung wurde sortenspezifisch ber wissensbasierte Entscheidungsregeln durchgef hrt Ein karte sischer Roboter war auf einem Anh nger montiert und wurde durch einen Traktore gef hrt Spezielle Algorithmen wurden f r die Bewegungsabl ufe und eine zeitoptimierte Bewe gungsplanung entwickelt In ausf hrlichen Feldversuchen konnte eine Ernterate von 86 erreicht werden 2 2 4 Kohl MURAKAMI et al 1995 beschreiben ein Basissystem zur Ernte von Kohl Der Kohl wurde nach Binarisierung durch Schwellenwertbildung aus dem Farbbild mittels dem sogenannten template matching erkannt Die Kame
198. reduziert wird Unter Verwendung projektiver Geometrie kann eine Linie n der Ebene durch einen Vektor I a b c repr sentiert werden Dieser beschreibt die Linie mit der allgemeinen Geradenglei chung der Form ax by c 0 4 44 x Wert auf der X Achse y Wert auf der Y Achse a b c beliebige reelle Zahlen F r einen Punkt n P xelkoordinaten m m ersten Bild bzw einen Punkt m m zweiten Bild k nnen die korrespondierenden Epipolarlinien bei bekannten inneren Parametern und bekannter Lage der Kameras zueinander durch folgende Gleichungen bestimmt werden F r die Berechnung der Epipolarlinie im ersten Bild zu einem Punkt im zweiten Bild gilt Fm 4 45 lw Epipolarlinie im linken Bild zum Punkt m im rechten Bild F Fundamentalmatrix Die Epipolarlinie im zweiten Bild zu einem Punkt im ersten Bild kann ermittelt werden durch l F m 4 46 m l n Epipolarlinie im rechten Bild zum Punkt im linken Bild F Fundamentalmatrix 45 Grundlagen Die sogenannte Fundamentalmatrix F ist definiert durch F AEA 4 47 F Fundamentalmatrix A Matrix der inneren Kameraparameter mit E t R 4 48 E Essential Matrix R Rotationsmatrix Rotation T antisymmetrische Matrix von T R und T sind die Rotations und Translationsmatrix und beschreiben die Lage der rechten Kamera in Relation zur linken Kamera wobei gilt 0 t b Tl 4 0 4 4 49 t t 0 F r eine ausf hrliche Herleitung
199. regionen eingeschr nkt Das Ergebnis ist dem Skelett dieser Bl tenstielre gionen auf den ersten Blick sehr hnlich jedoch liefert der Operator Qro Im Gegensatz zum Skelett subpixelgenau Punkte zur ck und damit eine genauere Basis zur Berechung der drei 118 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bliitenstielen dimensionalen Informationen F r jedes Bl tenstielobjekt wurden die Mittelachsen Sgo als subpixelgenau Konturen bestimmt indem zun chst nach gekriimmt linearen Strukturen in den Bereichen der potentiellen Bl tenstielregionen Hg gesucht wurde und diese dann mit dem jeweiligen Bl tenstielobjekt aus Hgo geschnitten wurden Der Gesamtablauf ist in Abbildung 6 28 dargestellt und in Abbildung 6 27 sind Beispielbilder aus dem Gesamtablauf dargestellt r c d Abbildung 6 27 Ermittlung der Mittelachsen der Bl tenstielobjekte als subpixelgenaue Konturen 119 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bl tenstielen Eingabe Ausgangsbild A Bl tenstielobjekte Hgo Ermittlung gekr mmt linearer Strukturen in reduziertem Ausgangsbild S tmp C LG A mp Ermittlung der Mittelachsen der Bl tenstiele durch Schnittmengenbildung Spo imp A Hgo Reduzierung des Ausgangsbildes auf Bereich der potentiellen Ergebnis Mittelachsen der Bl tenstiele Spo Abbildung 6 28 Ablauf Ermittlung der Mittelachsen der Bliitenstielobje
200. reichen segmentiert Ein Ernte kopf konnte auf einem Rahmen in einer Ebene in x und y Richtung sehr schnell bewegt wer den daher auch der Name Rapid Displacement Actuator RAD F r den Erntevorgang konnte der Erntekopf dann auch in z Richtung ausgefahren werden Aufgrund des speziellen Anbausystems die Triebe wurden auf zwei Seiten der B ume schr g an Gittern entlang gef hrt war eine solche Anordnung des Erntegreifers m glich Innerhalb dieser Untersu chung wurden keine Ernteraten bezogen auf alle vorhandenen Fr chte angegeben 2 2 2 Zitrusfr chte HARRELL et al entwickelten 1990 einen Orangenernteroboter Der teleskopische Erntearm mit in der N he des Erntegreifers montierter Farbkamera und Ultraschallsensor konnte in drei Achsen bewegt werden Die Fr chte wurden mittels einer statistischen Farbsegmentierungs technik erkannt und die Entfernung f r den Erntevorgang mit einem Ultraschallsensor Literatur bersicht bestimmt In Versuchen waren 75 aller Ernteversuche erfolgreich je Erntezyklus wurden drei bis sieben Sekunden ben tigt PLEBE und GRASSO 2001 entwickelten ein Bildverarbeitungssystem zu Erkennung und Lokalisierung von Orangen f r einen Roboterprototyp mit zwei teleskopischen Armen OPR Sie entwickelten einen neuen Farbraum f r die Segmentierung und einen adapt ven Kanten verfolgungsalgorithmus um auch partiell verdeckte Fr chte zu erkennen siehe auch GRASSO und RECCE 1996 F r die Lokalisierung wu
201. relat v zum Koordinatensystem A bzw B Die gesamte Transformation aus 4 27 kann unter Verwendung homogener Koordinaten auch durch eine sogenannte homogene Transformationsmatrix ausgedr ckt werden mehr zu homogenen Koordinaten siehe 4 2 2 1 Diese 4 x 4 Matr x enth lt sowohl den Rotations als auch den Translationsteil MVTEc 2002 Dadurch vereinfacht sich 4 27 zu 2 AR T M N SH N Kr a i 4 28 Hes Beschreibung von B relativ zu A 30 Grundlagen R Rotationsmatrix Orientierung von B relativ zu A ATs Translationsvektor Lage von B relativ zu A BM Punkt M relativ zum Koordinatensystem B AM M Punkt M relativ zum Koordinatensystem A bzw B in homogenen Koordinaten 4 2 1 4 Darstellung Interpretation des Rotationsteils Die Rotationsmatrix R aus 4 26 zur Beschreibung der Orientierung kann anschaulicher durch eine Abfolge von Drehungen um die drei einzelnen Koordinatenachsen eines Koordi natensystems dargestellt werden Je nach Rotationsart und reihenfolge unterscheidet man unterschiedliche Darstellungsweisen Zum einen unterscheidet man nach Art der Rotation Entweder k nnen alle Rotationen um die starren originalen Achsen ausgef hrt werden oder die Rotationen erfolgen um die bewegten Achsen welche sich aus der jeweils vorangegangenen Rotation ergeben Die Angabe als letztere Rotationsart wird auch als Euler Winkel bezeichnet und findet meist bei der Trans fo
202. ren F r die bertragung der Ergebnisse bieten sich Kulturen mit hnlichen Randbedingungen an In erster Linie sind die Ergebnisse auf die Ernte von Bl tenstielen bertragbar Idealerweise m ssen diese Bl tenstiele frei stehen und klar erkennbar sein Eine starke Belaubung der Bl tenstiele w rde auch starke Anpassungen im Algorithmus notwendig machen Denkbar w re z B eine bertragung auf Anthurium Andreanum Hybriden oder Liatris spicata Prob lematischer sind dann Arten welche ber einen belaubten Bl tenstiel verf gen F r solche Anwendungsf lle sind bisher kein Verfahren bekannt NOORDAM et al 2005 beschreiben dazu grunds tzliche Probleme Neben der Ernte von Bl tenstielen ist auch eine gezielte Stecklingsernte denkbar Auch hier liegt jedoch das grunds tzliche Problem n der Belaubung der Stecklinge Bez glich der eingesetzten Methodik zur Pfadplanung kann festgehalten werden dass die verwendeten Verfahren problemlos auf andere Kulturarbeiten und Arten bertragbar s nd Da f r die Berechnungen lediglich generelle 3D Modelle notwendig sind kann jedes beliebige Objekt in die Pfadplanung integriert werden Die verwendete Bibliothek ist zudem auch f r die simultane Planung von Mehrrobotersystemen geeignet 182 Zusammenfassung 9 Zusammenfassung Die Automatisierung von Kulturverfahren nimmt im Gartenbau eine immer wichtigere Rolle ein und die zuk nftige gartenbauliche Produktion wird durch einen hohen Automa
203. rennt Dieser Prozess verwendete die Laufl ngenkodierung der Region Zur Aufteilung der m glichen Bl tenstielregionen in unverzweigte Einzelregionen wurden die Nachbarschaftsbeziehungen der einzelnen Sehnen der Region analysiert Vor der berf h rung der Region in die Sehnendarstellung wurden die einzelnen potentiellen Bl tenstielregion aus Hg so gedreht dass enthaltene Bl tenstiele m glichst parallel zur y Achse des Bildes verliefen Als Kriterium f r die Orientierung der Regionen wurde die Orientierung Io der quivalenten Ellipse der Region bez glich der Koordinatenachsen verwendet Es wurde also zun chst f r jede Region Az aus Hg die Orientierung 7 I o A3 bestimmt und die Region dann mit der errechneten Orientierung um ihren geometrischen Schwerpunkt so gedreht dass sie parallel zur Vertikalen y Achse verlief Hg Qpa z i Ps AB5 i 7 2 Abbildung 6 7 Drehung der Ausgangsregion rot in die Ergebnisregion welche parallel zur Vertikalen liegt blau Beginnend mit der ersten Sehne der Region wurden die einzelnen Sehnen der Ausgangsregion dann zeilenweise auf die Anzahl der Nachbarsehnen in den benachbarten Reihen untersucht Die einzelnen Sehnen wurden solange zu einer gemeinsamen Region vereint bis keine oder mehr als eine Nachbarsehne gefunden wurde 91 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bliitenstielen Abbildung 6 8 Schema der Auftrennung einer Regio
204. rierender Elemente bearbeiten und manipulieren Sie werden unter dem Begriff morphologische Filter zusammengefasst Wird eine Punktmenge durch Schnittmengenbildungen der Ausgangsfl che mit allen m gl chen Verschiebungen eines strukturierenden Elementes im folgenden als Verschiebungs maske bezeichnet verringert bezeichnet man die resultierende Operation als Erosion Bildet man die Vereinigungsmenge anstatt der Schnittmenge bezeichnet man diese fl chenerg n zende Operation als Dilat on Es gilt O 7 V ae si 4 5 Eingabeflache Punktemenge y Verschiebungsmaske Punktemenge Ane Ergebnisfl che Punktemenge Qg Erosion von H mit V und 17 Grundlagen on H V H jai 4 6 H Eingabefl che Punktemenge y Verschiebungsmaske Punktemenge Anew Ergebnisfl che Punktemenge Op Dilation von H mit V Ein h ufig verwendeter morphologischer Operator ist die iterative Teilmengebildung Dabei wird eine gegebene Punktemenge in einzelne zusammenh ngende Teilmengen Zusammen hangskomponenten aufgespaltet Die iterative Teilmengenbildung verwendet als wichtiges Element die Punktdilation siehe RATH 1997 Es gilt Q H H 4 7 H Eingabefl che Punktemenge H Menge der Teilmengen Zusammenhangskomponenten Qr iterative Teilregionenbildung von H mit 8 ter Nachbarschaft Neben der iterativen Teilmengenbildung beruht auch das sogenannte iterative F llen auf der Punktdilation Dabei werden Hohlfl c
205. rmat Open Inventor kann als de facto Standard f r die 3D Visualisierung und f r visuelle Simulations software bezeichnet werden Da die originalen Open Inventor Bibliotheken von SGI SGI 79 Material und Methoden 2002 unter Windows Betriebssystemen nicht lauff hig sind verwendet MPK f r diese Coin3D eine Bibliothek welche voll kompatibel zu Open Inventor ist Das erstellte Modell der Anlage wurde bereits in Abbildung 5 14 dargestellt Das Modell der Roboter wurde basierend auf Daten dreidimensionaler Modelle in Cosimir Professional erstellt Dort waren Polyedermodelle der Mitsubishi Roboter integriert Die ein zelnen Punkte mit ihren dreidimensionalen Koordinaten wurden in das Open Inventor Format konvertiert Dabei wurde f r jeder der einzelnen Achsen eine eigene Definitionsdatei ange legt Die Verbindung zwischen diesen einzelnen Achsen wurde sp ter ber Rotations und Translationsparameter festgelegt Gleichzeitig wurden Denavit Hartenberg Parameter nach CRAIG 1989 f r die Roboter bestimmt welche als Grundlage f r die kinematischen Modelle f r die Microb Bibliothek dienten Abbildung 5 19 Dreidimensionales Basis Modell des Roboters RV E4NM Dargestellt sind die Rotationsachsen der Gelenke schwarze Linien und die Koordinatensysteme mit den nach CRAIG 1989 zugeordneten Achsen rote gr ne und blaue Linien entspre chen x y und z Achse 80 Material und Methoden Tabelle 5 1 Ermittelte Denavit Harten
206. rmation von Koordinatensystemen Verwendung Die Rotation um starre Achsen dagegen wird meist bei der Punkttransformation verwendet Zum anderen unterscheidet man nach der Reihenfolge der Rotationsachsen Diese ist theore tisch beliebig und laut CRAIG 1989 ist auch keine der Abfolgen zu bevorzugen Eine in der Literatur h ufig verwendete Abfolge st Z Y X als Standard kann s e jedoch n cht bezeichnet werden Aus Art und Reihenfolge ergeben sich theoretisch 24 unterschiedliche Interpretatio nen f r die Rotation Dies zeigt die Notwendigkeit der Angabe der Konvention wenn man die Rotation um die drei Hauptachsen angibt Im Zusammenhang mit Robotern wird h ufig die Roll Nick Gier Konvention verwendet im engl Roll Pitch Yaw Dabe handelt es sich um die Rotation um starre Achsen wobei die Rotationsreihenfolge x y z ist In diesem Zusammenhang se darauf hingewiesen dass die homogenen Transformationsmatrizen und die Drehwinkel um die jeweiligen Achsen bei der Euler Konvention mit Reihenfolge z y x und der Roll Nick Gier Konvention mit Reihen folge x y z identisch sind 31 Grundlagen Abbildung 4 8 Rotation eines Koordinatensystems ber Euler Winkel mit der Reihen folge Z Y X X Y Z Einheitsvektoren der Achsen des Koordinatensystems Indizes A A A und A Koordinatensystem A in Ausgangslage nach der ersten zweiten und dritten Rotation Aus den Rotationen um die drei Ach
207. rmittlung schmaler Regionen verwendet Zun chst wurden die einzelnen Sehnen der potentiellen Bl tenstielregionen Hg nach der beschriebenen Methode klassifiziert Die als Bl tenstielsehnen klassifizierten Sehnen wurden dann wieder zu Regionen zusam mengefasst und die potentiellen Bl tenstielregionen Hg somit auf schmale Regionen Hs reduziert 6 5 2 Ermittlung parallel verlaufender Kanten Als n chstes wurde in den schmalen Regionen siehe Abbildung 6 13 rechts nach parallelen Kanten gesucht In einem ersten Schritt wurden aus den auf die potentiellen Bl tenstielberei che eingeschr nkten Bildbereichen die Kanten extrahiert Die Kantenerkennung erfolgte dabei mit Hilfe des Kantenoperators mit Richtungserkennung x F r den betrachteten Bildbereich wurde auf der Grundlage der Ergebnisse des Kantenopera tors eine H ufigkeitsverteilung der Kantenrichtung der einzelnen als Kanten detektierten Pixel ermittelt Genauer wurde die Anzahl Pixel pro Richtung in Grad bestimmt Die Grundidee bei der Analyse der H ufigkeitsverteilung war dass klar dominante Kanten 1m Bild zu einer deutlichen H ufung von Bildpunkten mit hnlicher Kantenrichtung f hren soll ten Dar ber hinaus sollten Bl tenstiele aus parallel verlaufenden Kanten entgegengesetzter Richtung genauer mit entgegengesetztem Hell Dunkel Verlauf bestehen so dass diese zu Maxima in der H ufigkeitsverteilung f hren sollten welche etwa 180 Grad auseinander liegen sollten 101
208. ro modelliert so dass es in den Versuchen keine Probleme mit Kollisionen gab Anfangli che Probleme durch die Vereinfachung der Hauptpflanze also der Bl tter als Zylinder konnten durch das Hinzuf gen einer Sicherheitszone oberhalb der modellierten Pflanze ver bessert werden Eine detailliertere Modellierung der Bl tter w rde hier aber sicher zu einer weiteren Verminderung von Kollisionen f hren Dazu w re jedoch eine andere Herangehens weise und eine Berechnung der dreidimensionalen Informationen f r den gesamten Aufnah mebereich notwendig Die dargestellte Vereinfachung hat den Vorteil dass die Rechenzeiten f r die Modellierung und f r die sp tere Pfadplanung reduziert werden 8 2 2 Auswahl des zu erntenden Bl tenstieles Bei der Ernte wurde vereinfacht davon ausgegangen dass der Bl testiel auch zur Ernte geeig net sei Es wurde kein Bestimmung des Reifegrades integriert So wurden auch Bl tenstiele geerntet welche noch im knospigen Stadium oder noch nicht vollst ndig aufgebl ht warten F r ein real einsetzbares System w re die Integration einer Reifegradbestimmung eine not wendige Voraussetzung AJWANG 2000 untersuchte eine Methode zur Reifegradbestimmung bei verschiedenen Gerberasorten Er entwickelte einen Algorithmus welcher den Reifegrad aufgrund von Farbunterschieden zwischen dem Zentrum und den u eren Regionen der Bl ten bestimmte Untersucht wurden sechs Sorten mit unterschiedlichen Farben Bei
209. rpers relativ zum Werkzeug 74 Material und Methoden Letztere kann einfach errechnet werden wenn sowohl die Lage des Objektes zur Kamera als auch die der Kamera zum Roboter bekannt ist Zur Ermittlung der Lage des Roboterbasiskoordinatensystems in Relation zu dem der Kamera wird die sogenannte Hand Auge Kalibrierung verwendet Ein solches Verfahren ist in der Halcon Bibliothek implementiert und wurde in der vorliegenden Arbeit verwendet Die prinzipielle Idee hinter HALCONs Hand Auge Kalibrierung ist dass die gemessene Transformation saa Pr d h die externen Kameraparameter bzw die Lage des Kalibrierk6r perkoordinatensystems in Relation zum Kamerakoordinatensystem identisch ist mit einer Kette von Transformationen von der Kamera tiber Roboterbasis und werkzeug zum Kalib rierk6rper kam _ kam basis wkz Hyatib Hbasi Hwkz Hkatib 5 1 Die mittlere dieser drei Transformationen Hy beschreibt die Stellung des Roboters diese var ert von Bild zu Bild ist aber bekannt da Sie ber die Steuereinheit des Roboters direkt ausgelesen werden kann Die beiden anderen unbekannten Transformationen OH asis und Hyaip sind f r jedes Bild gleich sie werden von der Hand Auge Kalibrierung bestimmt ausgehend von Startwerten Die Bestimmung der externen Kameraparameter also die Lage des Kamerakoordinatensys tems in Relation zum Kal brierk rperkoordinatensystem und damit die Transformation sam ne setzt zun chst
210. rs auf ein Eingabe bild Q A S 4 25 A Eingabebild Grauwertmatrix S Ergebnispunktmenge mit Stiitzpunkten der Strukturen subpixelgenau Orc Erkennung von gekriimmt linearen Strukturen als subpixelgenaue Konturen Abbildung 4 4 Ermittlung gekriimmt linearer Strukturen 4 2 Gewinnung dreidimensionaler Informationen aus Stereo Bildern Eine Grundlage f r die Ernte der Bl tenstiele der Gerberas waren dreidimensionale Informa tionen welche zur Ansteuerung der Roboter eine notwendige Voraussetzung darstellten Diese dreidimensionalen Informationen wurden mit Hilfe der Bildinformationen aus den bei den verwendeten Kameras errechnet Auf diese Weise konnten dreidimensionale Modelle der Pflanzen generiert werden Diese Vorgehensweise wird auch als Stereobildverarbeitung bezeichnet Der Ablauf zur Generierung dreidimensionaler Informationen aus Stereo Bildern ist in Abbildung 4 5 dargestellt 26 Grundlagen Kameramodellierung Bestimmung interner und externer Parameter Bildaufnahme Identifizierung von Bildobjekten Anwendung von Bildverarveitungsalgorithmen Korrespondenzanalyse Bestimmung zusammengehoriger Bildpunkte Triangulation Berechnung dreidimensionaler Informationen Modellerstellung Erstellung eines 3D Modells aus den Daten Abbildung 4 5 Ablauf der Erstellung dreidimensionaler Modelle aus Stereo Bildern ver ndert nach KLETTE et al 1998 Die mathematischen Grundlagen und Mod
211. rt Dies war notwendig da eine h here Anzahl Achsen bei Kollisionstests aufgrund der Abw rtsbe wegung zwangsl ufig zu einer berechneten Kollision mit der Hauptpflanze gef hrt h tten und die Berechnungen h tten abgebrochen werden m ssen Bei diesem Kollisionstest sollte nur auf eine Kollision von oben getestet werden da der Roboter dadurch die Bl te abknicken oder den Bl tenstiel so h tte verschieben k nnen dass der Bl tenstiel aus dem Schnittbereich des Greifers herausgeschoben worden w re Da die Berechnungen keine hohe Genauigkeit erforderten wurde die Zielposition f r den Kollisionstest dahingehend vereinfacht dass ausgehend von der aktuellen Roboterstellung immer von einer alleinigen Bewegung der Linearachse ausgegangen wurde also der gesamte Roboter nach unten verschoben wurde 146 Ernte der Bliitenstiele Abbildung 7 14 Schrittweise Stielverfolgung durch Abw rtsbewegung des Roboters unten und vorhergende Kollisionstests fiir die Zielposition oben Die Abw rtsbewegung des Roboters mit den entsprechenden simulierten Bildern der Kollisi onstests ist in Abbildung 7 14 dargestellt Der minimal zul ssige Abstand zur Topfkante wurde in Vorversuchen sortenspezifisch ermittelt F r beide Sorten wurden Ernteversuche an 12 Pflanzen durchgef hrt und Positionen und Abst nde des Greifers detailliert ermittelt Die Stielverfolgung wurde dabe abgebrochen wenn mit dem n chsten Schritt eine Zerst rung von Pfl
212. rt nach WENG etal 1992 39 Abbildung 4 12 Schematische Darstellung eines Stereokamerasystems Ein Weltpunkt M wird auf die Bildebenen als Punkt m bzw m projiziert eeeeeesssssssssssnnnnnnnnnsssseeeeeeeennnn 43 Abbildung 4 13 Epipolargeometrie zweier Kameras ver ndert nach XU und ZHANG II ea er ee 44 Abbildung 4 14 Schematische Darstellung der Triangulation eenen 48 Abbildung 4 15 Schematische Darstellung relevanter Koordinatensysteme bei einem Industrieroboter MITSUBISHI ELECTRIC 1998 uueesesnccccessseeeeeeeennnnnssssneeenennnnnnnnnnnnnnnnn 53 Abbildungsverzeichnis Abbildung 4 16 Schematische Darstellung der Verbindung zweier Achsen eines Robo ters mit den entsprechenden Denavit Hartenberg Parametern nach Craig CRAIG IS Nee A A E E A I E E s AS 54 Abbildung 5 1 Schematische Darstellung der Versuchsanlage KAWOLLEK et al 2002 58 Abbildung 5 2 Foto von der Versuchsanlage mit Transferstrecke Robotern Kameras uid Be UCIN Sunena T O 59 Abbildung 5 3 Roboter an der Versuchsanlage Kurzarmtyp RV E4NM links und Langarmtyp RV E3NLM rechts Beide Roboter sind auf Linearachsen montiert die dem AkUONSTaumerwe lein user EE E E E 60 Abbildung 5 4 Entwickelter Erntegreifer f r die Ernte von Bliitenstielen 61 Abbildung 5 5 Kameras DFD 4023 in Stereoanordnung uuueseeeesssenenennnnnnnnnnnnennnnn 62 Abbildung 5 6
213. rtbildung Es fand keine eigentliche Tiefenbestimmung mit den Kameras statt da eine recht gleichm ige Tiefe durch die Kultivierungsmethode gegeben war CAO et al 2000 und NAGATA et al 2000 entwickelten ebenfalls ein System zur Erdbeer ernte F r d e Erkennung der Fr chte wurden Bilder von Farbkameras unter nat rlichen Lichtverh ltnissen verwendet welche in den Lab Farbraum konvertiert wurden F r die Ent fernungsmessungen wurde zus tzlich ein Laser Sensor eingesetzt Es wurde ein schonendes Erntesystem f r eine Roboter mit vier Freiheitsgraden entwickelt welches die eigentlichen Fr chte nicht ber hrte sondern an den Stielen abschnitt und dann ablegte 2 2 3 Tomate F r die Ernte von Tomaten wurden verschiedene Systeme mehr oder weniger weit entwickelt KONDO et al 1996a beschreiben ein System zur Ernte von Cherry Tomaten Sie setzten eine Farb Kamera f r die Bildgenerierung ein Die Erkennung der Frucht erfolgte ber unter schiedliche Verrechnung der RGB Farbkan le und Schwellenwertbildung Tiefeninformatio Literatur bersicht nen wurden mittels Stereobildverarbeitung gewonnen wobei eine einzelne Kamera eingesetzt wurde um aus unterschiedlichen Positionen die Stereobilder zu erzeugen Als Endeffektor wurde ein Saugsystem entwickelt welches auf einem Roboter mit sieben Gelenken montiert war Mit dem System wurde eine Ernterate von 70 erreicht Von SUBRATA et al 1997 wurde ein 3 D Sensor f r die Erk
214. s m letzten Durchgang der Bl tenstiel n cht geerntet wurde Es wurde der Erntevorgang dann f r den n chsten Bl tenstiel versucht Wurde die gleiche Anzahl Bl ten erkannt wurden zun chst verschiedene Kontrollen durchge f hrt Zun chst wurde berpr ft ob noch Bl tenstiele vorhanden waren also die Anzahl erkannter Bl tenstiele gr er null war War dies nicht der Fall wurde der komplette Ernte vorgang beendet Im Anschluss wurde kontrolliert ob die Ernte bereits bei allen noch vorhan denen Bl tenstielen versucht wurde War dies der Fall wurde die n chste Position mit der 154 Ernte der Bliitenstiele Pflanze angefahren Zuletzt wurde berpr ft ob die beobachtete Anzahl Bl tenstiele gleich der theoretisch angenommenen Anzahl war So war es z B m glich dass n den betrachteten Aufnahmen nicht alle Bl tenstiele erkannt wurden War sie geringer wurde die n chste Posi tion angefahren Die theoretisch angenommene Anzahl ergab sich aus dem Wert einer Spei chervariable in der Software welcher st ndig aktualisiert wurde Diese ergab sich zu Beginn des Erntevorgangs aus der maximal erkannten Anzahl und wurde dann je geerntetem Bl ten stiel verringert Abbildung 7 19 Beispiel f r einen nicht erreichbaren Bl tenstiel Bei der in der Simula tion dargestellten Szene war der hintere Bl tenstiel nicht erreichbar da keine kollisions freie Ernteposition bestimmt werden konnte 155 Ernte der Bliitenstiele
215. s einzelnen Bildes zu ermitteln Der Vorteil der Verwendung eines normalisierten Kameramodells liegt darin dass die Pro jektion nicht mehr von der Charakteristik einer spezifischen Kamera abh ngt Dies verein facht viele Berechnungen 36 Grundlagen 4 2 2 2 Innere Kameraparameter Ein Punkt in einem digitalen Bild wird gew hnlich in Pixeleinheiten angegeben Innerhalb der Bildebene ist deshalb eine weitere Transformation notwendig welche den bergang von metrischen Kamerakoordinaten in Pixelkoordinaten beschreibt Abbildung 4 10 Koordinatentransformation in der Bildebene m Punkt in der Bildebene c Hauptpunkt xo yo Position des Hauptpunktes x y Achsen des Koordinatensystems der Bildebene d d Gr e eines Bildelementes des CCD Chips m x y Achsen des Pixel Koordinatensystems der Bildebene Der Ursprung des Pixelkoordinatensystems wird gew hnlich so gew hlt dass er in der oberen linken Ecke des Bildes liegt Der bergang vom metrischen Kamerakoordinatensystem in das Pixelkoordinatensystem kann durch eine Skalierung der Achsen sowie eine Verschiebung des Nullpunktes beschrieben werden siehe Abbildung 4 10 Seien d d die Gr e eines Bildele mentes des CCD Chips der Kamera in Meter und xo yo die Position des Hauptpunktes in Pixeleinheiten Die neuen Koordinaten x y ergeben sich dann aus X X VO ey 4 35 Xeye Koordinaten im metrischen Kamerakoordinatensystem xo yo Position des Hauptpu
216. s korrekt identifiziert klassifiziert wenn alle Bl tenstiele 1m Bild rich tig erkannt wurden Die Erkennungsrate bezogen auf das gesamte Bild lag mit 72 etwas geringer als die f r die einzelnen Bl tenstiele Eine genauere Betrachtung differenziert nach Anzahl der Bl tenstiele in den Einzelbildern zeigt deutliche Unterschiede Abbildung 6 33 zeigt dass die Erkennungsrate deutlich mit zunehmender Anzahl Bl tenstiele in den Bildern sinkt Beginnend mit 94 bei einem Bliitenstiel im Bild sinkt die Erkennungsrate ber 66 bei zwei Bl tenstielen auf 44 bei drei Bl tenstielen Dieser Abfall der Erkennungsrate ist durch eine steigende Anzahl berlappungen von Objekten und verdeckte Bereiche der Bl tenstiele zu erkl ren Dies zeigt die Notwendigkeit die Pflanze aus unterschiedlichen Blick winkeln aufzunehmen Was ja auch gemacht wurde und die Erkennungsrate auf 97 ansteigen lies F r die Bewertung des Algorithmus wurden auch die Bilder der zweiten Kamera analysiert um herauszufinden ob die Bl tenstiele in beiden Bildern erkannt wurden Bei Betrachtung 129 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bliitenstielen beider Bilder wurden in 61 aller F lle alle Bl tenstiele gleichzeitig in beiden Bildern korrekt identifiziert In diesen F llen w re es theoretisch m glich gewesen ein dreidimensio nales Bild der Bl tenstiele zu berechnen Betrachtet man die gesamte Aufnahmeserie der jeweiligen Pflanz
217. s was used which was mounted on an additional linear axis For harvesting an end effector was developed using razor blades for cutting the stems For harvesting process results of image processing from eight different viewpoints where analysed to enable the identification of all flower stems n at least one of the positions Harvesting was performed stepwise if necessary in different positions of the plant To realise a collision free harvesting process a path planning module was integrated Additionally an algorithm for flower stem tracking was implemented to predict the appearance of the flower stem in the following none visible area In harvesting experiments 80 of all flower stems where harvested The rate of harvested flower stems was decreasing with increasing number of flower stems per plant Looking at plants with one ore two flower stems 98 of the flower stems where harvested 51 of all flower stems where harvested at plants with five ore more flower stems Generally the image processing algorithm and the modules for path planning and robotic control are applicable with modifications Transferring the harvesting results to other plant species with similar habitus 1s supposed to be possible Keywords robotic harvesting image processing Gerbera jamesonii Inhaltsverzeichnis Inhaltsverzeichnis ADHIGUNO SVEZE IC DM ks ee ee me I Tabellenverze ichn ls ates rat ne nenne X Abk rzungs und Symbolverzeichnts ccssss
218. salen Teil des Stiels verwendet wurde In Ernteversuchen konnten 80 aller Bliitenstiele geerntet werden Die Ernteraten nahmen mit steigender Anzahl Bl tenstiele an der Pflanze ab So konnten bei Pflanzen mit ein bis zwei Bl tenstielen 98 aller Bliitenstiele geerntet werden bei Pflanzen mit f nf und mehr Bl ten stielen nur noch 51 Das beschriebene Gesamtsystem ist in der Praxis ohne Modifikationen nicht einsetzbar Daf r m sste eine Reifegradbestimmung integriert und ein Erntegreifer entwickelt werden welcher das in der Praxis bliche Herausziehen der Bl tenstiele erm glicht Der Bereich der Bildver arbeitung und die Module zur Pfadplanung und Ansteuerung der Roboter sind mit Modifika tionen prinzipiell einsetzbar eine bertragung auf die Bl tenstielernte bei anderen Kulturen mit hnlichen Randbedingungen ist denkbar Die Pfadplanung ist auch f r Mehrrobotersys teme einsetzbar F r Arbeiten mit st rker belaubten Objekten und mehr berschneidungen im Bild z B Ernte belaubter Bl tenstiele oder Stecklingsernte sind weitere Entwicklungen im Bereich des Bildverarbeitungsalgorithmus notwendig 184 Literaturverzeichnis 10 Literaturverzeichnis ABMAYR W 1994 Einf hrung n die digitale Bildverarbeitung B G Teubner Stuttgart AHRENS U 1990 Steuerung und Programmierung In WARNECKE H J und R D SCHRAFT Hrsg Industrieroboter Handbuch f r Industrie und Wissenschaft Springer Verlag Berlin
219. satz mit 40 Bildern ver wendet Da jede Sehne einzeln bewertet werden musste wurden nicht alle n der Entwick lungsphase zur Verf gung stehenden Bilder verwendet In diesen 40 Bildern waren 65 poten tielle Bl tenstielregionen Hg mit insgesamt 19134 einzelnen Sehnen enthalten F r die Auswertung wurde ein Programm geschrieben welches eine Klass f kation der Sehnen per Mausklick erm glichte Alle 19134 Sehnen wurden dann einzeln per Mausklick den Klassen Sehne ist Teil eines Bl tenstiels oder Sehne ist nicht Teil eines Bl tenstiels zugeordnet F r die Beurteilung der St rungsreduzierung wurde ein zus tzliches Programm erstellt mit dem die nach der Klassifikation der Einzelsehnen entstandenen Teilregionen siehe Abbildung 6 13 Mitte mittels Mausklick als ist Bliitenstielteil oder ist nicht Bl tenstiel teil klassifiziert wurde Die 40 Bilder wurden randomisiert einem Trainings und Testdatensatz zugeordnet im Ver haltnis 60 40 bezogen auf die Bilder Der Trainingsdatensatz bestand dann aus 24 Bildern 39 Einzelregionen und 11532 Sehnen der Testdatensatz aus 16 Bildern 26 Regionen und 7602 Sehnen Die zun chst als Textdatei gespeicherten Daten wurden in einer Excel Date zusammenge f hrt und f r die statistische Auswertung in SAS importiert Als diskriminanzanalytische Methoden wurden die lineare Diskriminanzanalyse die quadrati sche Diskriminanzanalyse und die k N chste Nachbarn Methode ge
220. sch orientierten Bildmanipulationen werden h ufig auch Verfahren zur Bildverarbeitung eingesetzt die auf geometrische oder geometrisch orientierte Grundformen aufbauen und z T mit morphologischen Operationen ermittelt werden k nnen RATH 1997 Der Schwerpunkt einer Region H berechnet sich als der Mittelwert der Zeilen bzw Spalten koordinaten aller Punkte MVTEc 1999 und wird hier wie folgt definiert amp H n 4 12 H Eingabefl che Punktemenge Ps geometrischer Schwerpunkt von H Die Umh llung eines Objektes ohne Einbuchtungen beschreibt die konvexe H lle 19 Grundlagen H Hye 4 13 H Eingabefl che Punktmenge Py konvexe H lle von 7 Fpeu Konvexe H lle Punktemenge Wichtige grundlegende Mengenoperationen f r Punkt Mengen sind Mengendifferenz H H H pou 4 14 H Eimgabeflache Punktmenge H Fl che die von H abgezogen wird Punktmenge Heu Mengendifferenz mit allen Punkten aus H die nicht in As enthalten sind Punkt menge Schnittmenge A OH H peu 4 15 H Eingabeflache Punktmenge H Eingabeflache Punktmenge Ane Schnittmenge mit allen Punkten die sowohl in H als auch in H enthalten sind Punktmenge und Vereinigungsmenge HP SH 4 16 H Eingabefl che Punktmenge H Eingabeflache Punktmenge Heu Vereinigungsmenge mit allen Punkten die in H und in H enthalten sind Punkt menge 4 1 3 Merkmalsoperatoren f r Bildobjekt
221. sen kann die bereits in 4 26 eingefiihrte dreidimensio nale Rotationsmatrix R generiert werden Nach KLETTE et al 1998 kann die Rotations matrix R zur Transformation eines Punktes mittels der drei partiellen Transformationen R R und R beispielsweise folgenderma en beschrieben werden h BR B R R R RR 57 rn 4 29 Hh R K R Rotationsmatrix Rx Ry Rz Rotationsmatrix f r die Rotation um die X Y bzw Z Achse Matrix R beschreibt eine Rotation um die X Achse um den Winkel a Ry eine Rotation um die Y Achse um den Winkel B und R eine Rotation um die Z Achse um den Winkel y Es gilt l 0 0 cosp 0 snp cosy siny 0 R 0 cos sina R 0 l 0 R siny cosy 0 4 30 0 sina cosa sinp 0 cosp 0 0 l Rx Ry R Rotationsmatrix f r die Rotation um die X Y bzw Z Achse a B y Drehwinkel um die Achsen 32 Grundlagen Die Schreibweise aus 4 29 erlaubt nach MVTEC 2002 zwei unterschiedliche Interpretatio nen Liest man die Rotationen von links nach rechts erst um x dann um y und schlieBlich um Z SO wird um die jeweils neu entstandenen Achsen gedreht Liest man die Rotationen von rechts nach links Reihenfolge z y x so wird um die starren Achsen gedreht 4 2 2 Das Kameramodell F r die Rekonstruktion dreidimensionaler Informationen aus Bilddaten wird ein mathemati sches Modell ben tigt welches das Kamerasystem beschreibt und mit dessen Hilfe die gew nschten Informationen berechnet werden k nnen F
222. solche Kontingenztabelle schematisch Die Darstel lung einer positiven und einer negativen Klasse beruht auf der Benennung wie sie h ufig in medizinischen und biologischen Tests verwendet wird und hat sich in vielen Bereichen durchgesetzt F r die Verwendung dieser Bezeichnungen ist es notwendig eine Klasse als positiv und eine als negativ zu bezeichnen Diese Benennung ergibt sich meist logisch aus der Fragestellung da oft eine bestimmte Klasse von Elementen gesucht ist mit denen weiter gearbeitet werden soll Eine falsch positive Entscheidung wird in der Statistik auch als Fehler 1 Art bezeichnet eine falsch negative als Fehler 2 Art Tabelle 4 1 Grunds tzliches Schema einer Kontingenztabelle zur Darstellung von Klassifikationsergebnissen Tats chliche Klassenzugeh rigkeit Vorhersage Klassenzugeh rigkeit Klasse positiv K Klasse negat v K Vorhersage positiv VP Richtig positiv RP Falsch positiv FP Vorhersage negat v VN Falsch negat v FN Richtig negat v RN Ebenfalls aus dem medizinischen Bereich abgeleitet sind Verh ltni sma zahlen welche aus den Daten einer Kontingenztabelle ermittelt werden k nnen Die am h ufigsten verwendeten 51 Grundlagen Ma zahlen sind die Sensitivit t und die Spezifit t Diese sind wie folgt definiert WEISS und KULIKOWSKI 1991 DEICHSEL UND TRAMPISCH 1985 Se RP KP 4 58 Se Sensitivitat RP Anzahl richtig positiv zugeordnete Elemente
223. spondierender Bildpunkt und das optische Zentrum bilden eine gerade Linie Diese Art der Projektion vom dreidimensionalen Raum in 33 Grundlagen die Ebene wird perspektivische Projektion genannt vergleiche XU und ZHANG 1996 sowie FAUGERAS 1993 Die Projektion eines Punktes M mit Koordinaten X Y Zul im dreidimensionalen Raum auf den Punkt m mit Koordinaten ey in der Bildebene ergibt sich aus dem Strahlensatz Ye HS 4 31 Xk Vk Koordinaten des Punktes mz der Projektion von M in der Bildebene Xn Yr Zk Koordinaten des Punktes M im dreidimensionalen Raum Abbildung 4 9 Lochkameramodell M Punkt im dreidimensionalen Raum m Projektion von M in der Bildebene Ox optisches Zentrum Nullpunkt des Kamerakoordinatensystems c Hauptpunkt f Brennweite Xy Y Zr Achsen des Kamerakoordinatensystems x y Achsen des Koordinatensystems der Bildebene Die Wahl von f entspricht lediglich einer Skalierung des gesamten Bildes Wird f als Einheit des Kamerakoordinatensystems gew hlt spricht man von einer normalisierten Kamera Per Definition gilt f r das normalisierte Kameramodell f 1 d h die Bildebene befindet sich in einer einheitlichen Entfernung vom optischen Zentrum O Die normalisierte Projektion auf den Punkt m eae ergibt sich somit aus 34 Grundlagen X n Xe Me Z Z 4 32 Xn Yn normalisierte Koordinaten der Projektion von M auf m in der Bildebene Xr Yr Zr Koordinaten des Punktes
224. sssssssccccccceccceeeeeaeeeeeeeceaecceeaceceeeeeeeeeeeeeeeeeeeeees XI PRAMAS uns stich hha ended alto nla see l 2 MEANS PAU EU DUS ine ee 3 21 EaU SAED a rE A E E A L E E E E T dte ta aosa ieee 3 22 Systeme zur automatisierten PIS 242 514 ital sored eis 4 22 SAD ee nee 4 2 2 2 LANAI TUNG AG ee ee ee 4 DOs NIE OBER ae ee 5 224 Konkrete essen ee 5 225 AUDO N ee aac eae aster es a eens 5 22 0 WAZ sie see een einleiten 6 22 7 NTIS BC De een ee emailen 6 298 Todes T else Me ee 6 29 UKO a a ee nein uns alas 7 2 2 10 Ernte von Blutenstielen 2 2 inte 2 sen lasnieen 8 2 3 Systeme zur Automatisierung von Vermehrungsarbelten ccceeseeeeeennennnenn 8 Zul TENE De KU LT EE ee Release EE 8 23 2 SUCCKMMOS VEINS hN eane a T E N 9 24 SRA ZU Oia ots Sedat easoues sasdensreiacal ease 10 25 Gesamtbetrachtung der Praxistauglichkeit ccccccccccccccceceeeeeeeseeesssssseeeeeeeeeeeeees 10 EEE oe We 0 I ee ee ee een E re eneree 11 d 13 7 e e e E E E eects 13 4 1 Bildver rbeitunst saleorithmen es u8 nee E A 13 4 1 1 Darstellung von Bildinformationen 220000ssssssennnnnnnnnnnnnnnnnnnnnnnnnennnn 13 4 1 Bildes ehem 13 AN Ae P nkimeneen IRC OL OTe accesso ai acct a 15 4 1 3 E htlanpenkodietune essen ee 15 4 1 2 Bearbeitung und Manipulation von Punktmengen Regionen 16 4 1 3 Merkmalsoperatoren f r Bildobjekte uu0sssssssnnnnnnnnnnnnsneneeen
225. stiels im dreidimensionalen Raum Alle Punkte wurden im Koordinatensystem der linken Kamera gespeichert 6 9 3 Erstellung des 3D Modells der Gerbera Als Grundlage f r die Ernte der Bl tenstiele diente ein abstrahiertes dreidimensionales Modell der Pflanze welches auf Bas s der Ergebnisse der Bildverarbeitung erstellt wurde Dieses Modell wurde n das Bas smodell der Versuchsanlage integriert und deshalb ebenfalls im Open Inventor Format definiert Das Modell bestand 1m wesentlichen aus den drei Kom ponenten Hauptpflanze Bl tenstiel e und Bl te n Hauptpflanze und Bl te n wurden dabe aufgrund von berechneten Ober und Untergrenzen stark vereinfacht als Zylinder modelliert Die Berechnung der Bl tenstiele erfolgte detaillier ter Die einzelnen berechneten Punkte M xyz der Bl tenstiele wurden dazu mittels Stre cken miteinander verbunden Die weiteren Berechnungen wurden im Weltkoordinatensystem durchgef hrt welches im Rahmen des Kalibriervorgangs festgelegt wurde Aus diesem Grund wurden die Bl tenstiel punkte aus dem Kamerakoordinatensystem in das Weltkoordinatensystem konvertiert Grundlage f r die Konvertierung waren die Ergebnisse aus der Kalibrierung siehe Kapitel 5 3 3 welt Mi e welt Fy kam ML 6 1 1 kam F r die weiteren Berechungen wurden der unterste Punkt M und der oberste Punkt M der Bl tenstiele verwendet Der unterste Punkt M des Bl tenstiels wurde definiert als der Punkt aller 1 Pu
226. suche Entwicklung Bildverarbeitung 11 2001 1 2002 2 2002 Test Gesamt Bildverarbeitungs Algorithmus 05 2003 Ernteversuche Material und Methoden Abbildung 5 20 Beispielpflanzen des Pflanzensatzes welcher fiir die Ernteversuche ver wendet wurde Oben Sorte Arobella unten Sorte Cornice 83 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bliitenstielen 6 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bl tenstielen 6 1 Allgemeines Der Bildverarbeitungsalgorithmus stellt die Grundlage f r d e Berechnung von dreidimensio nalen Informationen dar welche sp ter zur Ansteuerung der Roboter verwendet werden Das Gesamtsystem baut auf der Erkennung und Modellierung der Bl tenstiele auf Deshalb war das Ziel f r den Bildverarbeitungsalgorithmus die Bl tenstiele in den aufge nommenen Bildern zu erkennen Dabei sollten m glichst alle Bl tenstiele in beiden Bildern der Stereoaufnahmen erkannt werden Keinesfalls sollten Objekte m Bild f lschlicherweise als Bl tenstielobjekte klassifiziert werden Die Erkennung der Objekte sollte zudem hinrei chend genau f r eine sp tere Berechnung der dreidimensionalen Informationen sein Die Ausgangsobjekte und damit auch die aufgenommenen Bilder waren wie es f r pflanz liche Objekte zu erwarten ist sehr heterogen Die Problematik wird durch Abbildung 6 1 ver deutlicht Die Pflanzen unterscheiden sich stark m Habitus und der
227. suchsanlage war ein PC mit Pentium III Prozessor und 550 MHz Taktfrequenz installiert Dieser war direkt mit der SPS den Kameras und den Drive Units der Roboter verbunden Als Betriebssystem f r den PC kam Microsoft Windows NT 4 0 zum Einsatz Die Steuerungssoftware f r die Versuchsanlage wurde n C programmiert Als Entwick lungsumgebung wurde Microsoft Visual C 6 0 MICROSOFT 2001 verwendet Ein Gro teil der Softwarekomponenten wurde gleichzeitig auch unter Microsoft Windows 2000 Professio nal und Microsoft Windows XP Professional entwickelt Die urspr ngliche rudiment re Steuerungssoftware wurde von der Firma ANT entwickelt welche die gesamte Versuchsanlage installiert hatte Diese Ausgangssoftware enthielt Grund funktionen f r die Ansteuerung der Transferstrecke der Roboter und der Kameras Die Aus gangssoftware wurde m Rahmen der Arbeit um die daf r notwendigen Komponenten erweitert Im Einzelnen lie en sich unter anderem folgende Funktionen der Versuchsanlage ber die Software steuern 66 Material und Methoden Umlaufsystem Taktung der Werkst cktr ger Geschwindigkeit der Bearbeitungsstrecke Steuerung der Hub und Drehstation ausheben drehen Roboter Positionierung inklusive Linearachsen Geschwindigkeit Bezugskoordinatensys tem Greifer auf zu Greifkraft Videokameras Bildaufnahme und Anzeige Trigger auf externes Signal z B Licht schranke Belichtungszeit He Roboteranlage Of
228. system for on line sorting of pot plants using an artificial neural network classifier Computers and Electronics in Agriculture 15 1 41 55 192 Literaturverzeichnis TOKUDA M K NAMIKAWA M SUGURI M UMEDA und M IIDA 1995 Development of Watermelon Harvesting Robot I Proceedings of International Symposium on Automation and Robotics in Bioproduction and Processing November 3 6 1995 Kobe Japan 9 16 TSAI R Y 1987 A Versatile Camera Calibration Technique for High Accuracy 3D Machine Vision Metrology Using Off the Shelf Cameras and Lenses IEEE Journal of Robotics and Automation Vol RA 3 No 4 1987 VAN HENTEN E J J HEMMING B A J VAN TULL J G KORNET J MEULEMAN J BONTSEMA und E A VAN Os 2002 An Autonomous Robot for Harvesting Cucumbers in Greenhouse Autonmous Robots 13 241 258 VAN HENTEN E J B A J VAN TULL J HEMMING J G KORNET J BONTSEMA und E A VAN Os 2003 Field Test of an Autonomous Cucumber Picking Robot Biosystems Engineering 86 3 305 313 VISSER 2000 Digital Catalogue Release 5 0 Visser International Trade amp Engineering BV Gravendeel WEISS S M und C A KULIKOWSKI 1991 Computer Systems That Learn Classification an Prediction Methods from Statistics Neural Nets Machine Learning and Expert Systems Morgan Kaufmann Publishers Inc San Mateo California WENG J P COHEN und M HERNIOU 1992 Camera Calibration with Dis
229. t dazu dass es f r die inverse Kinematik eine analytische L sung gibt Aufgrund der Konfiguration k n nen au erdem h ufig verschiedene Achsenstellungen zur gleichen gew nschten Endkonfigu ration Lage und Orientierung des Manipulators f hren Im Rahmen dieser Arbeit wurden lediglich die Module der Microb Bibliothek verwendet welche f r die Berechnung der direkten und inversen Kinematik der Roboter notwendig waren Die Definition der Roboter erfolgte dabei mittels der Denavit Hartenberg Parameter nach CRAIG 1989 78 Material und Methoden Als Eingabe fiir die Berechnung der inversen Kinematik diente die gewiinschte Zielstellung des Roboters Diese wurde als Lage des Werkzeugkoordinatensystems in Relation zum Basis koordinatensystems angegeben zur Lage der Koordinatensysteme siehe Kapitel 4 4 2 Die Angabe der Stellung erfolgte dabei als Euler Winkel mit der Rotationsreihenfolge x y z Die Transformation wurde vom Werkzeugkoordinatensystem zum Bas skoordinatensystem angegeben 5 4 4 MPK und das Open Inventor Format F r die Pfadplanung wurde die frei verf gbare C Bibliothek Motion Planing Kit MPK verwendet STANFORD UNIVERSITY 2004 MPK verwendet eine sogenannte Probabilistic Roadmap Methode RPM fiir die Pfadplanung und die integrierte Kollisionspr fung Diese z hlt zur Gruppe der Pfadplanungsmethoden mit verkn pften Grafen Bei den Probabilistic Roadmap Methoden RPM werden zuf llig Punkte 1m Konfigurati
230. t sich dabei n drei Hauptbereiche differenzieren l Bereitstellung einer Versuchsanlage welche die Voraussetzung f r die Entwicklung eines autonomen Erntesystems darstellt 2 Entwicklung eines Bildverarbeitungsalgorithmus zur Erkennung von Bl tenstielen n Bildern sowie Generierung eines dreidimensionalen Modells aus Stereobildern 3 Entwicklung eines Algor thmus zur autonomen robotisierten Ernte der Bl tenstiele bas erend auf den Ergebnissen der Bildverarbeitung Dabe sollten m glichst keine Teile der Pflanze besch digt und eine Zerst rung der Versuchsanlage ausgeschlossen werden Die Bereitstellung der Versuchsanlage umfasste dabei Kalibrierung der Versuchsanlage d h die Abstimmung der bildgebenden Sensorik mit den Aktoren um eine ausreichend genaue Ansteuerung zu erm glichen Die Entwicklung des Bildverarbeitungsalgorithmus umfasste grunds tzlich die Erkennung der Pflanze im Bild die Segmentierung von Bliitenstielen sowie die Erkennung von Uberschnei dungen bzw Differenzierung von sich tiberschneidenden Bliitenstielen Im weiteren sollte dann ein dreidimensionale Modell der Pflanze als Grundlage ftir einen automatisierten Ernte vorgang erstellt werden Dies umfasste die Zuordnung von Objekten in Stereobildern Korrespondenzanalyse sowie die Berechnung dreidimensionaler Modelle mittels Triangulation Der autonome Erntevorgang schlieBlich beinhaltete die Bestimmung von Erntepunkten anhand der errechneten
231. t unverzweigte Regionen entfernt welche keine Teile der Bl tenstiele enthielten Als Kriterium f r das Vorhandensein von Bl tenstie len wurden parallel verlaufende Kanten im Ausgangsbild verwendet Der Gesamtprozess f r die Ermittlung der parallelen Bl tenstielkanten und die Entfernung der Regionen gliedert sich in drei Teile 94 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bl tenstielen l Zun chst wurden in einem Vorverarbeitungsschritt die potentiellen Bl tenstielregio nen Hg auf schmale Regionen reduziert welche haupts chlich Bl tenstielbereiche enthielten Bl ten und andere Objekte wie Blattteile wurden in diesem Schritt auf ein Minimum reduziert 2 Daraufhin wurde in einem zweiten Schritt in diesen schmalen Regionen nach gekr mmten parallele Kanten gesucht 3 Im abschlie enden Schritt wurden von den Ausgangsregionen solche entfernt welche keine parallelen Kanten enthielten 6 5 1 Reduzierung potentieller Bl tenstielregionen auf schmale Regionen Die Reduzierung potentieller Bl tenstielregionen auf schmale Regionen welche haupts ch lich Bl tenstielregionen enthielten bas erte auf der Analyse der H ufigkeitsverteilung der Sehnenl ngen potentieller Bl tenstielregionen F r die Ermittlung der H ufigkeitsverteilung wurden die parallel zur y Achse des Bildes gedrehten potentiellen Bl tenstielregionen Hg zun chst in die Laufl ngendarstellung ber f hrt Im Ansc
232. te aber keine entscheidenden Vorteile gegen ber dem letztendlich verwendeten Verfahren Vielmehr wurden auch lineare Strukturen erkannt welche n cht Bl tenstielen zuzuordnen waren und in Bl ttern oder Bl ten erkannt wurden Hier h tte dann auch noch eine Weiterverarbeitung stattfinden m ssen Durch anschlie ende Eliminierung von Regionen ohne parallele Kanten konnten zuverl ssig die meisten Regionen entfernt werden welche keinem Bl tenstiel zuzuordnen waren Durch die anschlie ende Methode zur Entfernung von Kreuzungs bzw berlappungsbereichen wurde eine gute Grundlage f r die weitere Verarbeitung geschaffen 168 Diskussion 8 1 2 3 Verkn pfung zu Einzelregionen Als Grundlage fiir die Ermittlung von Strecken welchen den oberen bzw unteren Teil einer Region repr sentieren sollten diente eine festgelegte Menge von 50 Eingabepunkten Damit ist dieses Verfahren abh ngig von der gew hlten Aufl sung der Aufnahmen Bei Verwendung eines anderen Objektives deutlicher nderung des Kameraabstandes oder Verwendung einer Kamera mit anderer Aufl sung ist das Verfahren nicht direkt bertragbar Eine bertragung w re jedoch einfach m glich indem die Aufl sung der einzelnen Bildpunkte unter Beachtung des mittleren Objektabstandes n metrische Dimensionen umgerechnet werden w rde In Vorversuchen wurde getestet ob der weitere Verlauf der einzelnen Bl tenstielregionen durch e n Polynom besser vorhergesagt werden k nnte
233. ten im Pixelkoordinatensystem Durch diese Transformation wurden dreidimensionale Koordinaten ermittelt mit f 1 Die Punkte der linken Kamera Kamera 1 wurde dann mit Hilfe der bei der Kalibrie rung ermittelten externen Kameraparameter in Form der Rotation R und der Transla tion T in das Koordinatensystem der rechten Kamera Kamera 2 berf hrt kam2 WI kam2 R kami ng 4 an 6 9 kaml Die dreidimensionalen Koordinaten einzelner Bl tenstielpunkte wurden auf der Bas s von Punktpaaren der linken und rechten Kamera mit Hilfe von Gleichung 4 54 berechnet F r jede Kamera wurde dazu der Sehstrahl mit einem Bildpunkt und dem Brennpunkt der Kamera gebildet der Brennpunkt der linken Kamera wurde wiederum in das Koordinatensystem der rechten Kamera berf hrt Der Punkt mit dem mini malen Abstand zu beiden Sehstrahlen wurde als Bl tenstielpunkt bernommen ver gleiche Abbildung 4 14 Die berechneten Bl tenstielpunkte wurden am Ende in das Koordinatensystem der lin ken Kamera zur ckkonvertiert Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bliitenstielen kam2 Ni cca 6 10 kam2 kamt nq kaml R kam2 Die Bliitenstielpunkte wurden in das Koordinatensystem der linken Kamera konver tiert da dieses das Bezugskoordinatensystem zu anderen Koordinatensystemen war Das Ergebnis der Berechnungen war eine Menge von Punkten B mit Einzelpunkten M und den jeweiligen Ortsvektoren M des Bliiten
234. tes Verfahren ist die Korrespondenzanalyse aufgrund von Objekt eigenschaften wir Ecken oder Kanten Eine bersicht solcher Verfahren bieten KLETTE et al 1998 Alles diese andere Verfahren w ren jedoch aufw ndiger gewesen sowohl bei der Berechnung des Modells als auch sp ter bei der Anwendung innerhalb der Kollisionskon trolle Ein Nachteil solcher Verfahren w re auch gewesen dass man bei Verwendung von allein zwei Bildern lediglich die sichtbaren Teile der Pflanze h tte modellieren k nnen Aufgrund der verwendeten heuristischen Methode wurde ein Modell f r die gesamte Pflanze erstellt so dass die Gefahr von Kollisionen auch bei den nicht s chtbaren Teilen reduziert wurde Einen Schritt weiter w rde ein Verfahren gehen welches aus den verschiedenen Bil dern aus unterschiedlichen Blickwinkeln ein Gesamtmodell errechnet Dadurch lie en sich theoretisch Unzul nglichkeiten welche s ch aus nur einem Blickwinkel ergeben ausgleichen Dies sind beispielsweise verdeckte Teile und berlappungen Begleitend zu den hier dargestellten Arbeiten wurden von DONIGA CRIVAT 2003 weitere Untersuchungen zur r umlichen Erfassung von Pflanzen mit Hilfe der Computerbildanalyse 171 Diskussion durchgef hrt Er erstellte dabei aus unterschiedlichen Positionen ein dreidimensionales Modell entlaubter Pelargonium Zonale Hybriden Die Versuche wurden mit der hier darge stellten Versuchsanlagen und dem hier dargestellten Versuchsaufbau durchgef
235. tes weiter nach unten w ren zwei unterschiedliche Ans tze denkbar Zum einen ein sensorisches System welches den Stiel auch in dem f r die verwen deten Kameras nicht sichtbaren Bereich erkennen k nnte Zum anderen ein Modifikation des mechanischen Erntegreifers welche d e F hrung des Greifers entlang des Bl tenstiels erm g lichen w rde F r das sensorische System w ren die Verwendung von Sperrfiltern mit unterschiedlichen Wellenl ngen und daraus generierten Differenzbildern denkbar Bez glich der Modifikation des Erntegreifers k nnten Tastsensoren eingesetzt werden welche auf Druckunterschiede an verschiedenen Punkten des Greifers w hrend eines Bewegungsablaufs reagieren 8 2 5 Schnitt und Ablage des Bl tenstiels F r d e Ernte wurde der Bl tenstiel mittels einer Ras erklinge durchtrennt F r eine praktische Anwendung w re eine Desinfektion der Schnittwerkzeuge nach dem Schnitt notwendig um der bertragung von Krankheiten vorzubeugen Es w re beispielsweise denkbar das Schnitt werkzeug nach jedem Erntevorgang n ein Desinfektionsbad zu tauchen VAN HENTEN etal 2003 verwendeten bei Gurken eine thermisches Schnittsystem bei welchem der Gurkenstiel 177 Diskussion durch anlegen einer hohen Spannung zwischen zwei Dioden und der dadurch entstehenden hohen Temperatur durchtrennt und gleichzeitig die Schnittflache wieder versiegelt wurden Ein Problem des verwendeten Greifers ist die Tatsache dass Teile der
236. testet Die ersten beiden wurden untersucht obwohl die Voraussetzung der multivariaten Normalverteilung nicht gegeben war Die Quadratische Diskriminanzanalyse wurde zus tzlich mit St rungsreduzie rung siehe Anwendung bei Min Max Methode untersucht Dazu wurde ein Algorithmus zur Klassifikation einzelner Sehnen mittels der generalisierten quadrierten Distanz auf Basis der Ergebnisse der quadratischen Diskriminanzanalyse vergleiche Gleichung 4 55 in das Aus 99 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bl tenstielen wertungsprogramm integriert Die Notwendigen Informationen f r die Berechnungen konnten den Kalibrierungsinformationen nach Durchf hrung der Diskriminanzanalyse in SAS ent nommen werden Die k N chste Nachbarn Methode wurde nicht mit St rungsreduzierung getestet Eine Imp lementierung der SAS Methode n das Bildverarbeitungsprogramm war n cht m glich da SAS bei der k N chste Nachbarn Methode keinen Zugriff auf die Kalibrierungsinformationen des Train ngsdatensatzes erm glichte SAS INSTITUTE 1999 Tabelle 6 1 Ergebnisse der Sehnenklassifikation auf der Basis der Sehnenl nge unter Verwendung verschiedener Klassifikationsmethoden Richtige Klassifikation in Gruppe _ Lauflange ist nicht Lauflange ist Teil i Teil eines Verwendete Methode f r die Klassifikation eines Bl tenstiels i Bl tenstiels Sensitivit t u Spezifit t Max Min Methode 97 59 Max Min Methode mit St
237. tionen nur die Grauwerte des neuen Definitionsbereiches verarbeitet Die visuelle Darstellung einer solchen Reduzierung entspricht einem verkleinerten Bild wobei dieser verkleinerte Definiti onsbereich nicht notwendigerweise rechteckig sein muss Der neue Definitionsbereich berechnet s ch als der Durchschnitt des alten Definitionsbereiches im Allgemeinen des gesamten Bildes mit einer Region Der neue Definitionsbereich kann also eine Teilmenge der Region sein Die eigentliche Gr e der Eingabematrix wird nicht ver ndert Der Operator wird 1m Rahmen dieser Arbeit wie folgt definiert und entspricht der Beschreibung bei MVTEC 1999 Y A H B 4 22 A Eingabebild Grauwertmatrix B Ergebnisbild Grauwertmatrix mit ge ndertem Definitionsbereich Beinhaltet nur die Grauwerte an den Stellen der in H enthaltenen Koordinaten H Eingabefl che zur Reduzierung des Definitionsbereiches von A Yr Reduzierung des Definitionsbereiches von A mit H F r die Erkennung von Kanten sind in der Bildverarbeitung zahlreiche Verfahren bekannt Im Rahmen dieser Arbeit erfolgt die Kantenerkennung nach einem von LANSER und ECKSTEIN 22 Grundlagen 1991 beschriebenen Verfahren Dieses ist in der Halcon Bibliothek MVTEc 1999 imple mentiert Der beschriebene Kantenoperator liefert die Kantenrichtung als Grauwertbild zur ck Die Kantenrichtungen werden bei der R ckgabe in 2 Grad Schritten kodiert d h eine Kanten richtung von x Grad bezog
238. tisierungs grad gekennzeichnet sein Autonome Robotersystem welche auch komplexere Kulturarbeiten erledigen k nne haben in der Praxis noch keine Bedeutung erlangt Bisherige Untersu chungen und Entwicklungen in diesem Bereich wurden insbesondere zur Ernte von Obst und Gem se durchgef hrt Im Bereich des Zierpflanzenbaus liegen bisher fast keine Untersu chungen vor Um den autonomen Einsatz von Robotern in gartenbaulichen Kulturverfahren voranzutreiben sind weitere grundlegende Untersuchungen notwendig Im Rahmen der vorliegenden Arbeit wurde eine System zur automatisierten Ernte der Bl ten stiele von Gerbera jamesonii mit Hilfe bildanalytischer Methoden entwickelt Die Arbeit gliedert sich im wesentlichen in zwei Teile die Entwicklung eines Algorithmus zur Erken nung von Bliitenstielen in digitalen Bildern und die Entwicklung eines Algorithmus zur Ernte der Bliitenstiele mit einem Roboter Bilder der Pflanze wurden mit einem Stereokamerasystem erfasst welches aus zwei hoch aufl senden CCD Kameras mit Infrarotfiltern bestand Die Pflanze wurde auf einem Drehtel ler positioniert und es wurden Aufnahmen aus acht unterschiedlichen Positionen gemacht Der entwickelte Bildverarbeitungsalgorithmus segmentierte zun chst potentielle Bl tenstiel regionen im Bild entfernte St rungen und setzte die verbleibenden Regionen zu Bl tenstiel objekten zusammen Aus den Daten beider Bilder wurden dann mittels Triangulation dreidi mensionale Model
239. tortion Models and Accuracy Evaluation IEEE Transactions on pattern analysis and machine intelligence 14 10 965 980 XU G und ZHANG Z 1996 Epipolar Geometry in Stereo Motion and Object Recognition Kluwer Academic Publishers Dordrecht ZIMMER K Hrsg und F ESCHER 1991 Hauptkulturen im Zierpflanzenbau Ulmer 1991 193 Name Geburtsdatum Geburtsort Familienstand 1979 1983 1983 1992 7 1992 7 1993 8 1993 7 1995 10 1995 3 2000 2 1997 3 1997 3 1998 4 1998 3 2000 10 2004 6 2000 12 2004 seit 11 2004 Lebenslauf Marco Kawollek 29 04 1973 Kassel verheiratet 1 K nd Schulausbildung Grundschule Dorothea Viehmann Schule Kassel Gymnasium Engelsburg Kassel Abschluss mit der allgemeinen Hochschulreife Zivildienst Z vildienst bei der Johanniter Unfall Hilfe e V in Kassel Berufsausbildung Ausbildung zum G rtner Fachrichtung Zierpflanzenbau in den Lehr und Versuchsanlagen der Arbeitsgruppen Botan k der Universit t Gesamthochschule Kassel Studium Gartenbaustudium an der Universit t Hannover Abschluss Dipl Ing agr Diplomarbeit Projekt zum Aufbau und zur Analyse eines E Commerce Systems n einem gartenbaulichen Spezialbetrieb Praktika w hrend des Studiums Praktikum bei der F rma Ernst Benary Samenzucht GmbH Praktikum beim Verlag Eugen Ulmer GmbH amp Co Stuttgart Berufst tigkeit Wissenschaftlicher Mitarbeiter am Institut
240. tp msdn microsoft com visualc 11 12 2001 MITSUBISHI ELECTRIC EUROPE B V 2001 MELFA Industrieroboter Bedienungs und Programmieranleitung Mitsubishi Electric Europe B V Ratingen MITSUBISHI ELECTRIC 1998 Movemaster Industrieroboter Technisches Handbuch RV EN Mitsubishi Electric Europe B V Ratingen MOESLUND T B M AAGAARD und D LERCHE 2005 3D Pose Estimation of Cactus Leaves using an Active Shape Model 7th IEEE Workshop on Application of Computer Vision IEEE Workshop on Motion and Video Computing 5 7 January 20005 Breckenridge CO USA 468 473 189 Literaturverzeichnis MONTA M 2000 Robots for Bioproduction Systems Preprints Bio Robotics Il 2nd IFAC CIGR International Workshop on Bio Robotics Information Technology and Intelligent Control for Bioproduction Systems November 25 26 2000 Sakai Osaka Japan 1 11 MURAKAMI N K INOUE und K OOTSUKA 1995 Selective Harvesting Robot of Cabbage Proceedings of International Symposium on Automation and Robotics in Bioproduction and Processing November 3 6 1995 Kobe Japan 25 31 MVTEc 1999 Halcon Reference Manual C Version 5 2 MVTec Software GmbH M nchen MVTEc 2001 Halcon Reference Manual HDevelop syntax 5 2 MVTec Software GmbH M nchen MVTEc 2002 Grundlagen der Kamera und der Hand Auge Kal brierung in HALCON MVTec Software GmbH M nchen NAGATA M Q CAO K HIYOSHI S MUTA und K OoTsu 2000
241. ttierten und somit f r die f r den Menschen sichtbaren Wellenl ngen undurchl ssig waren Der Grund f r die Verwendung dieser Sperrfilter war die Tatsache dass Teile der Gerberapflanze Strah lung in diesem Wellenl ngebereich deutlich st rker reflektierten als die im sichtbaren Bereich Abbildung 5 7 Deshalb wurde versucht ob mit diesen Sperrfiltern eine deutlichere Abgren zung der Pflanze vom Hintergrund erzielt werden konnte obwohl die Reflektionscharakte ristika der umgebenden Anlagenteile nicht bekannt waren In Abbildung 5 8 sind die Transmissionsverhalten der beiden f r die Kameras verwendeten Filter dargestellt Der Abbildung ist zu entnehmen dass die Filter Strahlung erst ab ca 800 nm transmittieren also etwa ab dem Bereich bei dem die Reflektion der Gerberabl tter in Abbildung 5 8 deutlich zun mmt Abbildung 5 9 zeigt den Vergleich von Aufnahmen ohne und mit Sperrfilter Deutlich zu erkennen sind die starken Kontraste zwischen Pflanze und Hintergrund welche eine Segmen tierung bei der Bildverarbeitung vereinfachen sollten 63 Material und Methoden Reflektion 1300 1500 1700 1900 2100 2300 Wellenlange nm Abbildung 5 7 Reflektion vier verschiedener Gerberabl tter in Abh ngigkeit von der Wellenl nge Deutlich zu erkennen ist der Anstieg der Reflektion beim Wechsel vom sichtbaren Bereich in den nahen Infrarotbereich eigene Untersuchungen Wellenl nge nm
242. um 45 Grad gedreht von links nach rechts und von oben nach unten Die identi fizierten Bliitenstielobjekte sind farblich markiert Die Pflanze wurde auf der Transportpalette zun chst an den zentralen Arbeitsbereich gefahren und die Palette mit der Hub Dreh Einheit angehoben Dann wurden zu Beginn des Erntevor gangs acht Aufnahmen aus unterschiedlichen Positionen erzeugt Dazu wurden in jeder Posi tion Aufnahmen mit beiden Kameras gemacht und die Bl tenstiele mit Hilfe des Bildverar beitungsalgorithmus identifiziert Die Anzahl erkannter Bl tenstiele f r diese Position wurde gespeichert wenn in den Bildern beider Kameras die gleiche Anzahl Bl tenstiele erkannt wurde ansonsten wurde Null gespeichert Im Anschluss wurde die Palette mit der Pflanze auf der Hub Dreh Einheit um 45 gedreht und der Vorgang fortgesetzt bis Aufnahmen aus acht 153 Ernte der Bliitenstiele unterschiedlichen Positionen analysiert wurden Eine solche Aufnahmeserie mit erkannten Bl tenstielobjekten ist in Abbildung 7 18 dargestellt Als tats chliche Anzahl Bl tenstiele der Pflanze wurde die maximale Zahl von Bl tenstielen angenommen welche in einem Bildpaar gefunden wurde in beiden Bildern musste gleiche Anzahl erkannt werden Alle Positionen n denen diese Anzahl Bl tenstiele erkannt wurde wurden als potentielle Erntepositionen eingestuft Diese Positionen wurden in der Folge der Reihe nach angesteuert bis entweder alle Bl tenstiele geerntet ware
243. um e n sehr robustes Verfahren Eine hnliche Methode wie die hier verwendete Max Min Methode zur Identifizierung schmaler Bereiche beschreiben SINGH und MONTEMERLO 1998 zur Sortierung von Stecklin gen S e verwendeten einen hnlichen Algor thmus erfolgreich zur Aufteilung von Steck lingsbereichen basierend auf der Auswertung eines Histogrammes mit Laufl ngenh ufigkei ten wie er hier be Gerbera f r die schmalen Bereiche Anwendung fand 8 1 2 2 Parallele Kanten Der entwickelte Algorithmus zur Erkennung parallel verlaufender Kanten lieferte in den Untersuchungen gute Ergebnisse und arbeitete mit einer Sensitivit t von 99 und einer Spe z f t t von 96 fast fehlerlos Die nahezu identischen Ergebnisse der Methode der Entschei dungsregeln mit festen Schwellenwerten und der k N chste Nachbarn Methode ist anschau lich durch die Verteilung der Werte des Trainingsdatensatzes in Abbildung 6 15 zu erkl ren Die Werte der beiden Gruppen sind dabei relativ eindeutig voneinander getrennt Aufgrund der Lage der Gruppenwerte ist eine gute Trennung mittels zwei einfachen Schwellenwerten m glich Damit werden vergleichbare Ergebnisse wie mit der k N chste Nachbarn Methode 167 Diskussion erreicht welche die Originaldaten aufgrund von Nachbarschaften analysiert Aufgrund der einfachen Implementierung wurde die Methode mit festen Entscheidungsregeln verwendet Voraussetzung fiir das Funktionieren der Methode ist jedoch dass neb
244. urchtrennt und fast zeitgleich zwischen den Greiferbacken festgeklemmt Abbildung 7 15 Schlie en des Greifers und Abtrennen des Bl tenstieles 148 Ernte der Bliitenstiele 7 1 7 Ablage des geernteten Bl tenstiels Nach dem Schnitt des Bl tenstiels wurde der Greifer mit dem Bl tenstiel zur Ablageposition bewegt Der gesamte Bewegungsablauf sollte dabei m glichst einfach bestimmt werden F r den we teren Bewegungsablauf wurde der geerntete Bl tenstiel bei der Kollisionsberechnung nicht weiter ber cksichtigt da es sich in Vorversuchen gezeigt hatte dass dieses ausreichend war eine aufw ndigere Alternative w re gewesen das Modell des geernteten Bl tenstiels mit dem Robotermodell zu verbinden Linearachse an Position 0 5 m Linearachse um Betrag des oberhalb Grundstellung fahren Weges x Richtung aufw rts bewegen der bei der Stielverfolgung abw rts zur ckgelegt wurde Pfadplanung zu Ausgangsstellung der sechs Hauptachsen und Kollisionstest f r Roboteransteuerung Linearachsenposition 0 5 m oberhalb Grundstellung Linearachse in Ausgangsstellung bringen Kollision errechnet Ablageposition anfahren Greifer ffnen Bl tenstiel Linearbewegung die bei der blesen Stielverfolgung abw rts erfolgte 8 invertieren und zur ckgehen Roboter zur ck in Ausgangsstellung fahren Roboter mittels Linearbewegung zur ck in urspr ngliche Vorernstellung fahren Abbildung 7 16 Ablauf der
245. wendet Als Eingabemengen f r die Hough Transfor mation wurden die schmalen Regionen Hs verwendet Ergebnis aus 6 5 1 da diese mit hoher Wahrscheinlichkeit Bereiche der Bliitenstiele darstellten Um die Laufzeit zu verringern wurde als Eingabe nur das Skelett der schmalen Regionen verwendet da die Hough Trans formation sehr rechenaufwendig und die Laufzeit abh ngig von der Anzahl der Eingabe punkte ist Von den Houghlinien wurden nur solche tibernommen welche mindestens durch 50 Punkte der Eingaberegion gest tzt wurden dieser Wert wurde in Vorversuchen festge legt Die bernommenen Linien wurden dann mit den unverzweigten Regionen Hug geschnitten und nach der berschneidungsfl che sortiert Als Startregion wurde diejenige Einzelregion aus Hur verwendet welche die gr te Uberschneidung mit der aktuell betrachteten Linie aufwies Abbildung 6 24 a F r die Startregion wurde paarweise ein Test auf Zusammengeh rigkeit mit oberhalb und unterhalb liegenden Segmenten durchgef hrt Als Ma f r die Zusammengeh rigkeit zweier Segmente wurde wie bereits erw hnt das Kollinearit tskriter um nach LOWE 1987 verwen det Dieses ist wie folgt definiert zur Ermittlung der einzelnen Parameter siehe auch Abbildung 6 22 113 Bildverarbeitungsalgorithmus zur Erkennung und Modellierung von Bliitenstielen p 4D9s g h 6 7 mi D Konstante f r Liniendichte D const 1 G Winkeldifferenz der Strecken bzw der Orienti
246. x Roboter Kameras EY Gerbera MPE Steuerung Transferstrecke Dreheinheit kalibinerer Paver Bihalerkommunkalon vertikale Linesrachze kalibreren honzontale Linearachse kal br eren Belichtungssteuerung Foboter aun iol ehen kameras eichen Einstellungen Geschwindigkeit FU Handbetrieb arundstellung vertikaler Aoboter 1 horizontaler Roboter Greifer auf Greifer zu Visualigierung Kamera 1 W Bild kamera 2 Y Bild kamera 2 Mm Bild Sorte Arobella gelb 1 Greifkraft Roboter 1 I I I I I I I I I I I 0 0bar Greifkraft Roboter 2 Comice orange 2 1 1 I I I 1 I 1 I ll 1 5bar Ernte starten Beenden Abbildung 5 11 Grafische Benutzeroberfl che mit Hauptkomponenten zur Steuerung der Versuchsanlage auf weitere Funktionen kann ber die Men leiste zugegriffen werden 5 2 Allgemeine Softwarekomponenten 5 2 1 Bildverarbeitungsbibliothek Halcon F r die Erkennung der Gerbera und insbesondere der Gerberabliitenstiele 1m Bild wurde ein umfangreicher Bildverarbeitungsalgorithmus entwickelt siehe Kapitel 6 Zur Vereinfachung der Entwicklung wurde eine leistungsf hige Bibliothek verwendet welche die wichtigsten gebr uchlichen Operatoren enthielt 67 Material und Methoden Die Auswertung der Bilddaten erfolgt mit dem Softwaretool HALCON 5 2 4 MVTEC 2001 Halcon ist eine Software L sung f r die industrielle B
247. z der Fl chen zwischen den einzelnen Erosions schritten berechnet Als entscheidender Erosionsschritt ab dem die potentiellen Bl tenstielre gionen entfernt werden wurde der Schritt mit der gr ten Flachendifferenz zZ zum vorherigen Schritt gew hlt Die Anzahl Schritte m bis zu diesem entscheidenden Erosionsschritt wurde gespeichert Dann wurde ein Duplikat Hy der Ausgangsregion H4 angelegt und dieses dann m mal erodiert mit einer Kreismaske des Radius 1 5 Pixel und im Anschluss m 2 mal mit der gleichen Maske dilatiert Die zwei zus tzlichen Schritte wurden hinzugef gt um die Anzahl an Arte fakten im n chsten Schritt zu verringern Die Region Hy sollte jetzt in etwa den Bereich der Hauptpflanze ohne Bl tenstiele darstellen Durch Subtraktion der Region Hy von der Ausgangsregion H4 wurde dann die Region Az generiert welche potentiell die Bl tenstiele beinhalten sollte Diese Region Hg wurde dann noch in einzelne zusammenh ngende Teilregionen Hg aufgetrennt Im weiteren wurde davon ausgegangen dass d e Bl tenstiele der Gerbera oberhalb der eigentlichen Pflanze lagen Des halb wurden von den ermittelten potentiellen Bl tenstielregionen Hg nur solche f r die Wei terverarbeitung bernommen deren Schwerpunkt oberhalb der Oberkante der Hauptpflanzen region lag Konnten keine potentiellen Bl tenstielregionen erkannt werden so wurde der beschriebene Prozess erneut durchlaufen Zur Berechnung der Fl chendifferenzen wurde
248. zanalyse Innherhalb der Gruppen Kovarianzmatrizen verwendet Ein nicht parametrisches Verfahren ist die sogenannte N chste Nachbarn Regel Dabei wird der Merkmalsvektor eines zu klassifizierenden Objektes mit denen eines Lerndatensatzes ver glichen Das zu klassifizierende Objekt wird der Klasse des Objektes aus dem Lerndatensatz zugeordnet zu dem es den geringsten Abstand hat Werden mehrere Vergleichsobjekte des Lerndatensatzes verwendet so spricht man von der k N chsten Nachbarn Regel Als Ent scheidungsregel wird das neue Objekt dann derjenigen Klasse zugeordnet die bei den k n chsten Nachbarn am h ufigsten auftritt Die k N chste Nachbarn Regel setzt theoretisch einen Vergleich mit allen Objekten des Lerndatensatzes voraus Die notwendigen Berechnun 50 Grundlagen gen k nnen durch Speicherung der Lerndaten in einem speziellen Baumformat vereinfacht werden vergleiche WEISS und KULIKOWSKI 1991 SAS INSTITUTE 1999 schl gt als Vor gabe f r das Abstandskritertum die Verwendung der Mahalanobis Distanz aus Gleichung 4 57 unter Verwendung der gemeinsamen Kovarianzmatrix vor 4 3 3 Bewertung der Klassifikation F r die bersichtliche Darstellung eines Klassifikationsergebnisses bei zwei Klassen kann eine sogenannte Kontingenztabelle verwendet werden In einer solchen Tabelle werden die tats chlichen Klassenzugh rigkeiten der untersuchten Elemente und die Klassifikationsergeb nisse dargestellt Tabelle 4 1 zeigt eine
249. zu zeitaufw ndig oder zu teuer sind Aus diesem Grunde werden die Parameter in der Praxis indirekt ber eine passende Kalibriertechnik ermittelt Das Ziel dabei ist die best m gliche Korrespondenz zwischen dem verwendeten Kameramodell mit den beobachteten bzw errechneten Parametern und den mit der Kamera aufgenommenen Bildern zu erreichen KLETTE et al 1998 Die meisten Kalibrierungstechniken bas eren auf bekannten Weltkoordinaten geometrisch definierter Kalibrier Punkte welche physikalisch durch sogenannte Kalibriermarken auf einem Kalibrierobjekt realisiert werden Die Kal brierung verwendet die Position solcher Kalibriermarken auf der Bildebene welche bei der Bildaufnahme erzeugt werden als Einga bedaten F r den Kalibriervorgang werden dreidimensionale oder zweidimensionale Objekte verwendet 4 2 3 Stereo Vision Es ist nicht m glich dreidimensionale Informationen geometrisch lediglich aufgrund der Informationen eines einzelnen Bildes zu ermitteln Der Grund hierf r st der Verlust der Tie feninformationen bei der Projektion von Punkten 1m Raum auf die Bildebene XU und ZHANG 1996 42 Grundlagen Eine L sung f r dieses Problem ist die Verwendung von unterschiedlichen Ansichten eines Objektes das sogenannte Stereo Sehen Die am h ufigsten eingesetzte Variante ist die Ver wendung von zwei versetzt angeordneten Kameras Diese Anordnung entspricht dem Prinzip des menschlichen Sehens mit zwei Augen und wird auch
250. zur Erkennung und Modellierung von Bliitenstielen die Kreuzungspunkte des Skeletts der jeweiligen potentiellen Bl tenstielregion Hg bestimmt Danach wurden aus den unverzweigten Regionen Hyg solche bestimmt welche Kreuzungs punkte beinhalteten Diese wurden entfernt falls sie oberhalb oder unterhalb jeweils mindes tens zwei direkt angrenzende Nachbarregionen aufwiesen Abbildung 6 20 Entfernung von Kreuzungsbereichen Regionen links welche Kreu zungspunkte des Skeletts der Ausgangsregion Mitte mit roten Kreisen markiert enthalten werden entfernt rechts 6 7 Verkn pfung der Einzelregionen zu Bliitenstielobjekten In den bisher beschriebenen Schritten wurden lediglich einzelne Regionen bzw Bliitenstiel segmente identifiziert In einem letzten Schritt wurden diese Segmente zu gemeinsamen Bl tenstielobjekten verkn pft Als Ma f r die Zusammengeh rigkeit zweier Segmente wurde ein von LOWE 1987 beschriebenes Kollinearit tskriterium verwendet Da das Kollinearit tskriter um auf Parametern zweier Strecken basiert wurden die Regionen zun chst durch einzelne Strecken approximiert Als Grundlage f r die Approximation dienten die Regionen der parallelen Bl tenstielkanten Hp Die einzelnen unverzweigten Regionen Hyg wurden jeweils mit allen parallelen Bl tenstielkanten Hp geschnitten Dadurch entstan den Teilmengen der parallelen Kanten die im weiteren als Hpr bezeichnet werden Durch die Reduzierung auf

Modellbasierte Robotersteuerung zur gartenbaulichen

Contents

Download Pdf Manuals

Related Search

Related Contents