Automatische, hochaufgelöste 3D-Phänotypisierung von Trauben und Beeren der Weinrebe unter Feldbedingungen

Abstract

<em>Pilzwiderstandsfähige Sorten (PIWI) </em>sind eine der Innovationen im Weinbau. Das Projekt <em>Novel Viticulture Systems for sustainable production and products (NoViSys)</em> kombiniert die PIWIs zur Effizienzsteigerung mit einem neuen Erziehungssystem für Weinreben, dem Minimalschnitt im Spalier (MSS) und vergleicht es mit der Erziehung im Traditionellen Spalier System (TS). Ein wichtiges phänotypisches Merkmal zum Vergleich beider Erziehungssysteme ist der Ertrag. Für vergleichende Untersuchungen und Optimierungsmaßnahmen soll der Ertrag während der Saison in mehreren Reifestadien BBCH75 und BBCH89 ermittelt werden. Die Trauben müssen daher intakt an den Weinreben verbleiben. Um den Ertrag nicht-invasiv zu bestimmen, werden die sog. <em>Ertragsparameter</em> ermittelt: die Anzahl der Trauben und Beeren, sowie die Beerengröße. <br /> Traditionellerweise werden die Ertragsparameter durch einen erfahrenen Züchter aus wenigen visuell erhobenen Stichproben extrapoliert und zur Ertragsschätzung genutzt. Sensorbasierte Methoden zielen darauf ab, im Hochdurchsatz auf automatische und nicht-invasive Weise, objektive und genaue Ertragsparameter von einer Vielzahl von Weinreben zu bestimmen. Ziel ist es, durch eine größere und vollständigere Stichprobe der Ertragsparameter die statistische Sicherheit der Ertragsschätzung zu erhöhen. Die Aufgabe dieser Dissertation lautet daher: <br /> "Entwicklung einer nicht-invasiven, sensorgestützten Hochdurchsatz-Methode zur automatischen Schätzung der Ertragsparameter und eine auf den Ertragsparametern basierende Schätzung des Ertrages für TS- und MSS-Erziehungssysteme im Reifestadium BBCH75 und BBCH89 unter Feldbedingungen." <br /> In dieser Arbeit wird eine auf RGB-Kameras basierende Lösung der Aufgabe vorgestellt und evaluiert. Drei Teilaufgaben zur Schätzung der Ertragsparameter und des Ertrages werden dazu gelöst: <br /> 1) Datenerhebung: Entwicklung und Untersuchung <em>mobiler Sensorplattformen</em> für die Datenerhebung im Hochdurchsatz unter Feldbedingungen für beide Erziehungssysteme. Zwei mobile Sensorplattformen werden untersucht. Auf ihnen montierte RGB-Kameras nehmen in Bewegung automatisch Bilder der Weinreben aus multiplen Perspektiven entlang der Horizontalen und der Vertikalen auf. Aus den über GPS georeferenzierten RGB-Bildern werden mittels einer Multi-View-Stereo Software farbige, metrisch skalierte Punktwolken der Weinreben mit hoher geometrischer Auflösung rekonstruiert. <br /> 2) Datenklassifikation: Entwicklung einer geeigneten algorithmenbasierten <em>Klassifikationsstrategie</em>, um in den Daten Beeren und Trauben von Blättern, Ästen und anderen Bestandteilen automatisch zu unterscheiden. Zur Klassifikation wird der überwachte Klassifikator Import Vector Machine genutzt. Mehrere geometrieund farbbasierte Deskriptoren werden hinsichtlich der Klassifikationsgenauigkeit untersucht und der beste Deskriptor identifiziert. Räumliche Beziehungen zwischen den 3D-Punkten der klassifizierten Punktwolken werden in einem Graph-Cut Ansatz zur Verbesserung der Klassifikationsergebnisse ausgenutzt. <br /> 3) Quantifikation: Entwicklung einer algorithmenbasierten Strategie zur automatischen <em>Schätzung der Ertragsparameter und des Ertrages</em> aus den klassifizierten Daten. Die Untersuchungen umfassen die Schätzung der Ertragsparameter für beide Erziehungssysteme und Reifestadien, sowie einen Vergleich mit Referenzdaten. Die Ertragsparameter werden anhand der klassifizierten 3DPunkte durch ein 3D-Connected-Components Verfahren in Kombination mit Kugelapproximationen, sowie Kalibrierwerten zur Korrektur nicht detektierter und unsichtbarer Beeren und Trauben bestimmt. Des Weiteren wird eine Funktionsvorschrift zur Schätzung des Ertrages auf Basis der geschätzten Ertragsparametern formuliert. Die Ertragsschätzung wird für beide Erziehungssysteme im BBCH89 Reifestadium vorgenommen. Zwischen geschätztem und tatsächlichem Ertrag werden Abweichungen von 5% für das TS-Erziehungssystem und −21% für das MSS-Erziehungssystem erreicht.

<strong>Automatic, high-resolution 3D-phenotyping of grapevine bunches and berries under field conditions</strong><br /><em>Fungus resistant grape varieties (PIWI)</em> are one of the innovations in viticulture. The project <em>Novel Viticulture Systems for sustainable production and products (NoViSys)</em> combines the PIWIs with the new semi-minimal pruned hedge (SMPH) training system to further increase their efficiency and compares their training in the SMPH system to the traditional vertical shoot-positioned (VSP) training system. One important phenotypic trait to compare both training systems by is the yield. For comparative studies and optimization procedures the yield has to be determined multiple times during the season for the ripeness stages BBCH75 and BBCH89. For this reason the grape bunches have to remain intact and attached to the grape vines. To predict the yield non-invasively the so called <em>yield-parameters</em> are determined: the number of grape bunches, berries and the size of the berries. <br /> Traditionally the yield parameters are extrapolated by an experienced breeder from a few visually determined samples which are then used to predict the yield. Sensor based methods aim at predicting objective and accurate yield parameters from a multitude of grape vines automatically and non-invasively. The purpose is to increase the statistic reliability of the prediction through a larger and more complete sample of the yield parameters. The objective of this dissertation is thus as follows:<br /> "Development of a high-throughput, non-invasive, sensor-based method for the automated prediction of yield parameters and a yield prediction based on the yield parameters for the VSP and SMPH training system in the ripeness stages BBCH75 and BBCH89 under field conditions."<br /> In this work a solution based on the usage of RGB-Cameras is presented and evaluated. Three <em>subtasks to predict the yield parameters and the yield</em> are solved: <br /> 1) Data Acquisition: Development and Evaluation of mobile sensor platforms for highthroughput data acquisition under field conditions for both training systems. The performance of two mobile sensor platforms is studied. While moving RGB-cameras mounted on the platforms take images from multiple vertical and horizontal perspectives toward the grape vine rows. From the images georeferenced by GPS colored metric point clouds with a high geometric resolution are reconstructed using a Multi-View-Stereo software. <br /> 2) Data classification: Development of an algorithm driven <em>classification strategy</em> to automatically differentiate berries and grape bunches from leaves, branches and other objects present in data. Classification is done using the Import Vector Machine classificator. Multiple geometry- and color-based feature descriptors are studied regarding classification accuracy and the best feature descriptor is identified. Spatial relationships between the 3D-points of the classified point clouds are exploited in a graph-cut approach to improve the classification results. <br /> 3) Quantification: Generation and evaluation of an algorithm driven method to <em>automatically determine the yield parameters and predict the yield.</em> from the classified data. The experiments encompass the determination of yield parameters for both training systems and for both ripeness stages as well as a comparison with reference data. Yield parameters are determined from the classified 3D-points through a 3D connected-components method combined with sphere approximation and calibration parameters to correct for non-detected and invisible berries and grape bunches. Further a function to predict the yield based on the yield parameters is defined. Yield prediction is done for both training systems in the BBCH89 ripeness stage. Deviations of 5% for the VSP and −21% for the SMPH training system are achieved.