A Computer Vision Based System for the Automatic Analysis of Social Networks in Honey Bee Colonies

Abstract

This thesis describes the development and implementation of the BeesBook System, a computer vision based solution for the automatic detection and analysis of behavioral patterns of honey bee colonies at the individual and collective level. The behavioral analysis of honey bee colonies requires extensive data sets describing the behavior of individual colony members. These data sets must often be created manually - a time consuming and cumbersome activity. Consequently, behavioral data sets are usually restricted to small subsets of the colony’s life, whether this regards to time, space or animal identity. By automating the data acquisition process, the BeesBook system allows the supervision of a higher number of individuals during more extended periods of time, opening the door to more sophisticated, inclusive and significant studies. The BeesBook System uses unique binary markers attached to the bees to keep track of their position and identity via computer vision software. The markers’ flexible design allows the implementation of a diversity of error-correcting codes, depending on the study’s goals and the colony’s population size. The markers adapt to the bee’s thorax shape creating a surface that withstands heavy-duty activity in and outside of the hive. Three recording seasons were conducted during the summers of 2014, 2015, and 2016 to evaluate and improve the performance of the system components. Each season extended over a period of nine weeks and generated approx. 65 million images. Prior to the beginning of each season, all members of a bee colony were individually tagged and transferred to an observation hive. The activity inside the hive was recorded using an array of four high-resolution cameras and stored for later analysis on one of the complexes of the North-German Supercomputing Alliance. Communication dances were identified in real-time using a second set of cameras comprised of two webcams running at high frequency. During the off-season, the experimental design was optimized to ensure that the generated data better serve the target of the experiment. Stored images were processed using highly optimized computer vision software to obtain the position, orientation, and ID of every marked bee. These data are further processed to generate motion paths for the colony members, which, combined with data on the communication dances, constitute an unprecedented set of knowledge on the inner life of the honey bee colony. The information obtained through this system establishes the conditions for consolidating our understanding of already known behaviors. Furthermore, this research has identified previously unknown behavioral data which ultimately extend our knowledge of bee colonies and their collective intelligence.

Diese Dissertation beschreibt die Entwicklung und Implementierung eines BeesBook Systems,welches ein Bildverarbeitungsverfahren zur automatisierten Erkennung und Analyse des Verhaltens von Bienenstöcken auf der Ebene einzelner Individuen sowie des kollektiven Verhaltens ermöglicht. Verhaltensanalysen von Bienenpopulationen setzen umfangreiche Daten voraus, die das Verhalten einzelner Mitglieder der Population beschreiben. Diese Daten müssen in der Regel manuelle erzeugtwerden,welches eine zeitintensive und aufwändige Aufgabe darstellt. Folglich waren Verhaltensdaten bisher nur auf kleine Teilbereiche (bezogen auf Zeit, Raum und Identifizierung der Bienen) des Populationslebens beschränkt. Die automatisierte Datengewinnung des BeesBook Systems erlaubt es, eine hohe Anzahl von Individuen über längere Zeiträume zu beobachten, woraus sich zahlreiche Möglichkeiten für umfassende und inklusive Untersuchungen ergeben. Das BeesBook System verwendet eindeutige, binäre Markierungen,um die Position und Identität einzelner Individuen mit Hilfe von Bildverarbeitungssoftware zu bestimmen. Abhängig von der Populationsgröße und den Zielen der Untersuchung erlaubt dieses flexible Design der Markierungen die Implementierung vielfältiger fehlerkorrigierender Codes. Die an die Thoraxform der Biene angepassten Markierungen bilden eine Oberfläche, die den durch die verschiedenen Aktivitäten in- und außerhalb des Bienenstocks hervorgerufenen Belastungen standhält. Um die Leistung der einzelnen Systemkomponenten bewerten und verbessern zu können, wurden insgesamt drei Experimente durchgeführt. DieUntersuchungen wurden im Sommerder Jahre 2014, 2015 und 2016 durchgeführt und dauerten jeweils neun Wochen. Insgesamt wurden ca. 65 Millionen Bilder aufgenommen. Vor Beginn der jeweiligen Untersuchung wurde jedes Mitglied der Bienenpopulation markiert und in einen Beobachtungsstock überführt. Die Aktivitäten innerhalb des Bienenstocks wurden mit vier hochauflösenden Kameras aufgenommen. Die so erzeugten Daten wurden auf einem Komplex des norddeutschen Verbundes für Hoch- und Höchstleistungsrechnen gespeichert. Die Schwänzeltänze wurden in Echtzeit mit einem zweiten Set von Kameras identifiziert, welches aus zwei Hochgeschwindigkeits-Webcams bestand. Während der drei Untersuchungszeiträume wurde das experimentelle Design hinsichtlich der Eignung der erzeugten Daten zur Analyse des kollektiven Verhaltens optimiert. Um die Position, Orientierung und ID jeder markierten Biene zu erfassen, wurden die gespeicherten Bilder unter Zuhilfenahme optimierter Bildverarbeitungssoftware verarbeitet. Anschließend wurden diese Daten weiterverarbeitet, um Bewegungspfade zu erzeugen, welche in Kombination mit den Informationen der Schwänzeltänze ein neuartige Einblicke in das Innenleben eines Bienenstocks erlauben. Die durch dieses System gewonnen Informationen ermöglicht es bereits bestehende Erkenntnisse Bienenverhalten zu validieren. Darüber hinaus hat diese Forschungsarbeit bisher unbekannte Verhaltensdaten erzeugt, die letztendlich unser Verständnis von Bienenstöcken und seinen Schwarmintelligenz erweitern kann.