Erforschung und Validierung der digitalen Mikroskopie und automatisierten Bildanalysen für die Diagnostik und Lehre in der Veterinärpathologie und -zytologie

Abstract

Moderne Whole-Slide-Image (WSI) Scanner sind in der Lage eine Digitalisierung von gesamten mikroskopischen Gewebeproben mit hoher Auflösung durchzuführen und ermöglichen somit eine breite Anwendung der digitalen Pathologie für die Diagnostik, Lehre und Forschung. Die Betrachtung des WSI am Bildschirm durch einen Menschen (digitale Mikroskopie) findet bereits routinemäßige Anwendung für die Untersuchung von Gewebeproben in Laboren und in der Ausbildung von (Tier-)Medizinstudierenden unter anderem aufgrund einer verbesserten Arbeits- beziehungsweise Lernflexibilität. Hingegen werden automatisierte Analysen von WSIs durch Computersoftware (automatisierte Bildanalyse) bisher vorwiegend in Forschungsinstitutionen eingesetzt, obwohl Bildanalysealgorithmen unter Verwendung von künstlicher Intelligenz – insbesondere Deep Learning – auch für die Diagnostik ein sehr großes Potential haben, die Effizienz, Reproduzierbarkeit und Genauigkeit der Befunde zu verbessern. Allerdings lagen vor meinem PhD-Projekt unzureichende Erkenntnisse für die Tiermedizin hinsichtlich der diagnostischen Sicherheit der digitalen Mikroskopie, des Meinungsbildes von Studierenden in Abhängigkeit vom Erfahrungslevel und der Anwendungsmöglichkeiten der automatisierten Bildanalyse für diagnostische Fragestellungen in der Histopathologie und Zytologie vor. Daher haben sich die eigenen Untersuchungen mit einem breiten Anwendungsspektrum der digitalen Pathologie für die Veterinärpathologie und -zytologie beschäftigt: 1) Validierung der digitalen Mikroskopie für die Diagnose von Hauttumoren des Hundes, 2) Erfassung des Meinungsbildes von Studierenden drei verschiedener Jahrgangsstufen und 3) Entwicklung und Evaluation von Bildanalysesoftware unter Verwendung von Deep Learning für die Objekterkennung von histologischen Prognoseparametern in kaninen Tumoren sowie von verschiedenen Zelltypen in zytologischen Präparaten von Lungenspülproben des Pferdes. Unsere Validierungsstudie war die erste für die Tierpathologie. Wir konnten zeigen, dass die Untersuchung von diversen kaninen Hauttumoren mittels der digitalen Mikroskopie nicht unterlegen ist im Vergleich zu der Untersuchung mittels der Lichtmikroskopie. Allerdings wurde in der Tumorgruppe der Rundzelltumore und dem Tumorgrading der Mastzelltumore eine geringfügig niedrigere Konkordanzrate für die digitale Mikroskopie festgestellt. Die durchschnittliche Zeit für die Diagnosestellung war hingegen signifikant kürzer mittels digitaler Mikroskopie. Zusätzliche Validierungsstudien für weitere Anwendungsgebiete sind notwendig, um eine generelle Aussage über die diagnostische Sicherheit der digitalen Mikroskopie treffen zu können. Die eigene Meinungsumfrage über die Anwendung der digitalen Mikroskopie im Histopathologie-Curriculum hat erstmals das Meinungsbild der Studierenden aus drei aufeinanderfolgenden Jahrgängen erfasst. Unabhängig vom Semester wurde die digitale Mikroskopie als sehr positiv für das Selbststudium und als Demonstrationstool in Vorlesungen bewertet. Allerdings ergaben sich Unterschiede im Meinungsbild hinsichtlich der größten Nachteile: Studierende aus den früheren Semestern befürchteten vor allem eine mangelnde Ausbildung in der Lichtmikroskopie, während Studierende aus dem höchsten Semester vorwiegend eine unzureichende Ladegeschwindigkeit der WSIs (bedingt durch eine unzureichende Internetverbindung) kritisierten. Die digitale Mikroskopie ist ein geschätztes Instrument für die Histopathologieausbildung von Tiermedizinstudierenden aller Jahrgangsstufen mit bestehenden technischen Limitationen. Allerdings wird das Erlernen der Lichtmikroskopie weiterhin als wichtiger Bestandteil des Curriculums angesehen. Die eigenen Deep learning-basierten Bildanalysealgorithmen, die zusammen mit Forschern der Friedrich-Alexander-Universität Erlangen-Nürnberg und der Technischen Hochschule Ingolstadt entwickelt wurden, haben durchweg eine sehr hohe Leistungsfähigkeit (vergleichbar oder besser als zahlreiche Experten/innen) erreicht. Für derartige Ergebnisse sind qualitativ und quantitativ hochwertige Datensätze notwendig, welche wir für die verschiedenen histopathologischen und zytologischen Fragestellungen generieren konnten. Die meisten unserer Datensätze wurden öffentlich zugänglich gemacht, sodass diese für die weitere Entwicklung der künstlichen Intelligenz durch andere Arbeitsgruppen zur Verfügung stehen. Weiterhin haben wir erforscht, wie die Qualität und Quantität von Datensätzen durch algorithmisch-assistierte Labelingmethoden und dem Multi-Experten-Konsensus verbessert werden kann. Neben Algorithmen für die Quantifizierung von Hämosiderophagen und Zelltypen in zytologischen Präparaten von Lungenspülflüssigkeiten des Pferdes sowie die Erkennung von zwei- und mehrkernigen Tumorzellen in histologischen Schnitten war unser Forschungsschwerpunkt die Erkennung von Mitosefiguren in histologischen Tumorschnitten. Alle Ansätze haben das Potential gezeigt, die Diagnosefähigkeiten bzw. die diagnostische Effizienz der/des Pathologin/en sinnvoll zu unterstützen. Auf dem Gebiet der Mitosefiguren konnten wir beispielweise zeigen, dass unsere Algorithmen durchschnittlich eine bessere Auswahl an Regionen mit der höchsten Mitosedichte im Gewebeschnitt treffen konnten. Bildanalysen können – im Unterschied zu Pathologen/innen – die Informationen des gesamten WSI innerhalb kurzer Zeit verarbeiten und bieten somit Vorteile für eine Regionauswahl.

Modern whole slide image (WSI) scanners are capable of quickly digitizing entire microscopic tissue samples with high resolution, thereby enabling a wide field of application including diagnostic service, university curriculum and research. Interactive viewing of WSIs at a computerized workstation by a person (digital microscopy) is already routinely used for examination of tissue samples at diagnostic laboratories and for teaching of veterinary students due to the improved workflow and learning flexibility (respectively). On the contrary, computerized analysis of WSIs with computer software (automated image analysis) is currently almost exclusively restricted to research, regardless of its high potential to improve efficiency, reproducibility and accuracy of obtaining diagnoses, especially if artificial intelligence (deep learning) is used. Review of the published veterinary literature revealed a dearth of information for veterinary medicine regarding the diagnostic performance of digital microscopy, utilization for teaching students with different experience levels and possible applications of automated image analysis for histopathologic and cytologic diagnostic tasks. Therefore, the investigations of my PhD project included a wide scope of digital pathology for veterinary pathology and cytology: 1) Validation of digital microscopy for diagnosis of canine skin tumors, 2) capturing the trends of student opinions from three consecutive academic years and 3) development and evaluation of image analysis software using deep learning for object detection of histologic prognostic parameters in canine tumors as well as different cell types in cytologic specimens of equine bronchoalveolar fluids. Our validation study was the first of its kind in veterinary pathology. It showed that digital microscopy is an acceptable modality for the diagnosis of numerous canine skin tumor types in comparison to examination with traditional light microscopy. However, diagnosis of round cell tumors and two-tiered grading of mast cell tumors had slightly lower concordance rates if examined with digital microscopy. The average diagnostic time was significantly shorter with examination of WSIs. Further validation studies are necessary for additional applications of digital microscopy in order to obtain sufficient evidence of the general diagnostic capability of digital microscopy for routine use in veterinary diagnostic laboratories. Our survey regarding use of digital microscopy in the histopathology curriculum was the first to evaluate the trends of student opinions during three consecutive academic years. Independent of the academic year, digital microscopy was perceived very positively overall for self-study purposes and for demonstrating concepts during lectures. However, a significant difference in opinion between the three academic years was noted regarding the perceived disadvantages. While students from the two earlier academic years were mostly concerned about deficiencies in obtaining light microscopy skills, students of the highest academic year mostly criticized insufficient transmission speeds (related to the available internet connection). Digital microscopy was perceived as a valuable tool for teaching histopathology with some technical limitations. Regardless, veterinary students considered learning of light microscopy skills to be an important aspect of their curriculum. Our deep learning-based image analysis algorithms, which were created in collaboration with the Pattern Recognition Lab from the Friedrich-Alexander-Universität Erlangen-Nürnberg and the Faculty of Computer Science of the Technische Hochschule Ingolstadt, were able to achieve a very high performance (comparable to or even better than human experts). For such a high performance it is necessary to have access to high quality and high quantity datasets, which we were able to create for the histopathologic and cytologic tasks investigated. Most of our datasets are publicly available in order to foster further development of artificial intelligence approaches by other research groups. Furthermore, we investigated how the quality and quantity of datasets can be improved by algorithmic-assisted labeling approaches and multi-expert consensus on labels. Our main research focus was to use these algorithms for object detection of mitotic figures in histologic tumor sections. We also developed algorithms for quantification of hemosiderophages and cell types in cytologic specimens of bronchoalveolar lavage fluid of horses and for the detection of bi- and multinucleated tumor cells in histologic specimens of canine mast cell tumors. All developed algorithms showed the potential to support and improve diagnostic capabilities and/or efficiency of pathologists. For example, we proved that our deep learning-based algorithms typically outperform pathologists in finding the tumor area with the highest mitotic activity (an important part of tumor evaluation). As opposed to pathologists, algorithms have the capability to quickly and efficiently process the information captured within an entire WSIs and therefore offer an advantage for detecting regions of interest.