Data-driven Disease Assessment from time-resolved Fluorescence Optical Imaging

Abstract

Fluorescence Optical Imaging (FOI) is a new method to assess Rheumatoid Arthritis, Psoriasis, and other inflammatory diseases. It can reveal inflammatory tissues and microcirculatory disorders with high spatial and temporal resolution. However, the analysis of the image data is currently performed manually with no or weak consideration of the time component. To date, there is no automatic image analysis pipeline for inflammatory diseases based on FOI data. Furthermore, the distinct phenotypes of Rheumatoid Arthritis, Psoriatic Arthritis, and comparable diseases are not fully described in FOI, yet. This thesis proposes a new unsupervised, data-driven approach, that enables disease assessment of inflammatory diseases of the hands under the unfavorable conditions (e.g., low data-availability) of medical imaging. Data-driven methods such as deep neural networks often require extensive and well-annotated data sets, which are rare and expensive in clinical research. The here presented approach uses a Variational Autoencoder and reduces the complexity of the problem by learning a low-dimensional latent space. This latent space enables further analyses such as data exploration, subgroup classification, and analysis of the underlying dynamics under low data-availability and low quality of clinical labels. For data exploration, subgroups can be summarized in latent space and then be decoded back into an image. This feature-wise average results in superior images compared to the pixel-wise average. Furthermore, the latent space allows for cluster identification by employing two-dimensional projections such as UMAP. The latent space representations enable classification tasks under low data-availability with a two-step approach. Therefore, extensions of the proposed model using Neural Networks and Random Forests are evaluated and compared. The approach can distinguish between Psoriasis Vulgaris and Psoriatic Arthritis with accuracies over 70 %. On synthetical data, accuracies of up to 97 % are achieved. In combination with the Koopman Operator Theory the underlying dynamics can be approximated linearly. This approach decomposes the temporal effects within the data, and it enables subgroup comparisons and outlier detection. This thesis investigates the application of the proposed pipeline with respect to the quality of the underlying data and discusses the necessary conditions to learn a generalizing model. The dependency of high-quality labels for supervised approaches is demonstrated with synthetical and clinical datasets.

Optische Fluoreszenz Bildgebung (Fluorescence Optical Imaging, FOI) ist ein neues Verfahren, mit dessen Hilfe entzündliche Gelenkkrankheiten wie rheumatische Arthritis und Psoriasis bewertet werden können. Entzündetes Gewebe und Störungen der Mikrozirkulation können mit hoher räumlicher und zeitlicher Auflösung dargestellt werden. Die Analyse dieser Bilddaten erfolgt zurzeit jedoch hauptsächlich manuell ohne Berücksichtigung der Zeitkomponente. Derzeit existiert kein automatischer Bildanalyseprozess für entzündliche Gelenkerkrankungen auf Basis von FOI-Daten. Darüber hinaus sind die charakteristischen Phänotypen der einzelnen Krankheiten wie rheumatischer Arthritis oder Psoriasis noch nicht vollständig für FOI beschrieben. Diese Arbeit präsentiert einen neuen datengetriebenen Ansatz mit Hilfe des unüberwachten Lernens, der eine Krankheitsbewertung bei entzündlichen Gelenkerkrankungen der Hände auch unter den ungünstigen Bedingungen (z.B. geringe Datenverfügbarkeit) der medizinischen Bildgebung ermöglicht. Datengetriebene Methoden wie die Tiefen Neuronalen Netzwerke erfordern häufig eine große Menge an gut annotierten Daten, die in der klinischen Forschung selten und teuer sind. Der hier vorgestellte Ansatz benutzt einen Variational Autoencoder, um einen niedrigdimensionalen latenten Raum zu lernen, der die Komplexität des ursprünglichen Problems drastisch reduziert. Dieser latente Raum ermöglichte somit weitere Auswertungen, darunter die Datenexploration, Klassifikation von Teilgruppen sowie die Analyse der zugrundeliegenden Dynamiken, auch wenn die Datenverfügbarkeit und die Qualität der Zielvariablen gering sind. Zur Datenexploration können Teilgruppen im latenten Raum zusammengefasst und wieder in ein Bild übersetzt werden. Diese Bilder auf Basis eines Durchschnitts der Merkmale sind Bildern eines pixelbasierten Durchschnitts überlegen. Darüber hinaus können Cluster von ähnlichen Patienten in einer zwei-dimensionalen Projektion mittels UMAP identifiziert werden. In einem Zwei-Schritt-Verfahren ermöglicht die Darstellungen im latenten Raum die Klassifikation von Teilgruppen, auch wenn die Verfügbarkeit von Zielvariablen eingeschränkt ist. Dafür wird das vorgeschlagene Modell um ein weiteres Neuronales Netzwerk oder einen Random Forest erweitert und evaluiert. Dieser Ansatz kann zwischen Psoriasis Vulgaris und Psoriatischer Arthritis mit einer Genauigkeit von über 70 % unterscheiden. Auf synthetischen FOI-Daten werden bis zu 97 % erreicht. In Anlehnung an die Theorie der Koopman Operatoren können die zugrundeliegenden Dynamiken linear approximiert werden. Dieser Ansatz zerlegt die unterschiedlichen zeitlichen Effekte innerhalb der Daten und ermöglicht so Vergleiche von Teilgruppen, sowie die Detektion von Ausreißern. Diese Arbeit untersucht die Anwendung des vorgeschlagenen Ansatzes in Bezug auf die Qualität der zugrundeliegenden Daten und diskutiert die notwendigen Bedingungen, um ein verallgemeinerndes Modell zu lernen. Die Abhängigkeit von hochwertigen Zielvariablen für überwachte Ansätze wird an synthetischen und klinischen Datensätzen veranschaulicht.