A Multilevel Reader Comparison Software Tool for Semi-Automated Quality Control in Cardiovascular Magnetic Resonance Imaging: Lazy Luna

Abstract

Cardiovascular magnetic resonance imaging (CMR) provides a non-invasive and detailed assessment of cardiac structures and tissues, offering valuable quantitative assessments for diverse cardiac conditions. Quantification requires precise annotations by readers, including reference points and delineations of heart chambers, myocardium and other structures. As clinical applications multiply and readers are supported by the clinical integration of artificial intelligences (AI), evaluating the reproducibility of readers and quantification methods becomes essential. The aim on this thesis is to design, implement and test an extendible software tool, Lazy Luna (LL), that is dedicated to semi-automated multilevel reader comparison to increase quality control in CMR. A multilevel comparison of readers offers annotation comparisons, quantitative clinical parameter (CP) comparisons, and causal explanations for CP differences with annotation differences. First, a software prototype was designed and implemented for short-axis (SAX) cine imaging. Annotations were modelled as geometric objects, ensuring exact calculations of segmentation metric values and CPs. Difference tracing was implemented to allow for finding causal annotation explanations for CP differences between readers. A graphical user interface (GUI) was implemented to enable user-inspection of statistical reader differences and locating their origins in annotations. LL was tested by comparing two CMR experts to each other who annotated 13 SAX cine datasets. Second, interfaces were implemented for all software components (e.g. CPs, visualizations, tables) to facilitate the extendibility of LL to new imaging sequences. The extendibility was tested by applying LL to 13 parametric T1 mapping cases annotated by two expert readers and Late Gadolinium Enhancement (LGE) cases from the openly available Emidec dataset with reference contours and AI contours. First, the software prototype of LL calculated precise segmentation metrics and CPs. The GUI allowed for tracing large CP differences to contouring differences. The SAX reader comparison revealed that differences in basal slices contour choices led to large volumetric differences. Second, the extendible back- and frontend of LL allowed for extensions to T1 mapping and LGE. For T1 mapping LL was used to trace CP differences to contouring variability. For LGE LL revealed an undertrained AI that had learned the myocardial contour, but poorly estimated scar tissue. The application cases showed that LL is useful open-source software for reader comparison on multiple imaging techniques. The semi-automated multilevel reader comparison software, Lazy Luna, was successfully implemented for several CMR imaging techniques. LL calculates differences for large cohorts and offers qualitative explanations for biases between readers. LL provides insights into the challenges of CMR standardization and promising technologies for the future of quantitative CMR.

Die kardiovaskuläre Magnetresonanztomografie (CMR) ermöglicht eine nicht-invasive Funktions- und Gewebeanalyse, die quantitative Werte zur kardialen Diagnostik beiträgt. CMR Quantifizierung erfordert Annotationen durch Auswerter, mit Referenzpunkten und Konturierungen von Herzkammern, Myokard und weiteren Strukturen. Zunehmende Anwendungen und die klinische Integration künstlicher Intelligenzen (AI) benötigen die Evaluation der Reproduzierbarkeit von Auswerter und Quantifizierungsmethoden. Ziel dieser Arbeit ist das Entwerfen, Implementieren und Testen eines erweiterbaren Software-Tools, Lazy Luna (LL), das dem halbautomatisierten mehrstufigen Auswertervergleich zur Qualitätskontrolle in der CMR gewidmet ist. Ein mehrstufiger Vergleich von Auswertern bietet Annotationsvergleiche, klinische Parameter (CP)-Vergleiche und Annotationsgründe für CP-Unterschiede. Zuerst wurde ein Software-Prototyp für die Kurzachsen-cine (SAX)-Bildgebung entworfen und implementiert. Annotationen wurden geometrisch modelliert um exakte Berechnungen von Metriken und CPs zu gewährleisten. Die Verfolgung der Differenzen erlaubte es Annotationserklärungen für CP-Unterschiede zwischen Auswertern zu ermöglichen. Eine grafische Benutzeroberfläche (GUI) wurde implementiert, um die Nutzerinspektion von statistischen Auswerterunterschieden zu ermöglichen und ihre Annotationsursprünge zu ermitteln. LL wurde getestet, indem zwei Experten miteinander verglichen wurden, die 13 SAX-Cine-Datensätze annotierten. Zweitens wurden Schnittstellen für alle Softwarekomponenten (z.B. Visualisierungen, Tabellen) implementiert, um die Erweiterbarkeit von LL auf neue Bildsequenzen zu erleichtern. Die Erweiterungen wurden getestet, indem LL zum Vergleich von zwei Experten auf 13 parametrische T1 Mappingbildern, und von Referenz- und AI-Konturen auf Late Gadolinium Enhancement (LGE) Bildern angewendet wurde. Zuerst berechnete der Software-Prototyp präzise Metriken und CPs. Die GUI ermöglichte das Verfolgen von CP-Unterschiede zu ursächlichen Konturierungsunterschieden. Der SAX- Auswertervergleich zeigte Konturunterschiede die in basalen Schichten zu großen Volumenunterschieden führten. Zweitens ermöglichte die erweiterbare Back- und Frontend von LL Erweiterungen auf T1-Mapping und LGE. Für T1-Mapping wurde LL verwendet um Konturierungsunterschiede für CP-Unterschiede zu finden. Für LGE offenbarte LL eine AI, welche die Myokardkontur gelernt hatte, aber Narbengewebe unterschätzte. Die Anwendungsfälle zeigten, dass LL eine nützliche Open-Source-Software für den Auswertervergleich mehrerer CMR Bildgebungstechniken ist. Die halbautomatisierte mehrstufige Auswertervergleichssoftware, Lazy Luna, wurde erfolgreich für verschiedene CMR-Bildgebungstechniken implementiert. LL berechnet Auswerterunterschiede und bietet qualitative Erklärungen für dieselben. LL ermöglicht Einblicke in die Herausforderungen der CMR-Standardisierung und vielversprechende Technologien für die Zukunft der quantitativen CMR.