Prediction of lymph node infiltration by prostate cancer using deep learning on CT imaging

Abstract

Computer aided diagnostic tools have been developed for many decades but are only widely used in very specific diagnostic areas. New algorithmic tools, specifically deep learning, have achieved high performance and may find their way into broader clinical practice in the near future. However, the high complexity of these algorithmic tools renders them effectively ‘black boxes’, meaning that users are unable to understand how they are able to make decisions. This ‘black box’ nature of deep learning severely inhibits their introduction into high risk fields such as medicine.

In this dissertation, deep learning models were used to test the feasibility of using deep learning to aid in the diagnosis of lymphatic infiltration by prostate cancer (PCa). In order to detect the presence of PCa metastasis into the lymphatic system, 68Ga-PSMA- PET/CT is increasingly being performed. However, due to limitations of cost and availability, it is unlikely that 68Ga-PSMA-PET/CT will be useful for large segments of the population. For this reason, computed tomography (CT) has remained the most important modality for PCa staging, despite low sensitivity and specificity being reported. The goal of this work was to train deep learning models to distinguish normal from PCa-infiltrated lymph nodes based on conventional CT scan. From 549 patients where 68Ga-PSMA-PET/CT was performed, a dataset of 2616 segmented lymph nodes was used. A label of positive or negative for infiltration was generated for each lymph node on the basis of the PET reference standard. Five convolutional neural networks (CNNs), a type of deep learning model, were trained. In order to assess radiologist performance, a zero-footprint web based radiological viewer was developed. Using this viewer, the performance two radiologist reader was assessed.

The CNNs performed with an Area-Under-the-Curve between 0.95 and 0.86, compared to an average AUC of 0.81 for the experience radiologists. Of note is that CNNs were able to use anatomical surroundings to increase performance, effectively learning probabilities of infiltration by anatomical location. Two neural network explainability methods were employed to attempt understanding how CNNs achieve high classification performance. One of these methods, namely saliency map generation, provided valuable information, showing that one CNN used anatomical surroundings to increase performance. The other, known as feature visualization, did not provide useful information.

From this study, we find that CNNs have the potential to form the basis of a CT-based biomarker for lymph node metastasis in PCa. Additionally, segmentation masks are not required to achieve high classification performance.

Computergestützte diagnostische Methoden sind bereits seit mehreren Jahrzehnten in der Entwicklung, finden aber bisher nur in sehr begrenzten Gebieten Anwendung. Neue algorithmische Methoden der letzten zehn Jahre, speziell “Deep-Learning- Modelle”, zeigen eine außerordentliche Leistungsfähigkeit, und könnten daher in der Zukunft Eingang in eine weitreichende klinische Praxis finden. Einschränkend muss jedoch bemerkt werden, dass diese neuen Methoden aufgrund ihrer hohen Komplexität essentiell “Black Boxes” darstellen; in anderen Worten, es ist zur Zeit für den Benutzter nicht nachvollziehbar, wie ein Deep-Learning-Modell zu bestimmten Entscheidungen gelangt. Dieser Umstand limitiert die Anwendung von Deep-Learning- Modellen in risikobehafteten medizinischen Gebieten. Zielsetzung und Problematik In der vorliegenden Dissertation wurden Deep-Learning-Modelle daraufhin getestet, ob sie zur radiologischen Diagnose von Lymphknoteninfiltration durch Prostatakarzinome (PCa) tauglich sind. Die lymphatische Ausdehnung eines Prostatakarzinoms ist ein wesentlicher Faktor bei der Auswahl therapeutischer Maßnahmen. Zum Nachweis lymphatischer PCa Metastasen wird in zunehmendem Maße 68Ga-PSMA-PET/CT angewandt. Angesichts der Beschränkungen hinsichtlich Kosten und Verfügbarkeit ist jedoch zweifelhaft ob 68Ga-PSMA-PET/CT für weite Teile der Bevölkerung eingesetzt werden kann. Aus diesem Grund verbleibt die Computertomographie (CT), trotz geringer Sensitivität und Spezifität, die wichtigste Methode zur Stadienbestimmung des PCa. Zielsetzung der vorliegenden Dissertation war es, Deep-Learning-Modelle unter Benutzung herkömmlicher Computertomographie in die Lage zu versetzen, normale von PCa-infiltrierten Lymphknoten zu unterscheiden. Methodik Es wurden ein Datenatz von 2616 Lymphknoten aus 68Ga-PSMA-PET/CT Aufnahmen von 549 PCa Patienten verwendet. Auf der Basis des PET Referenzstandards wurde jedem dieser Lymphknoten die Beurteilung positiv oder negativ für Lymphknotenbefall zugeordnet. Fünf konvolutionelle Netzwerke (CNNs; eine spezielle Art von Deep- Learning Modellen) mit identischer Architektur wurden getestet. Der Unterschied der CNNs bestand in der Verwendung verschiedener Trainingsdaten, was es ermöglichte, die Leistungsfähigkeit der CNNs mit der Art der Eingabedaten, speziell der An- oder Abwesenheit einer Segmentierungsmaske, zu korrelieren. Zur Bestimmung der diagnostischen Treffsicherheit menschlicher Experten im Vergleich zu den CNNs wurde ein zero-footprint webbasierter radiologischer Viewer entwickelt. Ergebnisse Die CNNs erzielten eine Fläche unter der Kurve (AUC) zwischen 0.95 und 0.86, im Vergleich zu einem Durchschnittswert von 0.81, der von den Radiologen erreicht wurde. Interessanterweise waren CNNs in der Lage, den anatomischen Kontext zur Optimierung ihrer Leistung zu nutzen, wobei sie die Wahrscheinlichkeit des Lymphknotenbefalls in Relation zur anatomischen Lage der Lymphknoten erlernten. Zwei ‚Explainability Methoden‘ wurden hinzugezogen, um die hohe Klassifizierungsleistung der CNNs zu analysieren. Eine dieser Methoden, die Erstellung von „saliency maps“, ergab aussagekräftige Resultate, die darauf hinwiesen, dass das CNN die anatomische Umgebung der Lymphknoten hinzuzog, um die Unterscheidung zwischen “metastatisch-befallen” und “normal” zu treffen. Demgegenüber erbrachte die andere Methode, Merkmalsvisualisierung (“feature visualization”), keine nützlichen Erkenntnisse. Schlussfolgerung Unsere Studie ergibt, dass CNNs das Potential aufweisen, unter Verwendung von CTDaten eine Beurteilung von Lymphknoten im Hinblick auf Metastasen vornehmen zu können. Des Weiteren zeigen unsere Resultate, dass Segmentierungsmasken nicht erforderlich sind, um eine hohe diagnostische Treffsicherheit der CNNs zu gewährleisten.