Deep Active Multi-Task Learning for Precise Automated Coronary Artery Calcium Scoring

Abstract

Background: The coronary artery calcium score is a key marker for coronary arteriosclerosis and holds significant predictive value for future major adverse cardiovascular events (MACE). Deep learning has shown promise in automating coronary calcium assessment and may enable efficient, robust quantification of calcium distribution at the segment level, potentially advancing calcium scoring methodologies to further improve cardiovascular risk prediction. However, training of deep learning models for precise localization and quantification requires large and diverse datasets, which must be annotated by clinical experts and is a time-consuming process. Our aim was to develop models for segment-level calcium scoring that integrate multi-task learning and active learning to enhance model performance to pave the way towards more precise cardiovascular risk prediction. Methods: We developed multi-task learning approaches with an uncertainty-weighted loss, where the primary task was coronary artery calcium segmentation, and the auxiliary task was coronary artery region segmentation. To reduce labeling costs, we introduced USIM - Uncertainty-Aware Submodular Mutual Information Measure, a novel active learning strategy for medical image segmentation which utilized uncertainty-aware submodular subset selection to select informative batches for annotation which we evaluated across various medical image segmentation datasets. The combined approach was applied to segment-level coronary calcium scoring, facilitating the study of the association between segment-level calcium distribution and MACE, with the aim of developing new calcium scoring metrics. Results: The multi-task calcium scoring model was comprehensively evaluated on non-contrast cardiac CT datasets of 1275 individual patients from the DISCHARGE and CAD-Man trials and the orCaScore dataset. Optimal model performance (Dice score) was achieved using only 12% of the training data. Our USIM active learning method demonstrated superior performance for spleen (CT), liver/liver tumor (CT), and hippocampus (MRI) segmentation, reaching optimal results with just 8%, 5%, and 30% of the annotated datasets, respectively. The proposed automated segment-level calcium scoring model was evaluated on 455 patients with 1,797 coronary calcifications, achieving an agreement on theAbstract 2 coronary segment-level with a Cohen’s κ of 0.808 (95% CI: 0.790-0.824) - comparable to inter-observer agreement of 0.809 (95% CI: 0.798-0.845). We additionally show that more distributed calcium is independently associated with major adverse cardiovascular events with a HR 7.43 (95% CI: 1.50-36.90), P=0.014 for patient with Agatston score 1-399. Conclusion: Active multi-task learning approaches can enhance automated calcium scoring while significantly reducing labeling costs. This method offers potential for fast and precise segment-level calcium assessment, paving the way towards more advanced coronary calcium scoring metrics.

Hintergrund: Der Koronararterien-Kalzium-Score ist ein zentraler Marker für Koronarsklerose und besitzt eine hohe prognostische Aussagekraft für zukünftige schwerwiegende kardiovaskuläre Ereignisse (MACE). Deep-Learning-Ansätze zeigen großes Potenzial, die Kalziumbewertung zu automatisieren und eine effiziente sowie robuste Quantifizierung der Kalziumverteilung auf Segmentebene zu ermöglichen. Das Training von Deep-LearningModellen setzt jedoch die Erstellung großer, diverser und annotierter Datensätze voraus, was ein zeit- und ressourcenaufwändiger Prozess ist. Unser Ziel war es Multi-Task-Learning und Active-Learning zu kombinieren, um die Leistung zu steigern und gleichzeitig die Annotierungskosten zu reduzieren. Methoden: Wir entwickelten Multi-Task-Learning-Ansätze bei dem die primäre Aufgabe war die Segmentierung von Koronararterienkalzium, während die Hilfsaufgabe in der Segmentierung von Koronararterienregionen bestand. Zur Reduktion der Annotierungskosten führten wir USIM (Uncertainty-Aware Submodular Mutual Information Measure) ein, eine neuartige Active-Learning-Strategie für die medizinische Bildsegmentierung. Diese Strategie nutzt unsicherheitsbewusste submodulare Teilmengenselektion, um Bilder gezielt für die Annotierung auszuwählen. Der kombinierte Ansatz wurde auf das Kalzium-Scoring auf Segmentebene angewendet, um die Assoziation zwischen Kalziumverteilung und MACE zu untersuchen. Ergebnisse: Das Multi-Task-Kalzium-Scoring-Modell wurde umfassend auf nicht-kontrastverstärkten kardialen CT-Datensätzen von 1.275 Patienten aus den DISCHARGE- und CAD-ManStudien sowie dem orCaScore-Datensatz evaluiert. Eine optimale Modellleistung (DiceScore) wurde bereits mit nur 12 % der Trainingsdaten erreicht. Unsere USIM-Active-Learning-Methode zeigte zudem herausragende Ergebnisse bei der Segmentierung der Milz (CT), der Leber/Lebertumoren (CT) und des Hippocampus (MRT), wobei optimale Ergebnisse mit lediglich 8 %, 5 % bzw. 30 % der annotierten Datensätze erzielt wurden. Das vorgeschlagene automatisierte Kalzium-Scoring-Modell wurde bei 455 Patienten mit insgesamt 1.797 Koronarkalzifikationen evaluiert und erzielte auf Segmentebene eine Übereinstimmung mit einem Cohen's κ von 0,808 (95 % CI: 0,790–0,824) – vergleichbar mitAbstract 4 der Inter-Observer-Übereinstimmung von 0,809 (95 % CI: 0,798–0,845). Darüber hinaus konnten wir zeigen, dass eine stärker verteilte Kalziumablagerung unabhängig mit schwerwiegenden kardiovaskulären Ereignissen assoziiert ist, mit einem HR von 7,43 (95 % CI: 1,50–36,90; P = 0,014) bei Patienten mit einem Agatston-Score von 1–399. Schlussfolgerung: Active-Multi-Task-Learning-Ansätze haben das Potenzial, die automatisierte Kalziumbewertung signifikant zu verbessern und gleichzeitig die Annotierungskosten deutlich zu reduzieren. Diese Methode ermöglicht eine schnelle und präzise Kalziumbewertung auf Segmentebene und bietet eine Grundlage für die Entwicklung besserer Koronar-Kalzium-Scoring-Metriken.