Application of machine learning algorithms for functional outcome prediction after aneurysmal subarachnoid hemorrhage: a single-center retrospective study

Abstract

Background: There is a controversy about the superiority of the performance of prognostic tools based on advanced machine learning (ML) algorithms for patients with aneurysmal subarachnoid hemorrhage (aSAH). Unfortunately, evaluation of the performance of current ML-based tools is not comprehensive enough, often using a single model and exclusively the area under the receiver operating characteristic curve (AUROC) to quantify the performance. Therefore, it remains unclear whether these would be reliable and benefit patients. My goal was to develop and evaluate ML models for predicting unfavorable functional outcome in aSAH patients and identify the model with the best performance. Methods: A retrospective dataset comprising 955 patients with aSAH was randomly split into training and internal test sets, with 670 (70%) and 285 (30%) patients respectively. Clinical scores, along with clinical and radiological features at admission, as well as secondary complications from the training set were used to construct models based on five machine learning (ML) algorithms (logistic regression [LR], K-nearest neighbor [KNN], extreme gradient boosting [XGB], random forest [RF] and artificial neural network [ANN]). For comparison and evaluation among models, AUROC, the area under the precision-recall curve (AUPR), calibration curve, and decision curve analysis (DCA) were utilized on the internal test set. Results: Composite models (based on LR, XGB, RF and ANN algorithms) had significantly higher AUROC than simple models in predicting unfavorable functional outcomes. Compared to other composite models (RF and XGB algorithms) with good calibration, LR had the highest value of AUPR and showed the greatest benefit in DCA. Conclusion: A prediction model employing LR algorithm has shown superior performance in identifying patients with aSAH who are at high risk for adverse functional outcomes. Thus, this model could be a useful tool to assisting healthcare professionals in their decision-making processes.

Hintergrund: Die Bewertung von prognostischen Instrumenten auf der Basis von „advanced machine learning“-Algorithmen für Patienten mit subarachnoidalen Blutungen bei Aneurysmen (aSAH) ist bisher kaum möglich. Der Grund dafür ist eine noch unzureichende Datenlage. Das Ziel der Studie ist die Entwicklung und der Vergleich verschiedener Verfahren des „machine learning“ für die Prognose ungünstigen klinischen Verlaufs bei aSAH-Patienten. Methoden: Ein retrospektiv erhobener Datensatz von 955 Patienten mit aSAH wurde nach dem Zufallsprinzip in einen Trainingsdatensatz mit 670 (70%) Patienten sowie in einen internen Testdatensatz mit 285 (30%) geteilt. Die Modellgestaltung erfolgte unter Verwendung des klinischen Scores bei Aufnahme des Patienten, weiterer klinischer und radiologischer Merkmale sowie unter Beachtung sekundärer Komplikationen. Folgende fünf “machine learning” Algorithmen wurden einbezogen: “logistic regression” [LR], “K-nearest neighbor” [KNN], “extreme gradient boosting” [XGB], “random forest” [RF] und “artificial neural network“ [ANN]. Die Modellbewertung am Testdatensatz erfolgte mit Hilfe der Fläche unter der „receiver operating characteristic curve“ (AUROC), der „precision-recall curve“ (AUPR), der „calibration curve“, und der „decision curve analysis“ (DCA). Ergebnisse: Komplexere Modelle basierend auf LR, XGB, RF und ANN Algorithmen zeigten höhere AUROCs als die einfachen Modelle und sie waren prädiktiver hinsichtlich eines ungünstigen funktionellen Verlaufes der Patienten. Im Vergleich mit anderen komplexen Modellen (RF und XGB), die eine gute „calibration curve“ zeigten, hatte LR die größte AUPR und war bei DCA überlegen. Schlussfolgerungen: Das Vorhersagemodell auf Basis des LR-Algorithmus zeigte die beste Ergebnisse bei der Erkennung von aSAH-Patienten mit einer ungünstigen klinischen Entwicklung. Es kann ein sinnvolles Hilfsmittel zur Unterstützung ärztlichen Handeln bei der klinischen Betreuung von aSAH-Patienten sein.