Vergleich von Outcomeprädiktionsmodellen bei der aneurysmatischen Subarachnoidalblutung: klinische und radiografische Scores versus Machine Learning Algorithmen

Abstract

Introduction: Up to now, clinical outcome prediction of aneurysmal subarachnoid haemorrhage (aSAH) has mainly been based on clinical and radiographic scoring systems. They may help as a rough indicator of outcome, but their precise predictive abilities are limited. Their limitations are particularly salient with regard to advocating for one treatment strategy over another, which – in an age of scarcity of medical resources in the midst of a global pandemic—is of critical importance. In the present study, we aimed to examine whether an approach based on Machine Learning (ML) algorithms, using variables readily available on patient admission, may improve outcome prediction compared to the status quo based on current clinical and radiological scoring systems. Methods: Using a consecutive single-centre database of 388 patients suffering from aSAH, we implemented an analysis of combined clinical and radiographic features as well as classic scoring systems, such as Hunt and Hess, WFNS, BNI, Fisher, modified Fischer and Vasograde. We trained a total of seven different ML-algorithms for scores, single features and combined features. The algorithms included a tree boosting algorithm, a Naïve Bayes classifier, a support vector machine classifier, a multilayer perceptron artificial neural net (MLP) as well as three different types of generalized linear models. A random split into training and test-sets was implemented according to a four to one ratio. We proceeded with ten-fold cross-validations and fifty shuffles. We calculated feature importance for combined features. Results: Our findings show that there is no performative difference between traditional and more modern ML models using clinico-radiografic features. No significant difference was found when comparing a set of clinico-radiological features available on admission and the Glasgow Coma Scale (GCS) – the best performing clinical score (highest AUC 0,76, running a Tree Boosting model). Discussion: The GCS and patient age turned out to be the most relevant variables within the feature combination. Functional outcome prediction by advanced ML-techniques did not outperform established scores in our cohort of 388 aSAH Patients. In order to reap the benefits and the full power of data mining models such as ML-algorithms to improve functional outcome prediction in aSAH, future research efforts will need to examine input variables that have not yet been taken into account.

Einleitung: Verlässliche Vorhersagen über das zu erwartende Therapieergebnis bei aneurysmatischen Subarachnoidalblutungen (aSAB) auf der Grundlage von Merkmalen, die bei der Patient*innenaufnahme zur Verfügung stehen, könnten positiven Einfluss ausüben auf Therapieentscheidungen und die Verteilung von Ressourcen. Radiographische und klinische Scores helfen Kliniker*innen bereits, den Schweregrad einer SAB einzuschätzen. Ihre prädiktiven Fähigkeiten sind jedoch begrenzt, insbesondere als Grundlage für Therapieentscheidungen. In dieser Studie wurde untersucht, ob Machine Learning (ML) Algorithmen basierend auf Merkmalen/Variablen, die bei Patient*innenaufnahme vorhanden sind, die Outcome-Vorhersage bei Patient*innen mit aSAB im Vergleich zu bereits bestehenden klinischen Scores verbessern. Methoden: Kombinierte klinische und radiographische Merkmale, sowie klassische Scores (Hunt and Hess Score, World Federation of Neurosurgical Societies Score, Fisher Score, modified Fisher Score, Barrow National Index, VASOGRADE Score) wurden für 388 Patient*innen mit aSAB (n=388) an der Charité – Universitätsmedizin Berlin bei der Patient*innenaufnahme erhoben und ausgewertet. Verschiedene ML-Modelle (insgesamt sieben Algorithmen, davon drei Typen des traditionellen generalisierten Linearen Modells, ein Tree-Boosting Algorithmus, ein Naive Bayes Classifier, ein Support Vector Machine Classifier und ein Multilayer Perceptron) wurden in drei Modellen antrainiert für (i) Scores, (ii) kombinierte Merkmalsets (‚combined features‘) sowie (iii) einzelne Merkmale (‚single features‘) mit einer zufallsbestimmten Teilung von Trainings- und Testset (4:1), zehnfacher Kreuzvalidierung und 50 Durchgängen. Für kombinierte Merkmalssets wurde die Merkmalsrelevanz errechnet. Resultate: Es zeigte sich kein Unterschied zwischen ML-Algorithmen und etablierten Scores in der Vorhersagegenauigkeit bezüglich des Outcome einer aSAB. Es war ebenfalls kein Unterschied festzustellen zwischen einem Set kombinierter klinisch-radiologischer Merkmale bei Aufnahme (höchste AUC 0,78, Tree Boosting) und der Glasgow Coma Scale (GCS) bei Aufnahme - dem klinischen Score mit der besten Performance (höchste AUC 0,76, Tree Boosting). Der GCS-Wert und das Alter waren die Variablen mit der besten Outcomeprädiktion in der Merkmalskombination. Schlussfolgerungen: In dieser Patient*innenkohorte mit aSAB war die Vorhersage des Therapieergebnisses durch ML-Algorithmen vergleichbar mit den traditionellen, etablierten klinischen Scores. Weitere Studien sind nötig, um zusätzliche Inputvariablen zu untersuchen, die nicht bereits Teil der traditionellen klinisch-radiologischen Merkmale sind, um zu prüfen, ob eine bessere Performance der Outcome-Vorhersage für aSAB-Patient*innen erreicht werden kann.