Applications of machine-learning in medical diagnostics in obstetrics

Abstract

Background Improvements in computational capacity and new algorithmic approaches to data analysis have created enormous opportunities to improve conventional diagnostics in the hospital in recent years. Especially obstetrics, a speciality with high-dimensional data and limited performances in their conventional diagnostic approaches for many adverse outcomes in pregnancy, stands to benefit greatly from the application of machine-learning. This dissertation intends to present our own work which predicts the occurrence of adverse outcomes in preeclampsia high-risk-pregnancies and to contextualise it with the current state of research for the application of machine-learning in preeclampsia as well as other obstetric/gynecologic conditions in general. Methods The presented study is based on a patient collective of 1647 women which presented to the obstetric department of the Charité Universitätsmedizin Berlin between July 2010 and March 2019. We determined predictive performance of different machine-learning algorithms (Gradient boosted trees, Random Forest) for adverse outcomes commonly associated with preeclampsia and compared them to models based on laboratory and vital parameter cutoffs (blood pressure, sFlt-1/PlGF ratio and their combination with proteinuria measurements) used in the clinic. Dataset splitting was performed in a per-patient randomised fashion using a 90-10 split and evaluation was performed using a 10x10-fold cross-validation approach. Results Our own study showed gains in predictive performance when using machine-learning models. Accuracy for gradient boosted trees was 87 ± 3 % while blood pressure cutoffs achieved only 65 ± 4 % and a cutoff of 38 applied to the sFlt-1/PlGF-ratio yielded an accuracy of 68 ± 5 %. The positive predictive value especially improved from 33 ± 9 % for the blood-pressure-cutoffs to 82 ± 10 % for the gradient-boosted trees classifier with the “full clinical model” consisting of blood pressure, sFlt-1/PlGF ratio and proteinuria achieving 44 ± 9 % PPV. Overall we found that using machine-learning methods leads to great improvements in all assessed performance metrics with potential for further enhancement using optimization on the algorithms’ output probabilities’ cutoffs. Conclusions Machine-learning greatly improves the diagnostic capabilities for preeclampsia and, as shown by many other works in this dissertation, obstetrics/gynaecology and medicine in general. This could represent a starting point for further research which leads to more sophisticated diagnostic or decision-support tools.

Einleitung Verbesserungen in Rechenkapazitäten und neue algorithmische Ansätze der Datenanalyse haben große Möglichkeiten zur Verbesserung konventioneller Diagnostik in Krankenhäusern über die letzten Jahre kreiert. Besonders die Geburtshilfe, eine Fachrichtung mit hochdimensionalen Datensätzen und limitierter Performance der konventionellen diagnostischen Methoden für viele der adversen Events in der Schwangerschaft, kann stark von der Anwendung von Machine-Learning profitieren. Diese Dissertation beabsichtigt unsere eigene Arbeit, welche das Auftreten adverser Events in Präeklampsie-Hochrisikoschwangerschaften vorhersagt, vorzustellen und mit dem aktuellen stand der Forschung für Machine-Learning in der Präeklampsie sowie Gynäkologie/Geburtshilfe in Kontext zu setzen. Methoden Die vorgestellte Studie basiert auf einer Patientinnengruppe von 1647 Frauen, die sich zwischen Juli 2010 und März 2019 in der Klinik für Geburtsmedizin der Charité Universitätsmedizin Berlin vorstellten. Wir untersuchten die Leistung verschiedener Machine-Learning-Algorithmen (Gradient Boosted Trees, Random Forest) zur Vorhersage häufig mit Präeklampsie assoziierter adverser Events und verglichen diese mit Modellen basierend auf klinisch angewendeten Labor- und Vitalparameter-Grenzwerten (Blutdruck, sFlt-1/PlGF-Ratio und ihre Kombination mit Proteinurie-Messungen). Der Datensatz wurde auf einer randomisierten Pro-Patient-Basis in einem 90-10-split in Trainings- und Testsatz geteilt und mittels einer 10x 10-fachen Kreuzvalidierung evaluiert. Ergebnisse Unsere Studie zeigte Zugewinne an prädiktiver Leistung durch Nutzung von Machine-Learning-Modellen. Genauigkeit für Gradient boosted trees war 87 ± 3 %, während Blutdruckgrenzwerte lediglich 65 ± 4 % erreichen konnten und ein Grenzwert von 38 der sFlt-1/PLGF-Ratio eine Genauigkeit von 68 ± 5 %. Insbesondere der positiv prädiktive Wert verbesserte sich von 33 ± 9 % für den Blutdruckgrenzwert auf 82 ± 10 % für den Gradient-boosted Trees-Klassifizierer, während das “vollständige” klinische Modell bestehend aus Blutdruck, sFlt-1/PlGF-Ratio und Proteinurie 44 ± 9 % erreichen konnte. Insgesamt fanden wir, dass Machine-Learning Methoden zu großen Verbesserungen in allen untersuchten Performance-Metriken führt, mit Potential zu weiteren Verbesserungen durch Optimierung von Grenzwerten auf den ausgegebenen Wahrscheinlichkeiten der Modelle. Schlussfolgerung Machine-Learning führt zu immensen Verbesserungen der diagnostischen Möglichkeiten für Präeklampsie und, wie durch viele weitere Arbeiten in dieser Dissertation gezeigt, Gynäkologie/Geburtshilfe und Medizin im Allgemeinen. Dies kann einen Startpunkt für weitere Forschung repräsentieren, welche zu anspruchsvolleren Diagnostik- und Entscheidung-Support-Werkzeugen führt.