Background: As response to humanitarian crises which globally affect a growing number people, civil society organizations provide medical humanitarian assistance. Evaluating the impact of humanitarian interventions is crucial to improve the assistance given. Up until today no research exists that systematically identifies and analyses studies within this context. This thesis’ objective was to systematically search and identify published studies measuring the impact of humanitarian assistance by civil society organizations, to evaluate the studies’ methodological quality and design, and to summarize the measurable effects on the affected population’s health. Methods: A systematic literature search was conducted in online databases and complemented by a manual search for studies that evaluate interventions by civil society organizations in low- and middle-income countries, had a control group and were published between 2009 and 2013 in English, German or Spanish. Relevant study characteristics regarding setting, design and methods were extracted; study quality and results were appraised using standardized forms. Results: Out of 841 articles obtained through systematic search, two randomized controlled, two non-randomized controlled interventions and one prospective cohort study were included in the final analysis. All studies examined programs in natural and man-made crises in sub-Saharan Africa, Asia and Europe, addressing vulnerable populations by providing supplementary feeding, psychosocial support and rehabilitation interventions. Only two of the studies were rated evidence level one based on the Oxford Centre for Evidence-based Medicine scale of evidence, the cohort study as level two. Owing to methodological flaws such as missing randomization, poor baseline data, possible selection and reporting bias the other intervention studies were rated levels two and four. Four studies presented positive effects of interventions on participants’ health. Conclusions: High quality academic studies of impact evaluations of the humanitarian interventions by civil society organizations are rare and often of low quality. Very few of them published results in the format of an appropriate study design with a comparison group. Meanwhile the review showed that high quality scientific studies can be conducted even in the difficult circumstances of humanitarian crisis. The following criteria should be applied to future studies: (1) appropriate prospective study designs with control group adapted to local conditions, (2) clearly defined valid patient-relevant outcome parameter (3) critical interpretations of results, taking into account potential sources of bias and confounding. Improved collaborations between implementing agencies and academics are essential to plan high quality evaluations in crisis situations in advance.
Zusammenfassung Einleitung: Als Reaktion auf humanitäre Krisen, die global eine zunehmende Zahl von Menschen betreffen, leisten zivilgesellschaftliche Organisationen medizinische humanitäre Hilfe. Wissenschaftliche Evaluierungen der Wirkung der Interventionen sind von essentiel-ler Bedeutung zur Verbesserung der Wirksamkeit der Hilfeleistungen. Bisher existieren keine Arbeiten, die in diesem Bereich durchgeführte Studien systematisch identifizieren und evaluieren. Ziel der vorliegenden Arbeit war es, veröffentlichte Studien zu medizinischen humanitären Interventionen von zivilgesellschaftlichen Organisationen durch eine systematische Litera-tursuche zu identifizieren, sie bezüglich ihrer methodischen Qualität und Studiendesigns auszuwerten und den messbaren Effekt der Interventionen auf die Gesundheit der betroffe-nen Bevölkerung zusammenzufassen. Methoden: In elektronischen Datenbanken, ergänzt durch eine manuelle Suche, wurde systematisch nach Studien zu Interventionen zivilgesellschaftlicher Organisationen in Ländern mit niedrigem oder mittleren Einkommen gesucht, die eine Vergleichsgruppe enthielten und zwischen 2009 und 2013 auf Englisch, Deutsch und Spanisch publiziert wurden. Relevante Charakteristika zu Setting, Design und Methodik der eingeschlossenen Studien wurden extrahiert. Die Studienqualität und Ergebnisse wurden mittels standardisierter Bewertungsbögen evaluiert und wiedergegeben. Ergebnisse: Von den 841 mittels systematischer Suche identifizierten individuellen Publi-kationen, wurden zwei randomisierte, zwei nicht-randomisierte kontrollierte Interventions-studien und eine prospektive Kohortenstudie in die finale Analyse eingeschlossen. Die In-terventionen fanden in Naturkatastrophen und Menschen verursachte Krisen in Afrika süd-lich der Sahara, Asien und Europa statt, gerichtet an vulnerabler Bevölkerungsgruppen durch Programme zu supplementärer Ernährung, psychosozialer Unterstützung Traumatisierter und Rehabilitationsmaßnahmen. Nur zwei Interventionsstudien wurden als Evidenzlevel eins auf der Scale of Evidence des Oxford Centre for Evidence-based Medicine eingestuft, die Kohortenstudie als Evidenzlevel zwei. Zwei Interventionsstudien wurden wegen methodischer Mängel, wie fehlende Randomisierung, schwachen Ausgangsdaten, möglicher Selektions- oder Reportingbias, mit den Evidenzlevels zwei und vier bewertet. Die Ergebnisse von vier Studien deuten auf positive Effekte der Interventionen auf die Gesundheit der betroffenen Bevölkerungsgruppen hin. Schlussfolgerung: Wissenschaftlich-hochwertige Impact Evaluations der von zivilgesell-schaftlichen Organisationen geleisteten humanitären Hilfe sind selten und oft von einge-schränkter Qualität. Nur wenige Studien veröffentlichten Ergebnisse in einem angemessenen Studiendesign mit Vergleichsgruppe. Gleichzeitig wurde gezeigt, dass wissenschaftlich hochwertige Studien zur Wirksamkeit humanitärer Hilfe unter den erschwerten Umständen von Krisensituationen möglich sind. Zukünftige Studien sollten daher nach folgenden Kriterien konzipiert werden: (1) adäquate prospektive Studiendesigns mit geeigneter Kontrollgruppe unter Berücksichtigung der lokalen Bedingungen, (2) Messung präzise definierter Ergebnisparameter, die für Betroffene relevant sind, mittels validierter Instrumente, und (3) kritische Interpretation der Ergebnisse unter stringenter Bewertung potentielle Quellen für Bias und Confounding. Verbesserte engere Kooperationen zwischen zivilgesellschaftlichen Organisationen und Wissenschaft sind essentiell, um schon im Vorfeld qualitativ hochwertige Evaluierungen von Interventionen in Krisensituationen zu planen.
