Hintergrund Die wissenschaftliche Anerkennung von Psychotherapie durch den Wissenschaftlichen Beirat Psychotherapie nach § 11 PsychThG (WBP) basiert maßgeblich auf der Begutachtung psychotherapeutischer Verfahren und Methoden im Hinblick auf ihre empirische Evidenz zur Wirksamkeit. Ziel der Begutachtung ist es zu ermitteln, inwieweit Wirksamkeitsnachweise für ein bestimmtes psychotherapeutisches Verfahren oder eine bestimmte Methode mittels wissenschaftlicher Methoden und Forschungsstrategien erbracht worden sind. Zu diesem Zweck hat der WBP im Jahr 2007 ein Methodenpapier veröffentlicht, in dem er das Prozedere der wissenschaftlichen Anerkennung transparent macht (WBP, 2007, 2010). Einen zentralen Bestandteil dieses Papiers bildet ein ausführlicher Kriterienkatalog, mit Hilfe dessen Wirksamkeitsstudien auf den drei Dimensionen der allgemeinen methodischen Qualität sowie der internen und externen Validität bewertet werden. Fragestellung Das Dissertationsprojekt nimmt seinen Ausgangspunkt bei den genannten Bewertungskriterien und betrachtet die damit formulierten Regeln zur wissenschaftlichen Anerkennung von Verfahren und Methoden in Anlehnung an Leichsenring (2008) als ein neu konzipiertes diagnostisches Instrument, das sich nun in seiner Anwendung zu bewähren hat. Es wurde der Frage nachgegangen, wie sich die vom WBP vorgenommene Operationalisierung von interner Validität in Form interner Validitätskriterien auf die Bewertung von existierenden Wirksamkeitsstudien zu psychodynamischen Langzeitbehandlungen auswirkt. Die Frage gewann insofern an Relevanz, als der WBP mit Veröffentlichung des Methodenpapiers die wissenschaftliche Anerkennung der psychodynamischen Psychotherapie auf psychodynamische Langzeittherapien (> 100 Stunden) ausweitete (WBP, 2008a). Darüber hinaus werden insbesondere Langzeitbehandlungen als ein Gegenstand diskutiert, der sich, im Gegensatz zu Kurzzeitbehandlungen, der RCT- Methodologie und den damit verbundenen Strategien zur Sicherung interner Validität weitestgehend entzieht. Es war daher davon auszugehen, dass sich interne Validitätskriterien, die sich strikt an die RCT-Methodologie anlehnen, in der Bewertung benachteiligend auf Langzeittherapiestudien auswirken würden. Die Fragestellung der Arbeit bezieht sich damit auf die Untersuchung der Gegenstandsadäquatheit der internen Validitätskriterien im Hinblick auf Studien zu psychodynamischen Langzeitbehandlungen (> 100 Stunden). Methode Mittels einer erschöpfenden Studienrecherche wurden für den Zeitraum von 1999 bis 2009 alle verfügbaren Wirksamkeitsstudien zur psychodynamischen Psychotherapie (Erwachsenenalter) in den Anwendungsbereichen der affektiven Störungen sowie der „gemischten Störungen“ zusammengestellt. Diese Studien wurden sodann mit Hilfe des WBP-Kriterienkatalogs kodiert. Um einen ersten Eindruck darüber zu erhalten, welche Kriterien sich potentiell benachteiligend im Hinblick auf Langzeittherapiestudien auswirken könnten, erfolgte ein systematischer Vergleich der Studien zu Langzeittherapien und zu Kurzzeittherapien in ihrem Abschneiden auf den einzelnen Kriterienstufen (1 = „Anforderung erfüllt“ bis 3 = „Anforderung nicht erfüllt“). Für diese Verteilungsvergleiche wurden die Kriterien der internen Validität sowie zentrale Kriterien der methodischen Qualität herangezogen. Kriterien, bei denen anteilig mehr Langzeittherapiestudien „schlecht“ bewertet wurden als Kurzzeittherapiestudien, wurden darauf folgend einer feinanalytischen Untersuchung unterzogen. In dieser wurden die Gründe für ein gefundenes Bewertungsgefälle durch Rückgriff und erneute Sichtung der Studien eingehend eruiert. Vor dem Hintergrund allgemeiner Erkenntnisse aus der Evaluationsforschung sowie der empirischen Psychotherapieforschung wurden diese Gründe reflektiert. Dieser Schritt diente der Einschätzung, ob die Gründe tatsächlich mit dem Gegenstand "Langzeittherapie" zusammenhängen oder als unabhängig davon betrachtet werden müssen. Nur so konnte beurteilt werden, ob von einem Kriterium tatsächlich eine benachteiligende Wirkung ausgeht oder das Bewertungsgefälle den Studien selbst anzulasten ist. Ergebnisse Auf beiden Dimensionen, der methodischen Qualitätsdimension und der internen Validitätsdimension, zeigte sich nur bei vergleichsweise wenigen Kriterien ein bedeutendes Bewertungsgefälle zuungunsten der kodierten Langzeittherapiestudien im Vergleich zu Kurzzeittherapiestudien. Durch die an diese Vergleiche sich anschließenden Feinanalysen konnte darüber hinaus bei einem Teil dieser Kriterien der Verdacht einer benachteiligenden Wirkung hinsichtlich Langzeittherapiestudien ausgeräumt werden. Lediglich drei der 12 internen Validitätskriterien konnte auf Basis der hier durchgeführten Untersuchung eine tatsächlich benachteiligende Wirkung attestiert werden. Ferner zeigte sich jedoch, dass dem Kriterienkatalog solche Kriterien fehlen, die die interne Validität von Studien ohne Kontroll- bzw. Vergleichsgruppe sowie von komparativen Studien (Vergleiche zwischen verschiedenen Alternativtherapien) beurteilen. Schlussfolgerungen Sowohl die Dimension des WBP-Kriterienkatalogs zur allgemeinen methodischen Qualität als auch die zur internen Validität sind für die Bewertung der Evidenz von psychodynamischer Psychotherapie als durchaus angemessen anzusehen. Auch im Hinblick auf Untersuchungen zu Langzeitbehandlungen (> 100 Stunden) stellen die meisten Kriterien keine unzumutbaren Hürden dar. Ausgehend vom Konzept eines komplementären – statt eines inversen – Verhältnisses von interner und externer Validität werden Techniken zur internen Validitätssicherung benannt, die sich insbesondere für Studiendesigns ohne Kontroll-/Vergleichsgruppen und für komparative Studien eignen. Diese Techniken zu berücksichtigen und in Form von Kriterien dem Kriterienkatalog hinzuzufügen, könnte u.a. einen positiven Anreiz für die Planung und Durchführung künftiger Wirksamkeitsstudien setzen.
Background The scientific recognition of psychotherapy by the German Advisory Board for Psychotherapy is mainly based on the evaluation of the empirical evidence of psychotherapeutic treatments. The aim of the scientific recognition of psychotherapy is to examine to which extend efficacy and effectiveness studies are based on scientific methods and research strategies. For this purpose, the German Advisory Board published the new guidelines for scientific evaluation and scientific recognition of psychotherapy (WBP, 2007, 2010). A key component of these guidelines is a catalogue of criteria, based on three dimensions, which evaluates the general scientific quality, the internal and the external validity of efficacy and effectiveness studies. Purpose The aim of this study is to investigate the criteria of the internal validity dimension and of the general scientific quality dimension concerning their appropriateness to evaluate studies of long-term psychoanalytic treatments. In this regard, the criteria catalogue is viewed as an assessment measure, which has to prove itself in its practical application (cf. Leichsenring, 2008). This approach is relevant in the context of the modification of the statement concerning the scientific status of psychodynamic and psychoanalytic psychotherapy: In 2008 the Scientific Advisory Board extended the scientific recognition of psychodynamic/psychoanalytic psychotherapy by also including psychoanalytic long-term treatments (> 100 sessions) (WBP, 2008a). This modification is justified by the development and publication of the new guidelines mentioned above. Concurrently, long-term treatments as research object, in contrast to short-term treatments, are considered difficult to evaluate by principles of the RCT-methodology. Therefore, it is to assume that criteria of the internal validity dimension, which are based solely on the principles of the RCT- methodology, would be neither applicable nor appropriate to long-term psychotherapy studies. In that case the criteria would cause a discriminatory evaluation of these studies compared to short-term psychotherapy studies. Method First, an exhaustive review of the literature was done to collect all empirical evidence available for efficacy and effectiveness of psychodynamic and psychoanalytic psychotherapy published between 1999 and 2009. The collected studies had to include adult clients with mood disorders or mixed samples of clients. In the second step, the evaluation of these studies was conducted by using the criteria catalogue. To get an overall idea about the criteria, which might not be appropriate to evaluate long-term psychotherapy studies, long-term psychotherapy studies and short-term psychotherapy studies were systematically compared on each criterion (1 = “sufficient” to 3 = “insufficient”). When distributions showed more long-term psychotherapy studies with insufficient results in comparison to short-term psychotherapy studies, this was regarded as a preliminary indication of a potential discriminatory impact of the specified criterion. For those criteria a more refined analysis was performed to determine the exact reasons responsible for the unequal distributions regarding the long-term studies. This refined analysis contained both: 1) an intensive review of the long-term psychotherapy studies with poor results and 2) a review of the literature on evaluation research in general and psychotherapy research in particular. This procedure helps to identify whether “long-term psychotherapy” as research object caused the poor results on the criteria – in that case, the found criteria had to be regarded as discriminatory criteria concerning long-term psychotherapy studies. Otherwise, if it could be shown that the reasons responsible for the poor results do not plausibly interrelate with “long-term psychotherapy” as research object, the criteria were not regarded as discriminatory concerning long-term psychotherapy studies. Findings Both, the analyzed scientific quality criteria and the internal validity criteria reveal relatively few unequal distributions of the studies to the disadvantage of the long-term psychotherapy studies which required subsequent refined analyses. Moreover, the conducted refined analyses showed that just few of the criteria effectively have discriminatory impact. In total, three of the 12 criteria of the internal validity dimension could be disclosed as discriminatory concerning long-term psychotherapy studies. Further along it could be shown that the criteria catalogue lacks adequate criteria measuring internal validity of studies without control condition (one-group pretest posttest design) and also of comparative outcome studies comparing two (or more) alternative psychotherapy conditions. Conclusions The Scientific Advisory Board has been mainly successful in developing criteria that are adequate to measure the scientific quality and the internal validity of outcome studies investigating the efficacy or effectiveness of psychodynamic and psychoanalytic psychotherapy. This is also true for psychoanalytic long-term psychotherapy (> 100 sessions). In this study a concept that emphasizes the complementary relationship of the internal and the external validity rather than an inverse relationship is assumed. Deriving from this concept, strategies are discussed that are suitable to assure the internal validity in both, one-group pretest posttest designs and comparative outcome studies. The integration of internal validity criteria concerning the last mentioned study designs could be a positive incentive for future implementations of efficacy and effectiveness studies.
