Sample size planning for multiple comparisons

Abstract

Determining the appropriate sample size of (pre-)clinical studies is critical for ethical and scientific reasons. The sample size must be large enough to detect meaningful effects with sufficient statistical power, yet small enough to minimize the number of animals or participants exposed to potential study-related risks. In many (pre-)clinical studies, multiple groups are compared, e.g., when different dose levels of a compound are examined. For the comparison of multiple groups, multiple contrast tests have been shown to be superior to, e.g., analysis of variance methods, since they provide a high power while ensuring a coherent global and individual test decision. However, existing sample size calculation methods for these tests have limitations, often relying on unrealistic assumptions like variance homogeneity, which are particularly unsuitable for rather small animal trials.

In Thesis Article 1, my supervisor and I developed a novel sample size planning approach for parametric multiple comparison procedures that account for variance heterogeneity among groups. In addition, we introduced planning strategies for nonparametric multiple contrast tests using pairwise ranking procedures that do not rely on any distributional assumption. In Thesis Article 2, my coauthors and I expanded these methods, proposing sample size planning techniques for nonparametric multiple comparisons based on global ranks. All of these methods have been integrated into new software. In Thesis Article 3, we applied a nonparametric multiple contrast test. In this dissertation, the data from that study is used to plan a follow-up trial for illustration purposes.

This work introduces new methods tailored but not limited to the specific conditions of animal testing and makes sample size planning more accurate and studies more efficient. The approach avoids unrealistic assumptions, accommodates small sample sizes, and ultimately reduces the number of participants needed to achieve a predefined statistical power. In addition, the methodologies are made accessible through user-friendly software.

This work addresses key methodological limitations in sample size calculations for (pre-) clinical trials by offering solutions in several areas: 1) sample size calculation for parametric multiple contrast procedures for heteroscedastic normal data, 2) sample size calculation for nonparametric multiple contrast procedures based on pairwise-defined ranks, 3) sample size calculation for nonparametric multiple contrast procedures based on global ranks, and 4) the development of accessible software. These improvements in sample size planning approaches enhance study efficiency and ethical standards.

Die Bestimmung einer geeigneten Fallzahl (prä-)klinischer Studien ist aus ethischen und wissenschaftlichen Gründen unabdingbar. Die Fallzahl muss groß genug sein, um Effekte mit ausreichender statistischer Power nachzuweisen, und zugleich klein genug, um die Zahl der Tiere oder Teilnehmenden, die potenziell studienbedingten Risiken ausgesetzt sind, zu minimieren. In vielen (prä-)klinischen Studien werden mehrere Gruppen verglichen, z.B. bei der Untersuchung verschiedener Dosisstufen eines Wirkstoffs. Für den Vergleich mehrerer Gruppen sind multiple Kontrasttests besser geeignet als z.B. Varianzanalyseverfahren, da sie eine hohe Power und eine konsistente globale und individuelle Testentscheidung gewährleisten. Bisherige Methoden zur Berechnung der Fallzahl für diese Tests weisen erhebliche Limitierungen auf, da sie häufig auf unrealistischen Annahmen wie Homoskedastizität beruhen, was vor allem bei Tierversuchen mit eher kleinen Fallzahlen unangemessen ist.

In Promotionsartikel 1 haben mein Betreuer und ich eine neue Methode zur Fallzahlplanung für parametrische multiple Kontrasttests entwickelt, die Varianzheterogenität zwischen den Gruppen zulässt. Darüber hinaus haben wir Methoden zur Planung nichtparametrischer multipler Kontrasttests mittlels paarweiser Rangvergaben entwickelt, die keine Verteilungsannahme treffen. In Promotionsartikel 2 haben meine Koautoren und ich diese Methoden erweitert und Methoden zur Fallzahlplanung für nichtparametrische multiple Kontrasttests basierend auf globalen Rängen vorgeschlagen. Alle Methoden wurden in eine neue Software integriert. In Promotionsartikel 3 haben wir einen nichtparametrischen multiplen Kontrasttest angewendet. In dieser Dissertation werden die Daten aus dieser Studie zur Planung einer Folgestudie zu Illustrationszwecken verwendet.

In dieser Arbeit werden neue Methoden vorgestellt, die besser auf die Anforderungen präklinischer Studien zugeschnitten sind, da sie auf realistischen Annahmen basieren, auch bei kleinen Stichproben funktionieren und letztlich weniger Tiere benötigen, um die gewünschte statistische Power zu erreichen. Außerdem sind alle Methoden mithilfe einer benutzerfreundlichen Software leicht anzuwenden.

Diese Arbeit leistet einen wesentlichen Beitrag zur Reduzierung methodischer Schwächen bei der Fallzahlberechnung in (prä-)klinischen Studien und bietet Lösungen in mehreren Bereichen: 1) Berechnung der Fallzahl parametrischer multipler Kontrasttests bei heteroskedastischen normalverteilten Daten, 2) Berechnung der Fallzahl nichtparametrischer multipler Kontrasttests basierend auf paarweise definierten Rängen, 3) Berechnung der Fallzahl nichtparametrischer multipler Kontrasttests basierend auf globalen Rängen und 4) die Entwicklung einer Software. Diese Verbesserungen in den Methoden zur Fallzahlberechnung erhöhen letztlich die Studieneffizienz und tragen zu hohen ethischen Standards bei.