Im Rahmen der Projekte HeLP (Hochschulerfolg im Lehramt Physik) und HelP (Hochschulerfolg in Physik) soll ein bestehendes Vorhersagemodell zum Studienerfolg erweitert, geprüft und in einem Online-Self-Assessment (OSA) umgesetzt werden. Dieses OSA soll schließlich dazu dienen, Stu- dieninteressierte bei der Entscheidung für ein Physik- (Lehramts-)Studium fundiert und evidenzba-siert zu beraten, um langfristig den hohen Abbruchquoten entgegenzuwirken. Um dies zu ermögli-chen, wurden ein kognitiver Kompetenzstest in Mathematik und Physik und ein nicht kognitiver Fragebogen mit Selbsteinschätzungen zu Verhaltensweisen im Studium entwickelt. Beide Testteile sollen in einem Längsschnitt mit StudienanfängerInnen angewendet werden. Hierbei wird Studien-erfolg hauptsächlich über Studienzufriedenheit und den Verbleib im Studium operationalisiert. Um die Testergebnisse sinnvoll interpretieren zu können, wurde der kognitive Testteil theoriebasiert in mehrschrittigen Verfahren entwickelt und daraufhin überprüft, inwiefern die Itemschwierigkeiten das Spektrum der Personenfähigkeiten sinnvoll abdecken. Inhalt dieses Artikels soll die Entwick-lung und Validierung des kognitiven Testteils sein. Die Aufgaben sind so konzipiert worden, dass sie die Grundanforderungen in den ersten Semestern repräsentativ abdecken. Im Multiple-Choice-Fragebogenformat wurden die Aufgaben in einem Pi- lotierungsdurchlauf getestet (N = 313), die Aufgabenschwierigkeiten nach der Item Response The-ory (IRT) geschätzt und unpassende Items überarbeitet oder entfernt. Im nächsten Schritt der Test-entwicklung wurde die überarbeitete Version des Tests in einer zweiten Pilotierung an der FU Berlin eingesetzt. Die Analyse der Aufgabenschwierigkeiten und Personenfähigkeiten mit Hilfe von 1PL-Modellen ergab eine gute Passung zwischen Aufgaben und Probanden, was für eine Zielgruppenadä-quatheit des Instruments spricht. Daher ist davon auszugehen, dass sich dieser Testteil dazu eignet, ihn in der Hauptstudie auf seine Vorhersagekraft zum Studienerfolg prüfen zu können.