On the Statistical Approximation of Conditional Expectation Operators

Abstract

Diese Dissertation erörtert die datengetriebene Approximation des sogenannten conditional expectation operators, welcher den Erwartungswert einer reellwertigen Transformation einer Zufallsvariablen bedingt auf eine zweite Zufallsvariable beschreibt. Sie stellt dieses klassische numerische Problem in einem neuen theoretischen Zusammenhang dar und beleuchtet es mit verschiedenen ausgewählten Methoden der modernen statistischen Lerntheorie. Es werden sowohl ein bekannter parametrischer Projektionsansatz aus dem numerischen Bereich als auch ein nichtparametrisches Modell auf Basis eines reproducing kernel Hilbert space untersucht.

Die Untersuchungen dieser Arbeit werden motiviert duch den speziellen Fall, in dem der conditional expectation operator die Übergangswahrscheinlichkeiten eines Markovprozesses beschreibt. In diesem Kontext sind die Spektraleigenschaften des resultierenden Markov transition operators von großem praktischen Interesse zur datenbasierten Untersuchung von komplexer Dynamik. Die oben genannten vorgestellten Schätzer werden in diesem Szenario in der Praxis verwendet.

Es werden diverse neue Konvergenz- und Approximationsresultate sowohl für stochastisch unabhängige als auch abhängige Daten gezeigt. Als Werkzeuge für diese Ergebnisse dienen Konzepte aus den Theorien inverser Probleme, schwach abhängiger stochastischer Prozesse, der St ̈orung von Spektraleigenschaften und der Konzentration von Wahrscheinlichkeitsmaßen. Zur theoretischen Rechtfertigung des nichtparametrischen Modells wird das Schätzen von kernel autocovariance operators von stationären Zeitreihen untersucht. Diese Betrachtung kann zusätzlich vielfältig in anderen Zusammenhängen genutzt werden, was anhand von neuen Ergebnissen zur Konsistenz von kernelbasierter Hauptkomponentenanalyse mit schwach abhängigen Daten demonstriert wird.

Diese Dissertation ist theoretischer Natur und dient nicht zur unmittelbaren Umsetzung von neuen numerischen Methoden. Sie stellt jedoch den direkten Zusammenhang von bekannten Ansätzen in diesem Feld zu relevanten statistischen Arbeiten der letzten Jahre her, welche sowohl stärkere theoretische Ergebnisse als auch effizientere praktische Schätzer für dieses Problem in der Zukunft möglich machen.

This dissertation discusses the data-driven approximation of the so-called conditional expectation operator, which describes the expected value of a real-valued transformation of a random variable conditioned on a second random variable. It presents this classical numerical problem in a new theoretical context and examines it using various selected methods from modern statistical learning theory. Both a well-known parametric projection approach from the numerical domain and a nonparametric model based on a reproducing kernel Hilbert space are investigated.

The investigations of this work are motivated by the special case in which the conditional expectation operator describes the transition probabilities of a Markov process. In this context, the spectral properties of the resulting Markov transition operator are of great practical interest for the data-based study of complex dynamics. The presented estimators are used in practice in this scenario. Various new convergence and approximation results are shown for both stochastically independent and dependent data. Concepts from the theories of inverse problems, weakly dependent stochastic processes, spectral perturbation, and concentration of measure serve as tools for these results. For the theoretical justification of the nonparametric model, the estimation of kernel autocovariance operators of stationary time series is investigated. This consideration can additionally be used in a variety of ways in other contexts, which is demonstrated in terms of new results on the consistency of kernel-based principal component analysis with weakly dependent data.

This dissertation is theoretical in nature and does not serve to directly implement new numerical methods. It does, however, provide a direct link from known approaches in this field to relevant statistical work from recent years, which will make both stronger theoretical results and more efficient practical estimators for this problem possible in the future.