In this thesis, we report on several topics related to the stability of random dynamical systems. First, we show that a mechanism known as shear-induced chaos can induce chaotic behavior, as evidenced by a positive Lyapunov exponent, in a Stuart-Landau oscillator perturbed by additive white noise. This answers a question that has been raised several times in the literature . We then study a class of stochastic differential equations that allows for stronger shear than in the Stuart-Landau oscillator. This strong shear can cause the system to no longer admit a random attractor or to even lose strong completeness, i.e., to no longer admit a global stochastic flow. We call this mechanism shear-induced blowup. Furthermore, we derive two tight conditions on the growth of the shear term, under which the system is strongly complete and admits a set attractor, respectively. Combined with information about the sign of the largest Lyapunov exponent, this allows us to conclude whether the system is strongly and/or weakly synchronizing. For this, we introduce a new set of conditions for stochastic differential equations with additive noise under which the time-1 map satisfies a stable/unstable manifold theorem. These conditions are weaker than those previously available in the literature and, in particular, can handle cases for which the stochastic differential equation is not strongly complete. The final chapter of this dissertation deals with the stability of random dynamical systems in the context of machine learning. In particular, we study an overparameterized optimization task that is commonly encountered in modern deep learning. We characterize the set of interpolation solutions that are dynamically stable under two popular learning algorithms, gradient descent and stochastic gradient descent. Dynamical stability is related to generalization and implicit bias, a topic that is still poorly understood, despite the success of machine learning. Some of the results presented in this thesis are based on joint work with Maximilian Engel and Michael Scheutzow.
In dieser Arbeit berichten wir über mehrere Themen im Zusammenhang mit der Stabilität zufälliger dynamischer Systeme. Zunächst zeigen wir, dass ein Mechanismus, der als scherungsinduziertes Chaos bekannt ist, chaotisches Verhalten im Sinne eines positiven Lyapunov-Exponenten in einem durch additives weißes Rauschen gestörten Stuart-Landau-Oszillator hervorrufen kann. Dies beantwortet eine Frage, die in der Literatur mehrfach gestellt wurde. Anschließend untersuchen wir eine Klasse von stochastischen Differentialgleichungen, die eine stärkere Scherung als der Stuart-Landau-Oszillator zulassen. Diese starke Scherung kann dazu führen, dass das System keinen zufälligen Attraktor mehr besitzt oder sogar seine starke Vollständigkeit verliert, d.h. keinen globalen stochastischen Fluss mehr erzeugt. Wir nennen diesen Mechanismus „scherungsinduziertes Blowup“. Darüber hinaus leiten wir zwei scharfe Bedingungen für das Wachstum des Scherungsterms her, unter denen das System stark vollständig ist bzw. einen Mengen-Attraktor besitzt. In Kombination mit Informationen über das Vorzeichen des größten Lyapunov-Exponenten lässt dies Schlüsse darüber zu, ob das System stark und/oder schwach synchronisierend ist.
Zu diesem Zweck führen wir einen neuen Satz von Bedingungen für stochastische Differentialgleichungen mit additivem Rauschen ein, unter denen die Zeit-1-Abbildung ein Theorem der stabilen/instabilen Mannigfaltigkeit erfüllt. Diese Bedingungen sind schwächer als die bisher in der Literatur verfügbaren und können insbesondere Fälle behandeln, in denen die stochastische Differentialgleichung nicht stark abgeschlossen ist.
Das letzte Kapitel dieser Dissertation befasst sich mit der Stabilität von zufälligen dynamischen Systemen im Kontext des maschinellen Lernens. Insbesondere untersuchen wir ein überparametrisiertes Optimierungsproblem, wie es im modernen Deep Learning häufig vorkommt. Wir charakterisieren die Menge der Interpolationslösungen, die unter zwei populären Lernalgorithmen - dem Gradientenabstieg und dem stochastischen Gradientenabstieg - dynamisch stabil sind. Dynamische Stabilität hängt mit Generalisierung und implizitem Bias zusammen, einem Thema, das trotz des Erfolgs von maschinellem Lernen noch unzureichend verstanden wird.
