Modelling Observations of Dynamical Systems with Memory

Abstract

Detecting the governing mathematical rules of a dynamical system from data persists to be a challenge. It becomes particularly difficult when the variables of the system can only be partially observed in the form of a so-called observable function. In this case information about variables that can be vital for the prediction of future states is missing. In order to still formulate the dynamics of the observable, it can be shown that by exploiting its memory terms one can make up for the lost information. This can be placed on a mathematical ground by the delay embedding theorem of Takens and the Mori–Zwanzig formalism (MZ). In this thesis, novel numerical methods for the modelling of the observed dynamics were developed by using Takens and MZ to extend known methods used for memoryless systems. Firstly, the method Sparse Identification of Nonlinear Dynamics (SINDy) was combined with the family of autoregressive (AR) models to define Sparse Identification of Autoregressive Models (SINAR) which seeks a sparse representation of memory-exhibiting dynamics. It was compared to various others theoretically and on examples coming from different fields. Another new numerical method was introduced in which a high-dimensional dynamical system is projected onto a low-dimensional convex polytope using the Scalable Probabilistic Approximation (SPA) algorithm. The projection to the polytope was interpreted as an observable and memory was used to estimate the projected dynamics in a newly introduced method called memory SPA (mSPA). It was shown that mSPA can generate strong prediction accuracy for various dynamical systems while guaranteeing stability by keeping the dynamics inside the polytope. As another contribution of this thesis, the identification of memory-exhibiting dynamics was connected with the field of agent-based modelling. To this end, two new ABMs were defined, the high-dimensional representation of the states of all individual agents was interpreted as the full system state and a low-dimensional statistic as the observable. Then the ABM was translated into the setting introduced before. It was shown in a detailed numerical analysis using SINAR that including memory generally improves the accuracy of the model identification, moreover, that adding a sparsity constraint can improve the model and that the model fitting can strongly depend on the data. The thesis was concluded with a small note on how along the different methods discussed, the seemingly unrelated theoretical perspectives of Takens and Mori–Zwanzig could be connected.

Die dominanten mathematischen Regeln eines dynamischen Systems aus Daten zu ermitteln ist weiterhin eine Herausforderung, welche besonders schwierig wird, wenn die Variablen eines Systems nur in Form einer so genannten Observablenfunktion partiell beobachtet werden können. Um trotzdem die Dynamik der Observablen formulieren zu können, ist es möglich, die Gedächtnisterme der Observablen zu benutzen, um das Fehlen der Information über die nicht-beobachtbaren Variablen auszugleichen. Dies kann auf ein mathematisches Fundament gestellt werden durch das (eng.) Delay-Embedding-Theorem von Takens und den Mori–Zwanzig Formalismus (MZ). In dieser Arbeit wurden neue numerische Methoden für die Modellierung der beobachteten Dynamik entwickelt, indem mithilfe von Takens und MZbereits bekannte Methoden für gedächtnislose Dynamiken erweitert wurden. Zunächst wurde die Methode Sparse Identification of Nonlinear Dynamics (SINDy) mit autoregressiven (AR) Modellen kombiniert, um Sparse Identification of Autoregressive Models (SINAR) zu definieren – eine Methode, die eine (eng.) sparse Darstellung einer gedächtniszeigenden Dynamik zu finden versucht. Diese Methoden wurden untereinander und mit anderen auf theoretischer Basis und anhand verschiedener Beispiele verglichen. Eine weitere numerische Methode wurde eingeführt, mit der durch den Scalable Probabilistic Approximation (SPA) Algorithmus eine hochdimensionale Dynamik auf ein niedrigdimensionales Polytop projiziert wird. Die Projektion auf das Polytop wurde als Observable interpretiert und Gedächtnis benutzt, um die projizierte Dynamik mit der neuen Methode memory SPA (mSPA) zu schätzen. Es wurde gezeigt, dass mSPA gute Genauigkeit für verschiedene dynamische Systeme erreichen kann und gleichzeitig Stabilität garantiert, indem die Dynamik innerhalb des Polytops bleibt. Als ein weiterer Beitrag dieser Arbeit wurde die Identifikation von gedächtniszeigender Dynamik mit dem Feld von agentenbasierter Modellierung (ABM) verbunden, wofür zwei neue ABMs definiert wurden. Die hochdimensionale Darstellung der Zustände ihrer einzelnen Agenten wurden als den vollen Systemzustand und eine niedrigdimensionale Statistik als die Observable interpretiert und die ABMs wurden in das zuvor eingeführte Konzept übersetzt. Es wurde mit SINAR u.a. detailliert gezeigt, dass das Hinzunehmen von Gedächtnis im Allgemeinen die Genauigkeit der Modellidentifikation verbessert. Diese Arbeit wurde mit einer Beobachtung dar über abgeschlossen, wie durch die verschiedenen untersuchten Methoden die scheinbar nicht verwandten theoretischen Perspektiven von Takens und Mori–Zwanzig verbunden werden könnten.