Learning representations from motion trajectories: Analysis and applications to robot planning and control

Abstract

Generating motion is a crucial aspect of articulated robotics. Many robot manipulation tasks can be defined and solved as a motion trajectory generation problem where the robot needs to calculate and execute a task-appropriate movement. Multiple efficient methods have been developed for this problem in the robotic community, but they do not make use of the patterns found in motion data. We will propose in this thesis novel approaches to combine machine learning and robotics. The main conceptual achievement of this thesis is the successful fusion of machine learning and robotic algorithms to improve motion generation and discover the structure of different motion tasks. By observing examples of robot motions, optimal for a given task, we can find the relevant features of the motions, and discover the latent structure inherent in the interaction between robot and workspace. This leads to new algorithms for planning and control which are demonstrated in numerous experiments to improve on previous approaches in terms of speed and generalization ability. For speeding up motion planning we developed an algorithm called Trajectory Prediction. In the trajectory planning scenario the desired robot behavior is specified by a cost function and a planner algorithm is used to generate low- cost motions. Our contribution is to predict an appropriate initial trajectory that can speed up the planner. We do this by learning a mapping from situation to trajectory, and extracting the representations useful for such a mapping. For learning from demonstration we developed an algorithm called Task Space Retrieval Using Inverse Optimal Control. In this scenario no cost function is available to spec- ify what is a good motion. By observing example trajectories our method can learn a value function model and an efficient sparse task space representation of the desired behavior. A controller for motion generation is developed based on this value function, effectively generalizing the demonstrated behavior in novel situations.

Ein Schwerpunkt der Forschung an Robotern ist die Generierung von Bewegung. Um die Gegenstände in seiner Umgebung handzuhaben und mit ihnen verschiedene Auf- gaben zu lösen, muss ein Roboter die dafür notwendigen Bewegungtrajektorien berech- nen und anschliessend ausführen. Eine Vielzahl Methoden zur Generierung von Bewe- gung wurde in der Robotik entwickelt. Doch keine dieser Methoden nutzt die Muster in vorangegangenen erfolgreichen Bewegungen aus, um die Bewegungsgenerierung besser und schneller zu machen. In dieser Doktorarbeit schlage ich neuartige Ansätze vor, die Techniken des Maschinellen Lernens und der Robotik vereinen. Diese Ansätze er- möglichen es einem Roboter, die Merkmale und latente Struktur in seiner Interaktion mit der Umgebung zu analysieren und dadurch aus seiner Erfahrung effizientere Bewe- gungen zu lernen. In zahlreichen Experimenten zeige ich, dass meine Ansätze schneller und effizienter Bewegungen erzeugen als etablierte Techniken. Der erste konkrete Beitrag zu Bewegungsplanung ist die so genannte Trajectory Pre- diction. Unsere Methode kann, gegeben eine Weltbeschreibung, schnell eine geeignete Trajektorie, aufgrund einer von Daten gelernten Funktion, vorhersagen. Die von Daten gelernten Muster erlauben eine deutlich schnellere Bewegungserzeugung in Vergleich zu Methoden die diese Daten nicht benutzen. Diese Muster reflektieren Strukturen in der Anordnung von Objekte, die die robotische Bewegung beinflussen. Mein zweiter Ansatz Task Space Retrieval using Inverse Optimal Control ist eine Meth- ode zum Lernen aus der Beobachtung einer Bewegungsdemonstration. Aus der Demon- stration lernt dieser Ansatz eine Wertefunktion für gute Bewegungen und eine kompakte Aufgabenrepräsentation. Dadurch kann ein Roboter auf Grundlage der gelernten Werte- funktion in neuen Situationen angemessene Bewegungen erzeugen und sich wie demon- striert verhalten, ohne dass ihm eine explizite Aufgabenspezifikation gegeben werden muss.