Planning and exploration in stochastic relational worlds

Abstract

Goal-directed behavior is one of the most interesting aspects of human and animal intelligence. This thesis addresses planning and exploration in so called stochastic relational worlds which are characterized by two key attributes: they contain large numbers of objects whose properties and relationships can be manipulated, and the effects of actions are uncertain. Such worlds comprise many natural environments such as households, offices, or factories. We take up ideas from the emerging field of statistical relational artificial intelligence and combine rich symbolic representations with a probabilistic framework to learn and represent compact models of action effects which generalize across objects. We propose a variety of methods for planning with such models in ground relational domains on the level of concrete objects. Our methods are largely based on the information processing principle of probabilistic inference in graphical models. We introduce a framework for focusing on relevant objects in planning. We lift existing exploration theories to relational representations. This results in a novel form of exploration which focuses decidedly on objects to which the learned knowledge does not generalize yet. Combining our proposed techniques with existing methods enables goal-directed behavior of autonomous agents in stochastic relational worlds.

Zielgerichtetes Verhalten ist ein eindrucksvolles Zeugnis der Intelligenz von Menschen und Tieren. Diese Doktorarbeit untersucht formale Prinzipien für solches Verhalten in so genannten stochastischen relationalen Welten, welche sich durch zwei Haupteigenschaften auszeichnen: sie enthalten eine Vielzahl an Gegenständen, deren Eigenschaften und gegenseitige Beziehungen verändert werden können; und die Wirkung von Aktionen kann in ihnen nur mit Unsicherheit abgeschätzt werden. Viele natürliche Haushalts- und Arbeitsumgebungen fallen unter diese Kategorie. Wir verfolgen die Idee der Statistischen Relationalen Künstlichen Intelligenz und verknüpfen aussagekräftige relationale Wissensrepräsentationen mit einem probabilistischen Ansatz. Dadurch können wir Wissen über die Wirkungsweise von Aktionen in kompakten Modellen repräsentieren und aus wenigen Erfahrungen so verallgemeinernd erlernen, dass es sich auch auf bisher noch unerforschte Gegenstände erstreckt. Wir führen verschiedene Methoden zur Planung von Aktionsketten in konkreten relationalen Welten ein, die solche Modelle auf gegebene Gegenstände anwenden. Unsere Ansätze fußen großenteils auf dem Informationsverarbeitungsprinzip der probabilistischen Inferenz in graphischen Modellen. Wir entwerfen eine Theorie, die aufzeigt, wie allein relevante Objekte beim Planen berücksichtigt werden können. Wir erweitern existierende Theorien zur Erkundung grundlegend im Hinblick auf relationale Repräsentationen. Dies führt zu einer neuartigen Form explorativen Verhaltens, in der bewusst Gegenstände erkundet werden, auf die bisher erlerntes Wissen nicht verallgemeinert werden kann. Die Kombination unserer neuen Methoden mit existierenden Techniken ermöglicht den Entwurf künstlicher autonomer Agenten, die zielgerichtetes Verhalten in stochastischen relationalen Welten beherrschen.