Optimale Stimuli in einem hierarchischen SFA-Netzwerk

Abstract

Diese Arbeit hat die maximal inhibitorischen und exzitatorischen Stimuli von Zellen eines hierarchischen, mit natürlichen Bildern trainierten SFA- Netzwerkes systematisch für alle vier Schichten unter verschiedenen Nebenbedingungen untersucht. Es konnten die bekannten Ergebnisse hinsichtlich der Optima für Schicht 1 aus den Arbeiten von Berkes and Wiskott (2005) sowie der MDP-Bibliothek (http://mdp-toolkit.sourceforge.net/ ) reproduziert werden. Unter der sonst verwendeten Kugelnebenbedingung zeigte sich in den Optima ab Schicht 2 des SFA-Netzwerkes ein Lokalisierungsphänomen, bei welchem nahezu die gesamte Bildenergie auf stets ein oder zwei rezeptive Felder von Schicht 1 verteilt wird. Diese Lokalisierung liegt am Zusammenspiel von Netzwerkarchitektur, Kugelnebenbedingung bzw. quadratischer Norm und Polynomeigenschaft der SFA-Zellen. Die Abhängigkeit 'maximal erreichbarer Funktionswert in Abhängigkeit von zur Verfügung stehender Bildenergie' produziert aufgrund der Kugelnebenbedingung in Schicht 1 eine Optimierung konkurriender konkaver Unterprobleme, ab Schicht 2 eine Optimierung konkurrierender konvexer Unterprobleme, die die Resultate erklären. Entsprechend der entwickelten Theorie und den durchgeführten Simulationen tritt dieses Phänomen bei Nebenbedingungen höherer Ordnung (z.B. Supremumsnorm bzw. Würfelnebenbedingung) nicht mehr auf. Eine höhergradige, an das Netzwerk angepasste Norm wie die Supremumsnorm sind notwendig, um die Optima höherer Schichten adäquat zu untersuchen. Es zeigen sich dann Optima, die Ähnlichkeiten mit in der Literatur beschriebenen Stimulisets haben, in Komplexität zunehmen und das gesamte rezeptive Feld ausfüllen.

In this work we investigated optimal excitatory and inhibitory stimuli of all 4 layers of a hierarchical SFA network that has been trained with sequences of natural images under different constraints. We reproduced the known results for layer 1 by Berkes and Wiskott (2005) and of the MDP library (http://mdp- toolkit.sourceforge.net/ ). If we used the usual bowl constraint, we saw a localization phenomenon from layer 2 on where almost all the available energy was restricted to one or two receptive fields of layer 1. This phenomenon is due to the network architecture, the bowl constraint and the fact that the SFA nodes are polynomials. The interplay of the achievable function value and the restricted energy (in the sense of the bowl constraint) lead to competing concave sub-problems in layer 1 and convex sub-problems from layer 2 on explaining our results. By the theory we developped by using higher order norms (e.g. the cube constraint/supremum norm), we can avoid localizations. We conclude that a network adapted norm or constraint is necessary to investigate the optima properly. With this, we found optimal stimuli similar to sets described in the literature that become more and more complex and that use all of the available receptive field.