Visual shape similarity and retrieval of figurative images

Abstract

The goal of the present work was to develop a system for automated similarity retrieval of figurative images---especially trademark images---which gives results that resemble human similarity estimation. In the first chapter, findings about the peculiarities of the perception of images and about human similarity estimation are compiled and the special needs of similarity retrieval of trademark images are explained. As the depicted shapes play an important role for the estimation of similarity, an approach for the detection of the shapes has been developed. It encounters that shapes may be depicted in different ways (by regions, using textures, by contour lines) and that images often contain compression artefacts and noise. For the estimation of the similarity of images based on the detected shapes, an approach has been developed that, in a first stage, computes transformations which map the images and, in a second stage, compares the mapped images. For the computation of the transformations an existing randomized approach has been enhanced. It chooses appropriate transformations based on collecting votes. For the comparison of the mapped images a new similarity measure on the contour lines has been developed which takes the correspondences in position and direction into account. Based on these components a system for similarity retrieval has been developed which also considers the special needs of similarity retrieval of trademark images. The experimental results show a high conformance with human similarity estimation. The results are significantly better than the ones achieved by existing systems.

Ziel der vorliegenden Arbeit war es, ein System zur automatischen Ähnlichkeitssuche von piktogrammartigen Graphiken, insbesondere von Firmenlogos, zu entwickeln, welches möglichst gute Übereinstimmung mit dem menschlichen Ähnlichkeitsempfinden erzielt. Im ersten Teil der Arbeit wurden Erkenntnisse über die Besonderheiten der Wahrnehmung von Bildern und über das menschliche Ähnlichkeitsempfinden zusammengetragen sowie die speziellen Anforderungen bei der Ähnlichkeitssuche von Firmenlogos erläutert. Da die dargestellten Formen die wichtigste Rolle spielen, wurde ein Verfahren für die Detektierung dieser Formen entwickelt. Dabei wurde unter anderem berücksichtigt, dass Formen auf unterschiedliche Art und Weise dargestellt werden können (Flächen, Texturen, Konturlinien) und dass Bilder häufig Fehler wie Kompressionsartefakte und Bildrauschen enthalten. Zur Ähnlichkeitsbestimmung von Bildern anhand der detektierten Formen wurde ein Verfahren entwickelt, welches im ersten Schritt Transformationen bestimmt, die die Bilder möglichst gut zur Deckung bringen, und im zweiten Schritt die so zur Deckung gebrachten Bilder miteinander vergleicht. Für die Bestimmung der Transformationen wurde ein bestehendes, randomisiertes Verfahren weiterentwickelt, das darauf basiert, anhand von gesammelten Indizien Kandidaten für geeignete Transformationen auszuwählen. Für den Vergleich der zur Deckung gebrachten Bilder wurde ein neues Ähnlichkeitsmaß entwickelt, welches Übereinstimmungen in Position und Richtung der Konturlinien berücksichtigt. Darauf aufbauend wurde dann ein System zur Ähnlichkeitssuche entwickelt, welches zusätzliche Besonderheiten von Firmenlogos berücksichtigt. Die Ergebnisse der durchgeführten Experimente zeigen eine große Übereinstimmung mit dem menschlichen Ähnlickeitsempfinden und die erzielten Kennzahlen sind deutlich besser als die, bestehender Systeme.