Understanding Mathematics: A System for the Recognition of On-Line Handwritten Mathematical Expressions

Abstract

This work presents a system for the recognition of on-line handwritten mathematical formulas. The system consists of two main stages: Classification of isolated on-line handwritten symbols and the analysis of spatial relationships among them. We propose a system for the recognition of isolated on-line handwritten characters which is based on support vector classification. We also propose a suitable representation for strokes and symbols which is used to improve the classification rates of the classifier. Our experiments show that our classifier achieved better classification rates in comparison to other popular classification techniques. This could be accomplished by extensive preprocessing of the data and by parameter selection for the support vector classification. We propose a new structural analysis method for the recognition of on-line handwritten mathematical expressions based on a minimum spanning tree construction and symbol dominance. Our method addresses important layout problems frequently encountered in on-line handwritten formula-recognition systems. Our method also aims to handle input as naturally as possible, i.e. using the usual mathematical conventions, without restrictions in the order the symbols are written. Our method handles symbols with non-standard layout, like \sideset{^{*}_{*}}{^{*}_{*}}\prod, as well as tabular layouts, e.g. matrices. Our system for the recognition of on- line handwritten mathematical expressions is used in the Electronic Chalkboard (E-Chalk), a multimedia system for distance-teaching.

Die vorliegende Arbeit stellt ein System für die Online-Erkennung handgeschriebener mathematischer Formeln vor. Das System besteht aus zwei verschiedenen Komponenten, einem Klassifikator einzelner handgeschriebener Online-Symbole und einem Analysator mathematischer Strukturen. Die Erkennung der einzelnen Symbole erfolgt mittels Support-Vektor-Maschinen. Aus unserer Experimenten ergab sich, dass unser Klassifikator gegenüber den klassischen Techniken bessere Erkennungsraten erreichte. Diese Ergebnisse wurden durch intensive Vorbearbeitung der Symbole und Suche optimaler Parameter ermöglicht. Unsere Experimente lassen den Schluss zu, dass Support-Vektor-Maschinen den Kompromiss zwischen Trainingszeit und Klassifikationsrate optimieren. In der Arbeit wird eine neue Methode für die Online-Strukturanalyse handgeschriebener mathematischer Ausdrücke besprochen, die sich auf der Aufbau eines minimalen spannenden Baums und Symboldominanz basiert. Diese Technik ermöglicht eine natürliche Eingabe der mathematischen Formeln, d.h., die Symbole und Formeln werden ohne Beschränkungen nach der üblichen mathematischen Notation geschrieben. Unsere Methode lässt sich einfach erweitern, um andere mathematische Strukturen zu erkennen, z.B. Matrizen und andere ungewöhnliche Strukturen, wie die in der LaTeX-Sprache definierte Struktur sideset{^{*}_{*}}{^{*}_{*}} Unser Erkennungssystem wurde in der Programmiersprache Java implementiert und ist das Standard- Formelerkennungssystem des E-Kreide Systems.