Adaptive Audio and Video Processing for Electronic Chalkboard Lectures

Abstract

This thesis describes my research on improving the production of distance lectures directly in the classroom. The work is conducted with the concrete example of E-Chalk, a software system for recording and transmitting electronic whiteboard lectures over the Internet. Several tasks that formerly required technical personnel are now performed by the computer. A novel combination of video and board content is proposed that solves well-known ergonomic problems and achieves a higher degree of media integration. Although developed inside the scope of a concrete system, the results are general and the realized methods may be used in a variety of applications. In essence, this dissertation shows that computers can be utilized much better to automate the creation of multimedia content than the current state of the art by making the following contributions:

* The architectural base for E-chalk is provided by a novel multimedia software framework. Based on state-of-the-art solutions for component-based software development, the system simplifies the implementation and the configuration of multimedia processing applications. It facilitates the integration of diverse multimedia content already on the architecture level. * An Internet audio broadcasting system is presented that makes studio-less voice recording easier by automating several tasks usually handled by technicians. The solution described in this document measures the quality of the sound hardware used, monitors possible hardware malfunctions, prevents common user mistakes, and provides online sound-enhancement mechanisms. * Using a novel segmentation algorithm, the lecturer image is extracted from a video and then pasted on top of the vector-graphics image of the board. This allows to transmit the facial expressions and gestures of the instructor in direct correspondence to vector-based handwritten board content. The resulting lecture allows to watch the instructor acting in front of the board without occluding any board content. * Finally, the instructor video segmentation approach is generalized. The method can be used for interactive object extraction in generic image or video processing software. This thesis presents benchmark results and shows how the approach has been implemented in several popular open-source applications.

Diese Dissertation entstand auf Grund meiner Mitarbeit am Projekt "E-Kreide", welches zum Ziel hat, herkömmliche Wandtafeln durch elektronische zu ersetzen. Dadurch ist es möglich, die Präsenzlehre durch multimediale Elemente zu bereichern, ohne dass die von der klassischen Kreidetafel bekannte und vielfach bewährte Art und Weise Vorlesungen zu halten verloren geht.

In der vorliegenden Arbeit wird ein Softwaresystem vorgestellt, das die elektronischen Tafelinhalte mit Audio- und Videoaufzeichnung zu einem Medium verknüpft, so dass Veranstaltungen ohne zusätzlichen personellen Aufwand - sowohl live als auch aufgezeichnet - über das Internet abgespielt werden können. Das vorgestellte System basiert auf einer komponentenbasierten Softwarearchitektur, die die Integration von verschiedenen Formaten und die beliebige Erweiterung durch Dritte erleichtert, während der administrative Aufwand für die Wartung des Systems sehr klein gehalten wird. Während der Vorlesung überwacht ein Expertensystem die Audioaufzeichnung, um automatisch verschiedene Störungsquellen herauszufiltern und mögliche Ausfälle zu melden. Wird der Vortragende vor der Tafel zusätzlich von einer starren Kamera aufgenommen, wird er oder sie aus dem Video extrahiert und während des Abspielens der Vorlesung halbtransparent vor dem Tafelinhalt angezeigt. Gestik und Mimik des Dozenten können so in Relation zu dem sonst unpersönlichen Tafelbild übertragen und abgespielt werden. Das zu diesem Zweck entwickelte automatische Segmentierungsverfahren benutzt sehr wenige problemspezifische Annahmen und kann somit auch auf andere Bilder oder Videos angewandt werden.

Seit der Veröffentlichung einer semi-automatischen Variante des Verfahrens unter dem Namen "Simple Interactive Object Extraction (SIOX)" wurde es daher in verschiedene Bildverarbeitungsprogramme integriert.