Development of a Hybrid Brain-Computer Interface for Autonomous Systems

Abstract

This work presents an EEG-based brain-computer interface (BCI) for controlling autonomous devices. The purpose of this system is to restore some mobility to people with severe neuromuscular disorders who cannot operate an electric wheelchair or other devices with physical interfaces. This BCI was tested with an autonomous wheelchair in different scenarios, including open places. The BCI combines P300-evoked responses and steady-state visual evoked potentials (SSVEPs) to decode the user's intentions. Target places and other navigation commands are selected with a P300-based interactive menu, whereas the device is stopped with the modulation of SSVEP oscillations. To reduce the risk of producing inadvertent commands when the user is not using the interface, the P300-based BCI can only be used after unlocking this function with the SSVEP- based BCI. The main advantages of this hybrid design compared to P300-based interfaces are that the wheelchair can be stopped quickly without cognitive effort, and false positives for the options of the interactive menu are reduced to a level close to zero. The autonomy of the P300-based BCI is guaranteed by adapting the classifier during the normal operation of the interface. Newly recorded data is used to adjust the classifier so that the performance of the BCI is not affected by non-stationarities in long experimental sessions. Furthermore, this thesis presents a novel method for auto-calibrating the P300-based BCI that does not require labeled data and the user's intervention. The auto-calibration and the adaptation of the P300 classifier allow operating the interface in optimal conditions at all times without assistance. The control of false positives in the SSVEP-based BCI is also addressed in this work. To this end, it is proposed a new method for detecting SSVEP-related activity which requires minimal training and is easy to adapt. This new approach only requires resting state data to find the parameters of the classifier that maintains the false positive rate below the desired level. In the worst cases, no more than 0.067 false positives per minute were detected in the online tests with the wheelchair. The proposed BCI also incorporates two passive subsystems to quantify mind states and error- related potentials (ErrPs). The former is used to measure brain oscillations related to task engagement and fatigue. The quantification of both variables has the potential to improve the interaction between the user and the smart device. On the other hand, the other BCI is used to detect machine errors automatically when the subject perceives that the P300-based BCI has selected one option incorrectly. This automatic feedback may be used to improve the performance of the hybrid-BCI when the P300 classifier has low accuracy. However, if the system detects P300 responses correctly most of the time, the ErrP-based BCI is not necessary and may slow down the application. The final result is a hybrid BCI that analyzes, at the same time, different components of electrical neural activity. This work includes an integral evaluation of the four implemented BCIs and a final test of the hybrid architecture with the autonomous wheelchair. The results presented in this document demonstrate that the proposed interface is very efficient in communicating the user's intentions to the autonomous device. It is shown that subjects without a priori knowledge of BCI technology can master the interface after a few minutes of training and achieve accuracies of 100%.

In der vorliegenden Arbeit wird das EEG-basierte Brain-Computer Interface (BCI) zur Steuerung von autonomen Vorrichtungen vorgestellt. Das Ziel ist es solch ein System einzusetzen, um die Mobilität von Personen wiederherzustellen, die unter einer neuromuskulären Störung leiden und mechanisch keine elektronische Fortbewegungsmittel oder andere Geräte nutzen können. Dieses BCI wurde anhand eines autonomen Rollstuhls unter unterschiedlichen Umständen, einschließlich des öffentlichen Raums, untersucht. Das BCI vereint P300 ausgelöste Potentiale und steady-state visual evozierte Potentiale (SSVEPs), um die Absicht des Nutzers zu entschlüsseln. Objektplatzierung und andere Steuerbefehle werden über ein P300-basiertes interaktives Menü ausgewählt, während das Gerät mittels der Modulation von SSVEP Amplituden angehalten wird. Um das unbeabsichtigte Auslösen eines Befehls zu vermeiden, wenn der Nutzer nicht das Interface beachtet, kann das P300-basierte BCI nur dann benutzt werden, wenn diese Funktion über das SSVEP- basierte BCI freigeschaltet wird. Der hauptsächliche Vorteil dieses Hybriddesigns im Vergleich zu rein P300-basierte Systeme ist, dass der Rollstuhl ohne kognitiven Aufwand schnell angehalten werden kann und, des Weiteren, falsch-positive Interaktionen weitestgehend ausgeschlossen werden können. Die Eigenständigkeit des P300-basierten BCIs wird gewährleistet, in dem der Klassifikator während des normalen Betriebs des Interface angepasst wird. Kürzlich erfasste Messwerte werden genutzt, um den Klassifikator durchgängig anzupassen. Des Weiteren stellt diese Arbeit eine neuartige Methode zur auto-Kalibrierung des P300-basierten BCIs vor, die weder gekennzeichnete Daten noch den Eingriff des Nutzers benötigt. Die automatische Kalibrierung und die Anpassung des P300 Klassifikators erlauben den Nutzer das Interface auch ohne Beihilfe jederzeit in optimalen Bedingungen zu betreiben. Die Vermeidung von falsch-positiven Ergebnissen des SSVEP-basierten BCI wird ebenfalls im Rahmen dieser Arbeit behandelt. In diesem Zusammenhang wird eine neue Methode vorgeschlagen, um die SSVEP-bezogene Aktivität zu detektieren, die eine geringe Einweisung benötigt und einfach zu adaptieren ist. Dieser neue Ansatz benötigt nur Daten ohne SSVEP Modulation, um die Parameter des Klassifikators zu finden, die die Quote an falsch-positiven Ergebnissen unter einem gewünschten Niveau hält. Während der online Probe mit dem Rollstuhl wurden, auch im schlimmsten Fall, nicht mehr als 0.067 falsch-positive Ergebnisse pro Minute detektiert. Das vorgeschlagene BCI beinhaltet ebenfalls zwei passive Subsysteme, um kognitive Zustände und Fehler bezogene Potentiale (ErrPs, engl. error-related potentials) zu quantifizieren. Das Erste wird genutzt, um Gehirnschwingungen zu Messen, die mit der Auseinandersetzung mit Aufgabenstellungen und der Erschöpfung zusammenhängen. Die Quantifizierung beider Variablen bietet die Möglichkeit die Interaktion zwischen Nutzer und Gerät zu verbessern. Auf der anderen Seite wird das andere BCI verwendet, um maschinelle Fehler automatisch zu detektieren, sobald der Nutzer bemerkt, dass das P300-basierte BCI eine Option irrtümlich ausgewählt hat. Dieses automatische Feedback kann genutzt werden, um die Funktion des Hybrid-BCIs, in Fällen wo der P300 Klassifikator eine geringe Genauigkeit aufweist, zu verbessern. Wenn das System jedoch die P300 Signale in den meisten Fällen richtig detektiert, wird das ErrP-basierte BCI nicht benötigt und die Applikation dadurch verlangsamt. Das abschließende Ergebnis ist ein Hybrid- BCI, das gleichzeitig unterschiedliche Komponenten der elektrischen neuronalen Aktivität analysiert. Die vorliegende Arbeit beinhaltet eine vollständige Untersuchung der vier implementierten BCIs und eine abschließende Prüfung des Hybridsystems anhand eines autonomen Rollstuhls. Die hiermit vorgestellten Ergebnisse zeigen, dass das vorgeschlagene Interface dem autonomen Gerät mit großer Effizienz die Absicht des Nutzers vermitteln kann. Es wird gezeigt, dass Testpersonen ohne apriori Kenntnisse der BCI Technologie das Interface nach wenigen Übungsminuten beherrschen und dabei eine Genauigkeit von 100% erreichen können.