Generation of Secure Runtime Environments for Untrusted Applications Through Machine Code Analysis

Abstract

Infrastructure providers rely on the execution of third-party applications to offer their platforms to customers and researchers. The execution of each application without a preceded security review poses a risk for the system and the overall IT infrastructure. However, if the unreviewed application is available for execution, it is also available for an analysis to generate appropriate countermeasures to prevent unwanted behaviour. This work investigates the capabilities of an automated secure environment. This environment is generated based on the analysis of applications that are only available in their machine code format. The analysis focuses on the interaction of the application with the operating system through the system call interface. Therefore this work describes required technologies and mechanisms to collect data, process it and generate rules for a secure environment to protect assets from attacks. This process and the result environment is tested with real-world applications and attacks to determine its effectiveness and overall costs. It is shown that the described solution is able to decrease the rate of successful attacks against the system from 83% to 9% in selected use-cases. This is achieved with an execution overhead of 823 ms average. These results demonstrate that it is possible to utilise automatic software analysis pipelines to build restricted execution environments for pre-compiled applications. It also highlight the advantages and limitations of the selected approach to focus the analysis on the system call interface.

BetreiberInnen von Rechenzentren und IaaS-Systemen führen eine Vielzahl von Anwendungen unterschiedlichen Ursprungs von KundInnen und ForscherInnen aus. Die Ausführung dieser Anwendungen ist erforderlich, um die angebotene Dienstleistung zu erfüllen, kann jedoch erhebliche Schäden im System oder der gesamten Infrastruktur verursachen, wenn sie ohne vorherige Sicherheitsüberprüfung erfolgt. Da die Applikation jedoch zur Ausführung auf dem System vorliegen muss, kann sie auch analysiert werden, um geeignete Gegenmaßnahmen zu ergreifen und Schäden zu verhindern. Diese Arbeit untersucht die Möglichkeiten zur automatisierten Erstellung einer sicheren Ausführungsumgebung für Anwendungen aus nicht vertrauenswürdigen Quellen, welche nur als Binärcode vorliegen. Dabei fokussiert sich die Analyse der Anwendung auf dessen Interaktion mit dem Betriebssystem über das \textit{System Call}-Interface. Hierfür werden die notwendigen Technologien zur Datenerfassung, -verarbeitung und -auswertung vorgestellt, sowie deren Verwendung zur Konfiguration einer gesicherten Ausführungsumgebung beschrieben. Die entwickelte Lösung wird anschließend mit realen Testanwendungen und Angriffen ausgewertet. Es wird gezeigt werden, dass die generierte gesicherte Ausführungsumgebung die Quote erfolgreicher Angriffe auf das Testsystem von 83% auf bis zu 9% senken kann. Dabei wird die Gesamtlaufzeit der Anwendung im Durchschnitt um 823ms erhöht. Diese Ergebnisse zeigen, dass es möglich sein kann, mit automatisierter Softwareanalyse eine effektive Pipeline zur Ausführung nicht vertrauenswürdiger Software zu erstellen. Es werden ebenfalls die Vorteile und Einschränkungen der System Call-basierten Analyse diskutiert.