Ground Control: Organizing Content Moderation for Social Media Platforms

Abstract

Content moderation is known as the practice of screening user-generated content on internet sites. It is particularly important for social media platforms, in terms of reducing both the harmful content and the user-related indeterminacies for technology firms operating these platforms. Unlike the highly-paid work of designing the content moderation policies and infrastructure by in-house employees at these firms, the large-scale and low-paid service work of moderating user content according to their policies is undertaken by workers employed at third-party supplier firms. While outsourcing allows for cost efficiency and accessing local labor skills and knowledge, existing literature shows that service value chains are also characterized by labor indeterminacies. To understand how technology firms manage with the user and labor-related indeterminacies, this study takes a multi-layered and multivalent perspective by bringing together the communication and production sites of the content moderation process. The focus is placed on the content moderation outsourcing to India, and a mixed methods inquiry is undertaken with 66 interviews, 3 participant observations and 99 survey responses. The research findings show that technology firms exercise direct control on the outsourced labor process, and work is highly standardized with limited possibilities for labor discretion. This not only goes on to show the asymmetric power relations between global capital and labor, but also between technology firms and their suppliers in India. The broader implications of these findings need to be seen in terms of both the public discourse on social media platforms, and the automation of content moderation work.

„Content moderation“ bezeichnet die Überprüfung von nutzergenerierten Inhalten auf Internet-Seiten. Sie ist besonders wichtig für Social-Media-Plattformen, um sowohl die verletzenden Inhalte als auch die durch die Nutzer:innen erzeugte Indeterminiertheit für Technologieunternehmen zu verringern, die diese Plattformen betreiben. Im Gegensatz zu der hochbezahlten Arbeit, die bei der Entwicklung der Richtlinien und der Infrastruktur für „content moderation“ durch interne Mitarbeiter:innen dieser Unternehmen geleistet wird, wird die hochvolumige und schlecht bezahlte Dienstleistungsarbeit der Moderation von Arbeiter:innen übernommen, die bei Drittanbieterfirmen beschäftigt sind. Während das Outsourcing Kosteneffizienz und den Zugang zu lokalen Arbeitskräften und Kenntnissen ermöglicht, zeigt die vorhandene Literatur, dass die Wertschöpfungsketten im Dienstleistungsbereich auch durch Indeterminiertheit der Arbeit gekennzeichnet sind. Um zu verstehen, wie Technologieunternehmen mit diesen nutzer:innen- und arbeitsbezogenen Indeterminiertheiten umgehen, nimmt diese Studie eine mehrschichtige und multivalente Perspektive ein, indem sie den Moderationsprozess anhand der komplementären Dimensionen von Kommunikation und Produktion beobachtet. Der Schwerpunkt liegt dabei auf der Auslagerung der Inhaltemoderation nach Indien. Die Untersuchung erfolgt nach einem „mixed methods“-Ansatz, für den 66 Interviews, 3 Teilnehmende Beobachtung und 99 Umfragen durchgeführt wurden. Die Forschungsergebnisse zeigen, dass Technologieunternehmen eine direkte Kontrolle über den ausgelagerten Arbeitsprozess ausüben und die Arbeit hochgradig standardisiert ist, wodurch die Arbeiter:innen einen nur begrenzten Ermessensspielraum haben. . Dies verdeutlicht nicht nur die asymmetrischen Machtverhältnisse zwischen globalem Kapital und Arbeit, sondern auch zwischen Technologieunternehmen und ihren Zulieferern in Indien. Die Tragweite dieser Ergebnisse ist vor dem Hintergrund sowohl des öffentlichen Diskurs auf Social-Media-Plattformen als auch der Automatisierung der Moderation von Inhalten zu beurteilen.