“Cleanliness is next to godliness”

Recruited from the street, content moderators sit in front of screens for hours, filtering violence and hatred from our timelines. They are exploited, mostly left alone with the psychological consequences and hardly anyone knows about it. This is why Hans Block and Moritz Riesewieck, in their documentary film “The Cleaners”, seize on the current debate about content moderation on social media platforms and accompany content moderators in Manila in their work. Our associate researcher Martin Johannes Riedl, who researches this topic at the University of Texas in Austin, invited Hans Block to a discussion at our institute.

Content Moderation findet im Schatten statt und es wird kaum darüber gesprochen. Wie seid ihr darüber gestolpert?

Es war tatsächlich eine Art Stolpern. 2013 landete auf Facebook ein Video, das einen Kindesmissbrauch zeigte. Dieses Video wurde sehr oft geteilt und „geliked“, bis es tatsächlich von Facebook gelöscht wurde. Wir haben davon erfahren und uns gefragt: Wieso passiert so etwas? Normalerweise sieht man derartige Materialien nicht so oft in sozialen Medien, obwohl sie in den Weiten des Internets existieren. Also haben wir mit der Recherche begonnen: Wie wird das gemacht? Gibt es Menschen, die aussortieren; gibt es Maschinen und Algorithmen, die dafür sorgen, dass wir nicht alles zu sehen bekommen?

Die Medienwissenschaftlerin Sarah T. Roberts hat uns bestätigt, dass das tatsächlich sehr viele Menschen machen. Wir wissen von ihnen nicht viel, da sie im Verborgenen arbeiten. Das heißt: große Unternehmen wie Facebook, Google und Twitter lagern diese Arbeit aus und engagieren Zweit- oder Drittfirmen, die ihre Content Moderation übernehmen. Das findet oftmals in Entwicklungsländern statt und wird geheim gehalten. Wir wollten wissen: Wer sind diese Leute, die das Internet sauber halten, und wie arbeiten sie? Was macht dieser Job mit diesen Menschen? Und welche Auswirkungen haben deren Entscheidungen, was gelöscht werden soll und was halt nicht?

Ein großes Problem, vor dem Forschende, JournalistInnen oder DokumentarfilmerInnen stehen, ist, dass der Zugang zu den Betroffenen sehr schwer ist. Du hast Sarah T. Roberts von der University of California in Los Angeles erwähnt, die als eine der ersten in diesem Feld Forschung betrieben hat. Hat sie euch geholfen?

Sie hat uns dabei geholfen, einen Überblick zu gewinnen: Was bedeutet Content Moderation? Wie funktioniert es? Von ihr kam der Hinweis, dass einer der wichtigsten Spots wahrscheinlich in Manila, der Hauptstadt der Philippinen, liegt. Sie war dort selbst für ein paar Tage und hat sich durch einen Dschungel von Outsourcing-Unternehmen gekämpft. Letztlich ist sie mit der Vermutung zurückgefahren, dass diese Arbeit dort gemacht wird. Wir haben mehr oder weniger den Staffelstab von ihr übernommen. Das war extrem schwierig, diese Firmen tun alles dafür, dass niemand weiß, dass es diese Arbeit gibt.

Ein wichtiges Thema eurer Dokumentation ist Ausbeutung. Auf den Philippinen bedient man sich diverser Outsourcing-Firmen, um günstig Moralvorstellungen von meist christlich geprägten ArbeiterInnen mit guten Englischkenntnissen abzuschöpfen. Seid ihr bei euren Recherchen in die Position gekommen, eure Arbeit zu verteidigen, wenn Menschen dadurch in Risikosituationen geraten?

Als wir das erste Mal nach Manila geflogen sind, gingen wir davon aus, auf Personen zu treffen, die unter dieser Arbeit leiden. Und die wir – westlich heldenhaft – in Schutz nehmen könnten. Da bringt man schon einen ziemlich kolonialen Blick mit.

Doch die Menschen sind mitunter sehr stolz auf das, was sie machen. In ihrem Leben spielt der Katholizismus eine sehr wichtige Rolle. Ein Begriff wie „sacrifice“ – also sich selbst aufzuopfern – hat einen großen Wert in ihrer Kultur.

Die Unternehmen beschäftigen private Sicherheitsfirmen, die Fotos von Teilen unseres Teams gemacht haben. Diese Bilder wurden an alle MitarbeiterInnen gesendet mit der Warnung, nicht mit uns zu sprechen. Wir haben Drohungen über Facebook bekommen: Hört auf, hier zu recherchieren, verpisst euch. Die Beschäftigten wurden mit Gefängnis- und Geldstrafen eingeschüchtert.

Uns war schnell klar: Wir können das nicht um jeden Preis machen. Nur, wenn wir sicherstellen können, dass wir niemanden gefährden. Teilweise wurden bestimmte Personen nicht in den Film aufgenommen, weil nicht eindeutig klar war, ob wir ihnen ausreichend Schutz gewährleisten können. Es sind nur die auf der Leinwand zu sehen, die entweder kurz vor oder während der Dreharbeiten den Job verlassen haben.

© HIIG/Christopher Olk

Welche Bewältigungsmechanismen entwickeln die Content ModeratorInnen, um mit der Belastung umgehen zu können?

Wenn du einen so schrecklichen Job machst, hilft es aus psychologischer Sicht, deiner Aufgabe eine große Bedeutung zu geben. Aus christlicher Überzeugung heraus wollen die Menschen die Sünden der Welt aus dem Internet entfernen und sich selbst aufopfern.

In philippinischen Schulen steht in jedem Klassenraum groß geschrieben: „Cleanliness is next to godliness“ – das heißt wenn es sauber ist, bist du Gott näher. Das ist fast schon ein christlicher Auftrag: Wir machen das Internet jetzt sauber.

Content Moderation ist ein Teilbereich von einem neuen digitalen Prekariat. Es gibt schon lange Jobs, bei denen sich Menschen mit Inhalten beschäftigen, wie etwa Polizeibeamte. Was ist hier neu und warum ist es wichtig?

Die Frage ist nicht, ob wir Content Moderation brauchen. Es braucht Leute, die sich darum kümmern, dass Inhalte moderiert werden. Interessanterweise hat das auch eine Protagonistin des Films gesagt: „Wir können uns nicht vorstellen, wie die sozialen Medien aussehen würden, wenn wir nur für ein paar Stunden die Arbeit niederlegen würden. Keiner von uns würde die Sozialen Medien mehr nutzen.“

Polizisten stehen unter ähnlichem Druck oder unter ähnlichen Belastungen. Was in Manila jedoch neu ist, dass ein Großteil der Content ModeratorInnen extrem jung ist, also zwischen 18 und 20 Jahre alt. Das ist für viele der erste Job nach der Schule. Das Rekrutierungssystem funktioniert so, dass Leute auf der Straße angesprochen werden. Selbst wir als Filmemacher wurden einmal angesprochen und haben auch diese Verfahren mitgemacht. Wir sind daran gescheitert, dass wir kein Arbeitsvisum für die Philippinen hatten. Die einzigen Fähigkeiten, die du eigentlich brauchst, sind rudimentäre Computerkenntnisse. Du musst wissen, wie eine Maus funktioniert, eine Tastatur, vielleicht einmal Microsoft Word benutzt haben, aber mehr auch nicht.

© Gebrüder Beetz Filmproduktion/Konrad Waldmann

Werden die MitarbeiterInnen auch psychologisch geschult?

Nein, viele erfahren erst im Training, was sie dort eigentlich machen. Für uns war schockierend zu hören, dass eigentlich alle MitarbeiterInnen, mit denen wir gesprochen haben, die gleiche Erfahrung gemacht hatten: Sie haben erst begriffen, was sie machen, als sie die ersten Trainingsvideos gesehen haben – und plötzlich Videos, auf denen Kindesmissbrauch, Vergewaltigungen, Verstümmelungen und schrecklichste Unfälle zu sehen waren, moderieren mussten. Da war es auch schon zu spät, weil der Vertrag unterschrieben war. Zu kündigen, überlegen sich die MitarbeiterInnen dreimal, denn die Gehälter finanzieren teilweise ganze Großfamilien mit.

In Manila ist per Vertrag ausgemacht, dass man über die Arbeit nicht reden darf. Zwar gibt es von einigen Outsourcing-Firmen so etwas wie psychologischen Support. Aber das ist dann so etwas wie eine Gruppensitzung, vierteljährlich, wo die ganze Belegschaft zusammengetrommelt wird. Der oder die Psychologin fragt: Hat jemand ein Problem? Alle schweigen und sehen zu Boden, weil sie Angst um ihren Job haben. Dann ist die Sitzung vorbei und es geht weiter. Deswegen gehen dort Leute vor die Hunde.

Mehr zum Thema im Dossier: Arbeit im digitalen Zeitalter

Unter welchen Bedingungen leben die Content ModeratorInnen, die ihr kennengelernt habt?

Die meisten MitarbeiterInnen sind sehr jung. Wir haben herausgefunden, dass 60-70 Prozent davon Frauen sind. Warum, wissen wir allerdings nicht. Die meisten ArbeiterInnen wohnen am Stadtrand von Manila, in den Slums, wo sich der Müll stapelt. Dort leben sie in einem kleinen Zimmer von 20 Quadratmetern mit sieben, acht Leuten. Manila ist eine 18-Millionen-Stadt mit einer unglaublich schlechten Verkehrsinfrastruktur. Sie brauchen teilweise zwei bis drei Stunden, bis sie ins Zentrum dieser Stadt vordringen. Dort arbeiten sie acht bis zehn Stunden und fahren danach wieder zurück. Das heißt, sie sind am Tag 17-18 Stunden mit diesem Job beschäftigt.

Da bleibt gar nicht viel Zeit, noch etwas anderes zu machen, abzuschalten, oder mit Leuten darüber zu reden. Und das sind ganz naive Jugendliche und viele von ihnen sind noch nie außerhalb von Manila gewesen. Sie wissen nicht wo Deutschland auf der Weltkarte liegt, sie wissen auch nicht wo Syrien liegt und welcher Konflikt dort gerade auf dem Rücken des Landes ausgetragen wird. Doch sie entscheiden darüber, was Europäer, Amerikaner, Menschen aus dem Nahen Osten mit einem speziellen kulturellen Hintergrund posten. Wie soll das gelingen? Das hat uns schockiert und das ist ein Skandal bei dieser ganzen Geschichte.

© Gebrüder Beetz Filmproduktion/Konrad Waldmann

Wie haben sich diese kulturellen Unterschiede während eurer Recherche gezeigt?

Es gab einen Moment, in dem uns das erst richtig bewusst wurde. Im Sommer 2016, als wir gerade wieder in Manila recherchierten, sagt uns eine Content Moderatorin: „Da ist ja ganz schön was los bei euch in Europa.“ Es war der Sommer, in dem viele Geflüchtete Zuflucht in Europa suchten und sie erzählte uns, dass sie momentan unglaublich viele rassistische Posts bekommt, dass ganz viele Bilder und Videos von Rechtsradikalen hochladen werden. Daraufhin hat die Firma beschlossen, ein Spezialtraining für Nazi-Content ins Leben zu rufen. Sie hat uns erzählt, dass sie jetzt wüsste, dass 88 ‚Heil Hitler‘ heißt und das eine Ratte antisemitisch gemeint sein könnte oder dass man mit Öfen aufpassen sollte, weil das was mit der Geschichte von Deutschland zu tun hat. Wie absurd ist das? Das führt dieses ganze System ad absurdum. Und wann immer Facebook von einem bedauerlichen Fehler spricht, der passiert, wenn mal ein Inhalt fälschlicherweise runtergenommen wurde, dann müssen wir sagen: Es stimmt nicht. Das ist eine natürlich eine Struktur, die Fehler bedingt.

© HIIG/Christopher Olk

Weil es Menschen sind, die Entscheidungen treffen?

Ja, das sind Menschen, die in den Philippinen die Inhalte der ganze Welt moderieren. Sie werden nicht ausreichend ausgebildet und bekommen nur ein bis drei Dollar für diese belastende Arbeit. Diese Menschen sind viel zu jung, um einer solchen Verantwortung gerecht zu werden.

Euer Film vermittelt viel Dystopie und zeichnet ein eher dunkles Bild über die Zukunft und die Rolle, die soziale Medien einnehmen. Habt ihr auch Utopien gefunden? Oder Lösungsvorschläge, mit denen man die Zivilgesellschaft mehr einbinden kann?

Moritz Riesewieck und ich sind keine Kulturpessimisten. Wir glauben eigentlich an den Fortschritt der Technologie. Es liegt uns fern, zu glauben man müsste das Internet jetzt „zumachen“. Die Ursprungsidee des Internets, Menschen durch eine netzartige Infrastruktur asynchron und dezentral rund um den gesamten Globus zu verbinden, ist ja hervorragend. Aber wenn wir ehrlich sind, erleben wir doch gerade eine kollektive Entzauberung einer mal gewesenen Utopie. Statt mündigen MitgestalterInnen einer globalisierten, digitalen Öffentlichkeit sind wir zu NutzerInnen einer eher zentral organisierten und überwachten Infrastruktur verkommen.

Diese Entwicklungen wollen wir mit dem Film befragen ohne in ein allgemeines Schimpfen über den Fortschritt zu kommen. Statt einer allgemeiner Hysterie, sollten wir die richtigen Fragen stellen: Wer legt die Regeln fest für unsere digitale Welt? Wer wirkt auf diese Entscheidungen ein? An wen wird die Entscheidung über diese Regeln ausgelagert? Wir als NutzerInnen sollten uns mehr als digitale BürgerInnen einer Gesellschaft erkennen, die es mittlerweile eben nicht nur mit einem analogen Leben zu tun hat, sondern auch mit einer digitalen Sphäre, die wir selbstbewusst gestalten wollen, und die wir eben auch kritisch hinterfragen. Das regt der Film an, hoffe ich.