Sie sehen den ganzen Tag Dinge, die niemand sehen will – damit wir sie nicht sehen müssen

Menschen werden vor laufender Kamera geköpft, ein Mädchen vergewaltigt. Tagtäglich werden solche Inhalte auf Facebook und Twitter hochgeladen. Damit wird das nicht sehen, arbeiten Tausende junge Arbeiter in Entwicklungsländern und löschen die Videos und Bilder. Die beiden Regisseure Hans Block und Moritz Riesewieck haben sich auf die Reise zu diesen Menschen begebene und thematisieren deren Lebensrealität in ihrem neun Film „The Cleaners“. Kontrast.at hat mit den beiden darüber und die Macht der sozialen Netzwerke im Allgemeinen gesprochen.

Dass in den Philippinen Menschen sitzen und die Postings der ganzen Welt zensieren, ist für die meisten von uns überraschend. Wie seid ihr auf das Thema gestoßen?

Hans Block (Regie, Kamera & Buch)

Tatsächlich haben die meisten Menschen weltweit, die soziale Medien nutzen, keine Ahnung, wer die “Aufräumarbeiten” für sie erledigt. Für sie ist es ganz normal, dass sie keine Videos von Enthauptungen, Vergewaltigung oder Folter sehen. Dass das so ist, verdanken wir aber tausenden von jungen Arbeitern in Entwicklungsländern. Sie opfern ihre eigene psychische Gesundheit, um die sozialen Medien „sicher“ zu machen und den Nutzern eine „gesunde Umgebung“ zu bieten. Wir selbst wussten vor 5 Jahren davon auch noch nichts.

Bis wir von einem grausamen Post auf Facebook gehört haben: Am 23. März 2013 entdeckten Tausende von Nutzern weltweit auf ihrem Facebook-Newsfeed ein Video eines kleinen Mädchens, das von einem älteren Mann vergewaltigt wurde.

Bevor das Video von Facebook gelöscht wurde, wurde es 16.000 Mal geteilt und 4.000 Mal gelikt.

Dieser Fall hat weltweit Bestürzung ausgelöst. Wir haben davon mitbekommen und uns gefragt, wie mit solchen Inhalten auf den sozialen Plattformen normalerweise umgegangen wird. Wer oder was filtert Inhalte auf den sozialen Plattformen? Gibt es eine Art Bilderkennungssoftware? Einen Algorithmus? Künstliche Intelligenz?

Moritz Riesewieck (Regie, Kamera & Buch)

Die Medienwissenschaftlerin Sarah T. Roberts, Expertin für Content Moderation, brachte uns darauf, dass Menschen hinter diesen Entscheidungen stehen. Und dass es einige Annahmen gebe, dass der größte Teil dieser Arbeit in Entwicklungsländer ausgelagert wird. Wir wollten unbedingt mit diesen Arbeitern in Kontakt treten. Auf der einen Seite haben wir uns diesen Job als äußerst belastend vorgestellt. Acht Stunden vor dem Bildschirm zu sitzen und all die Grausamkeiten zu sichten, die der Mensch im Stande ist zu produzieren, kann nicht unbeschadet an den Arbeitern vorbeigehen. Auf der anderen Seite bestimmen diese jungen Leute, was in unserer digitalen Öffentlichkeit vorkommen darf und was nicht. Grund genug, um die dunkle Seite der sozialen Medien zu beleuchten.

„Algorithmen können nicht leisten was wir hier machen“, sagt ein Content-Moderator im Film. Was leisten sie und warum ist das so belastend?

Tatsächlich geht die Arbeit an den meist sehr jungen Arbeitern nicht spurlos vorbei. Wenn man acht bis zehn Stunden pro Tag Missbrauchsvideos, Bilder voller Gewalt und Hass oder Suizid-Live-Streams sichten muss, dann kann das extreme Folgen haben. Die Symptome, die Moderatoren oft als Folge ihrer täglichen Arbeit haben, ähneln den posttraumatischen Belastungsstörungen, unter denen Soldaten leiden, die aus dem Krieg zurückkommen.

Ist es also ein Wunder, dass Content-Moderators, die Tausende von Enthauptungen gesehen haben, anderen Menschen nicht mehr vertrauen können, alle ihre sozialen Beziehungen verlieren, Schlaf- oder Essstörungen entwickeln können? Ist es verwunderlich, dass es unter Content-Moderators eine stark erhöhte Suizidrate gibt, wenn sie mit allen Arten von Selbstverletzungs-Videos umgehen müssen? All diese Symptome sind uns während der Recherche begegnet. Das Schlimmste ist, dass es den jungen Arbeitern vertraglich verboten ist, über ihre Erlebnisse und Eindrücke zu sprechen. Psychologen aus Manila und Berlin haben uns gesagt: Wenn traumatisierte Menschen ihre schrecklichen Erfahrungen nicht verbalisieren können oder dürfen, ist die Gefahr bleibender psychischer Schäden groß. Das ist der Preis, den wir für ein „sauberes“ Internet zahlen.

Die Belastungen führen zu Kündigungen, aber auch Depressionen und Suizidfälle. Ist diese Arbeit Menschen zumutbar?

Eine derartig psychisch belastende Arbeit ist nicht gänzlich neu. Neu ist aber das Ausmaß mit den diese Arbeiter kofrontiert sind. Es gibt zwar Polizisten, die im Bereich der Strafverfolgung von Kindesmissbrauchsfällen arbeiten und dafür auch schreckliche Videos und Bilder sichten müssen, um Indizien und Beweise zu finden. Oder Terrorexperten, die sich durch Propaganda-Material von Terrororganisationen arbeiten müssen und dabei auch konfrontiert sind mit der Grausamkeit des Menschen. Der Unterschied ist nur: Sie arbeiten unter ganz anderen Umständen. Es werden nur wenige Stunden am Tag daran gearbeitet. Es gibt eine personalisierte, psychologische Betreuung und man kann jeder Zeit von der Arbeit freigestellt werden oder die Position verlassen, wenn es zu belastend ist. Hinzu kommt, dass diese Menschen auf ihren Job vorbereitet werden. Es gibt eine spezielle Ausbildung.

All das gibt es für die Arbeiter in Manila nicht.

Für viele der meist sehr jungen Content Moderatoren in Manila ist dieser belastende Job die erste Berufserfahrung nach dem Schulabschluss. Bei der Vertragsunterzeichnung wissen viele nicht, um welche Arbeit es sich handelt. Eine Content Moderaorin hat uns erzählt, dass sie erst während des Trainings, also nach Vertragsunterzeichnung, begriffen hat, was Content Moderation bedeutet. Sie guckte fassungslos auf ihren Trainingsrechner, als sie das Bild eines jungen Mädchens sah, das gerade von einem älteren Mann misshandelt wurde. Sie ging direkt zu ihrem Team-Leiter und sagte, dass sie eine solche Arbeit nicht machen kann, dass es unerträglich für sie sei. Die Antwort des Vorgesetzten hieß:

“Das ist dein Job! Du musst das machen! Du hast einen Vertrag dafür unterzeichnet.”

Es ist extrem verantwortungslos, so junge, unvorbereitete Menschen, eine solche belastende Arbeit machen zu lassen.

Menschen werden durch diese Arbeit also stark belastet – warum kann künstliche Intelligenz nicht die Content-Moderatoren ersetzen?

Die Content-Moderatoren leiden unter der starken psychischen Belastung

Bisher kann die automatische Bilderkennung nur als Vorfilter eingesetzt werden. Damit Fotos und Videos von sexueller Gewalt gegen Kinder nicht gesehen werden können, bevor die Nutzer den Inhalt melden, werden Bilder mit nackter Haut als verdächtig gemeldet, und dann entscheiden die Moderatoren der menschlichen Inhalte, ob es sich um ein harmloses Bild vom Strand, ein Bild aus einer Brustkrebsvorsorgekampagne oder pornografisches Material handelt.

Das Beispiel eines Gewaltaktes macht es sehr leicht zu erkennen, was das Problem ist. Die automatische Bilderkennung kann beispielsweise erkennen, wann Blut und verletzte Körper in einem Bild sichtbar sind. Höchstwahrscheinlich ist es ein Gewaltakt. Dennoch sollte das Bild nicht so einfach gelöscht werden. Denn ob es sich um ein Bild handelt, das einen Gewaltakt dokumentiert oder verherrlicht, kann nur durch den Kontext des Posts, durch den Zweck des Posts erkannt werden. Die automatische Bilderkennung kann nicht feststellen, ob es sich nur um ein Foto einer Inszenierung von Romeo und Julia handelt, die mit viel Kunstblut auf der Bühne sterben.

Maschinen können nicht das selbe leisten wie Menschen

Was die Content-Moderatoren per Hand machen, kann künstliche Intelligenz nicht leisten.

Dennoch versuchen alle großen Netzwerke, die maschinengesteuerte Bilderkennung zu trainieren. Die unzähligen Entscheidungen, die Moderatoren menschlicher Inhalte alle paar Sekunden treffen, werden genutzt, um künstliche Intelligenz in großem Maßstab zu trainieren, um diese Entscheidungen in Zukunft selbstständig treffen zu können. Auch wenn dies für die Menschen, die dieser extrem stressigen Arbeit ausgesetzt sind, nach Erlösung klingen muss, stehen wir solchen Versuchen sehr kritisch gegenüber: Denn mit dem Lernen durch Imitation übernehmen die Maschinen auch die Fehler und Vorurteile der menschlichen Niedriglohnarbeiter.

Schon jetzt werden die Entscheidungen der Content-Moderatoren nur selten nach dem Zufallsprinzip überprüft, aber wenn die Entscheidungen eines Tages vollautomatisch getroffen werden, wird es immer schwieriger, sie zu verstehen und jemanden oder etwas für sie verantwortlich zu machen. Zudem wird befürchtet, dass die sorgfältige Auseinandersetzung mit dem Kontext noch oberflächlicher wird: Ist es vielleicht Satire? Wäre es besser, ein möglicherweise anstößiges oder gewalttätiges Bild oder Video zu zeigen oder nicht? Wo wird aus einer vielleicht abstoßenden, aber legitimen Meinungsäußerung Hetze? Solche Fragen können und sollten von den Menschen ausführlich diskutiert werden, anstatt das Ausbalancieren von Sicherheit und Freiheit an Maschinen auszulagern.

Sie zeigen uns im Film auch, dass trotz der unmenschlichen Belastung Content-Moderatoren in den Philippinen als guter Job angesehen wird. Was müsste sich politisch auf den Philippinen bzw. global ändern?

Die Outsourcingfirmen, die von Manila aus für alle großen sozialen Netzwerke und Streamingplattformen arbeiten, werden von der philippinischen Politik mit Steuererlassen hofiert. Kontrollen der Arbeitsbedingungen seitens Behörden oder Gewerkschaften haben die Firmen nicht zu befürchten. Sie können die jungen Arbeiteren zu Dumpinglöhnen auf neue, perfide, kaum wahrnehmbare Weise mental ausbeuten und werden gesellschaftlich sogar noch als Heilsbringer, als Garanten des wirtschaftlichen Fortschritts gefeiert. Wir – die Nutzern der Plattformen – sollten uns nicht länger damit zufrieden geben, wenn Facebook & Co. etwa wieder einmal erklären, sie hätten ihre Outsourcingpartner angewiesen, psychologische Betreuung zu gewährleisten, ernstzunehmende Kontrollen aber unterlassen. Diese Menschen opfern sich auf, damit wir von Greueln und Verstörendem unbehelligt bleiben. Davor dürfen wir nicht länger die Augen verschließen.

Falsche Entscheidungen können Konflikte zusätzlich anheizen, und es kommt zu Vorfällen, und führt im schlimmsten Fall zu Tod. Wer trägt die Verantwortung, wenn ein Fehler passiert?

Facebook & Co. weisen in solchen Fällen die Verantwortung von sich und verweisen darauf, dass die Arbeitern nicht bei ihnen, sondern Outsourcingfirmen unter Vertrag stehen. Kommt es zu haarsträubenden Fehlentscheidungen, wird außerdem oft behauptet, es habe sich bloß um einen technischen Defekt, “einen Fehler der künstlichen Intelligenz” gehandelt. Was den Hass und die Hetze angeht, unter denen  Gruppierungen der Gesellschaft oder Individuen leiden können, wenn die sozialen Netzwerke sie nicht schnell und effektiv eindämmen, haben die Bundesregierung und auch die EU ja immerhin erste Gesetze erlassen, gemäß derer Facebook, Youtube, Twitter usw. mit hohen Geldstrafen belegt werden, wenn sie zulassen, dass offensichtlich rechtswidrige Inhalte mehr als 24 Stunden auf den Plattformen verbleiben. Was uns allerdings besorgt, ist, dass so aber auch die Transparenz schwindet, je mehr der Staat die Rechtsdurchsetzung an Privatunternehmen auslagert. Ein gefährliches Terrain.

Warum dann nicht einfach „vorsichtshalber löschen“? Wenn einige wenige Unternehmen die Macht über den Inhalt haben, ist die Demokratie in Gefahr?

Pauschales Löschen würde die Meinungsfreiheit gefährden.

Indem die EU den Druck auf die Betreiber der sozialen Netzwerke erhöht, rechtswidrige Inhalte schnell und lückenlos zu löschen, legt sie den Unternehmen nah, auf kurz oder lang Uploadfilter zu nutzen. Dann könnten Inhalte, die für eine automatische Bilderkennung verdächtig erscheinen, vorsichtshalber nicht auf den Plattformen gezeigt werden, um im Zweifel kein Risiko einzugehen, hohe Geldstrafen aufgebrummt zu bekommen, falls bestimmte rechtswidrige Inhalte nicht oder zu spät als solche identifiziert werden. Das birgt das große Risiko, dass die Nutzern proaktiv weniger Bilder, Videos und Textbeiträge posten werden, die womöglich von den Uploadfiltern abgefangen werden könnten.

Die Folge beschreibt David Kaye, der UN-Sonderbeauftragte für Meinungsfreiheit, in unserem Film so: Es wären weniger kontroverse, provokante, vielleicht auch anstößige Inhalte verfügbar. Unsere Gesellschaften würden so beschnitten. Über Meinungsfreiheit und die Frage, wie weit sie reichen soll, dürfen nicht Privatunternehmen entscheiden. Das sind gewichtige Fragen, mit der sich Legislative und Judikative befassen müssen und letztlich immer auch wir, die Öffentlichkeit bzw. Öffentlichkeiten, die digital citizens, die an den globalen, sozialen Netzwerken teilnehmen.

Nachdem die Content-Moderatoren den Inhalt „clean“ gemacht haben, entscheidet der Facebook-Algorithmus über den Inhalt, der angezeigt wird. Stichwort: Blasen. Werden in Zukunft mehrere Realitäten nebeneinander existieren oder sollen die Blasen durchgebrochen werden?

Facebook ist mit dem Versprechen angetreten, jedem und jeder Nutzer eine Stimme zu verleihen. Das klingt erst einmal nach einem noblen, emanzipatorischen Vorhaben, Menschen weltweit über Grenzen hinweg mit einander zu verbinden. Dennoch muss man sich fragen, in weit dieses Versprechen tatsächlich in die Realität umgesetzt wird. Denn Facebook wählt tatsächlich ganz genau aus, was auf dem Newsfeed der Nutzer erscheint – durch einen personalisierten Algorithmus.

Die entscheiden Frage ist, wozu führt eine solche Atomisierung von Gesellschaft. Geht es nicht in einer Demokratie darum, für eine gemeinsame Wahrheit zu kämpfen, indem man sich miteinander auseinander setzt, indem man – zivilisiert – streitet und argumentiert, sich überzeugen lässt oder andere von seiner Meinung überzeugt? Wenn es uns abtrainiert wird, uns mit anderen sinnstiftend und aufgeschlossen auseinander zu setzten, dann wird Demokratie allmählich unmöglich.

Wir konnten das in den Vereinigten Staaten sehr gut beobachten während unserer Recherche. Die Vereinigten Staaten sind so politisch polarisiert, die Gesellschaft ist mittlerweile so gespalten, dass sich die Demokraten mit den Republikanern kaum noch auseinandersetzen können. Dafür gibt es natürlich viele Gründe. Aber Facebook verstärkt diese gefährliche Situation definitiv extrem.

Auf der einen Seite sagt man Facebook will eine glückliche Parallelwelt schaffen. Auf der anderen Seite werden meistens hoch emotionale negative Postings viral. Ein Widerspruch?

Facebook tut nicht genug gegen Hass im Netz.

Ein Widerspruch, den FB zu verschleiern versucht. Man gibt öffentlich vor, alles daran zu setzen, Hass, Hetze, Propaganda etc. zu bekämpfen und tut das auch in einem Maße, das es braucht, um die Werbekunden und besorgte Eltern nicht zu vergraulen, setzt hintenrum aber weiterhin darauf, die Nutzer zu spontanen, affektgeladenen, emotionalen Posts und Reaktionen zu animieren. Das ganze Design ist darauf angelegt. “What’s on your mind?”, fragt Facebook den Nutzer. Also so was wie: Was schießt Dir jetzt gerade durch den Kopf? Nicht lange fackeln! Teile es der Welt mit! Besonnenheit und Verständnis – Tugenden, die als Gegengift gegen die immer konfrontativere Stimmungslage in sozialen Netzwerken dienen könnten – werden damit ausgeschaltet statt befördert. Immer mit Blick auf Traffic und damit Profit.

Viele Menschen setzen Facebook mit dem Internet gleich. Netzaktivisten sehen darin eine Gefahr. Wie schätzen sie das ein?

Das World Wide Web ist mittlerweile weitgehend aufgeteilt zwischen ein paar wenigen Großunternehmen, die diese Plattformen bereitstellen. Und diese Großunternehmen tun alles dafür, um sämtliche Inhalte und Services einzubetten, die Nutzer wollen könnten. Es wird ein ummauerter Garten geschaffen, in dem der Nutzer alles findet, was er sich wünscht, und den er nicht mehr verlassen muss. Die Nutzer vergessen irgendwann, sich in einem privatwirtschaftlichen Rahmen zu bewegen mit eigenen Hausregeln. Der Garten ist alles Andere als natürlich. Er suggeriert, natürlich gewachsen zu sein, ist aber kuratiert, eine Scheinöffentlichkeit. Es etabliert sich das Gefühl, dass Social Media Plattformen das Internet sind, eine Landschaft, in der alles stattfindet und man nichts außerhalb dessen braucht.

Wie kann Facebook dem Hass im Internet entgegenwirken?

Indem Facebook die Architektur der Plattform ändert. Im Silicon Valley wird noch immer am Narrativ der neutralen Technik festgehalten. Wie Tristan Harris, der als “Design Ethicist” für Google gearbeitet hat, in unserem Film erklärt, ist Technik jedoch nie neutral. Jede Design-Entscheidung fußt auf einem impliziten oder expliziten Ziel. Das heutige Design der sozialen Netzwerke dient der Aufmerksamkeitsökonomie. Es befördert die Extreme, die impulsiven Affektäußerungen. Jedes Extrem führt zu Aufmerksamkeit in Form von Klicks, Likes und Shares. Je extremer und sensationeller ein Text, ein Bild oder ein Video ist, desto mehr wird es bei Facebook Aufmerksamkeit generieren. Und genau das wollen die Plattformen, denn „Likes“ und „Shares“ können in Form von Werbung in Geld umgewandelt werden.

Wir dürfen also nicht überrascht sein, wenn Falsch-Nachrichten geteilt werden und sich mit einfachen, extremen Schlagzeilen in Sekundenschnelle tausendfach verbreiten. Wir dürfen nicht überrascht sein, wenn Hass und Gewalt in den sozialen Medien zunehmen. All dies hängt mit dem Geschäftsmodell dieser Unternehmen zusammen. Wenn diese Unternehmen uns sagen, dass die Plattformen für solche Inhalte missbraucht werden, ist dies einfach falsch. Ganz im Gegenteil, die Architektur der Plattformen verlangt nach diesen Inhalten.

Das Thema "Arbeitsrecht" im Parlament