Content-Moderation: „Mensch und Maschine müssen als Team funktionieren“
Meta-Gründer Mark Zuckerberg und X-Chef Elon Musk sind sich einig: Zu viel Moderation in den sozialen Netzwerken – etwa das automatisierte Löschen von extremistischen Inhalten oder Desinformation – schränkt die Meinungsfreiheit ein. Auf der Plattform X wurden bereits 2022 diverse Sicherheitsrichtlinien zurückgefahren. Auch Meta hat seine Faktenchecks durch externe Prüfer*innen Anfang 2025 abgeschafft. Der Rechtswissenschaftler und Digitalexperte Matthias Kettemann hält dagegen: „Die Antwort auf schlechte Moderation ist nicht weniger, sondern bessere Moderation.“ Wie Künstliche Intelligenz (KI) Inhalte auf Social Media sinnvoll moderieren kann und an welcher Stelle es noch Menschen braucht, erklärt er im Interview mit AufRuhr.
Herr Kettemann, Content-Moderation sorgt dafür, dass verbotene Inhalte in den sozialen Medien gesperrt oder gelöscht werden. Was sagen Sie zu den Kehrtwenden von Musk und Zuckerberg?
Ich finde die Entscheidungen von Musk und Zuckerberg problematisch, denn sie werden dazu führen, dass sich die Stimmung in den sozialen Netzwerken verschlechtert. Meta hat die Zusammenarbeit mit externen Faktenchecker*innen beendet. Stattdessen können Nutzer*innen sogenannte „Community Notes“, also subjektive Einschätzungen an Beiträge anheften. Auf X wird das bereits seit Längerem umgesetzt. Wenn gewollt, könnte Automatisierung durch KI hier gegensteuern: Bei Hassrede oder Dickpics braucht es nicht 50.000 Moderator*innen für eine Arbeit, die eine Maschine erledigen könnte.
Welche gesetzlichen Vorgaben gelten für Content-Moderation?
Der Digital Services Act (DSA) verpflichtet große Plattformen dazu, systematisch zu bewerten, welche Risiken von ihren eigenen Regeln und ihrer Moderationspraxis ausgehen. Das sorgt für Konflikte. Zuckerberg meint etwa, auf Meta sei in der Vergangenheit zu viel moderiert und dadurch die Meinungsfreiheit beschnitten worden. Dass zu streng moderiert wurde, harmlose Inhalte und Konten also gesperrt oder gelöscht wurden, stimmt auch zum Teil. Trotzdem versuchen wir, den Plattformen durch unsere Arbeit zu vermitteln: Die Antwort auf schlechte Moderation ist nicht weniger Moderation, sondern bessere.
Prof. Dr. Matthias Kettemann
Matthias Kettemann ist Rechtswissenschaftler und Digitalexperte. Am Institut für Theorie und Zukunft des Rechts der Universität Innsbruck hat er die Professur für Innovation, Theorie und Philosophie des Rechts inne. Am Alexander von Humboldt Institut für Internet und Gesellschaft (HIIG) leitet er außerdem die Forschungsgruppe „Globaler Konstitutionalismus und das Internet“, zuletzt das Forschungsprojekt „Plattform://
Die Antwort auf schlechte Moderation ist nicht weniger Moderation, sondern bessere.
Braucht es für Content-Moderation überhaupt noch Menschen?
Ja, denn jede Form der digitalen Kommunikation braucht Regeln – und jemanden, der sie durchsetzt. Automatisierte Systeme wie KI helfen, große Mengen an Inhalten schnell zu moderieren. Doch sie ersetzen den Menschen nicht. Entscheidend ist also ihr Zusammenspiel: Maschinen übernehmen einen Großteil des Filterns und des Moderierens – und Menschen stellen sicher, dass die Entscheidungen richtig sind, und korrigieren sie gegebenenfalls.
Reicht es nicht aus, dass ein Mensch die finale Entscheidung einer KI im letzten Schritt freigibt?
Das wäre in etwa so, als würden Eltern erst mit der Erziehung beginnen, wenn ihre Kinder 18 Jahre alt sind. Sie sehen dann zwar die größten Probleme, können ein bisschen korrigieren, aber nichts Grundlegendes mehr ändern. Das halte ich für unterkomplex. Die Frage, wie Mensch und Maschine zusammenarbeiten können, muss bereits beim Design des Systems gestellt werden. Andernfalls besteht die Gefahr, Bias der Automatisierung nicht mehr erkennen zu können.
Was ist mit einer solchen Automation Bias gemeint?
Wir Menschen lassen uns gerne Entscheidungen abnehmen. Deshalb neigen wir dazu, automatisierte Entscheidungen nicht zu hinterfragen. Schaue ich mir den Output eines Systems an, hat es bereits hundertmal davor entschieden. Deshalb müssen wir als Forschende genauer hinschauen: Wie kommen die Entscheidungen zustande? Welche Parameter fließen ein? Wie kommuniziert das System, und wie präsentiert es seine Ergebnisse?
Gibt es Beispiele, bei denen die Content-Moderation von Mensch und Maschine schon gut läuft?
Ja, bei der Moderation terroristischer Inhalte. Plattformen müssen hier blitzschnell entscheiden und Bilder oder Videos entfernen. Menschen sind dabei eher zu Beginn des Prozesses beteiligt. Sie müssen definieren, was ein terroristisches Bild ausmacht. Auch bei Desinformation funktioniert die Moderation zum Teil gut. Das liegt jedoch weniger an den Inhalten, sondern daran, dass Mensch und KI die Absender*innen als Teil von Desinformationskampagnen erkennen.
Wenn sie wollten, könnten die Plattformen ihre Moderationssysteme viel schärfer einstellen.
Wie funktioniert das?
Postet ein Account zum Beispiel jeden Tag um Punkt 9 Uhr, kann das verdächtig sein. Oder wenn innerhalb von Sekunden Posts abgesetzt werden. Dann handelt es sich meistens um einen Bot. So schnell ist kein Mensch. Diese Merkmale sollten von Menschen definiert werden, sodass Maschinen sie erkennen. Dieses Prinzip heißt „Content Moderation at Scale“, also hochskalierte Moderation.
Sind automatisierte Systeme groß angelegten Desinformationskampagnen überhaupt gewachsen?
Technisch gesehen gibt es kein Skalierungsproblem. Wenn sie wollten, könnten die Plattformen ihre Moderationssysteme viel schärfer einstellen. Doch sie tun es nicht. Der Grund? Kosten und der politische Zeitgeist. Eine striktere Moderation könnte Werbekunden verprellen und Nutzer*innen abschrecken.
Es ist also eine Frage des Wollens und nicht des Könnens?
Genau. Immer dann, wenn Plattformen etwas nicht wollen, tun sie so, als könnten sie nicht. Umso wichtiger ist es deshalb, dass in der Politik und bei der Gesetzgebung Expert*innen beteiligt sind, die sich mit den technischen Hintergründen auskennen und der Argumentation der Plattformbesitzer*innen etwas entgegensetzen können.
Was wünschen Sie sich, um das Thema Content-Moderation von Mensch und Maschine weiter nach vorne zu bringen?
Ich wünsche mir eine sinnvolle Debatte. Aktuell ist es schwierig, sachlich über Content-Moderation zu sprechen. Die einen sagen, es wird zu viel zensiert. Die anderen sagen, wir haben zu viel Hassrede und Desinformation im Netz. Von alldem stimmt ein bisschen. Aber keines dieser Probleme ist unüberwindbar. Der DSA hat eine solide Grundlage gelegt, aber hinsichtlich dem Thema Content-Moderation finden sich darin eher vage Anweisungen. Was wir also brauchen, ist mehr Zusammenarbeit zwischen der Wissenschaft, den Plattformen und der Politik, damit Content-Moderation gerecht, transparent und effizient wird. Mensch und Maschine sind dabei keine Gegenspieler, sondern müssen als Team funktionieren.
Human in the Loop?
Das Forschungsprojekt „Human in the Loop? Autonomie und Automation in sozio-technischen Systemen“ untersucht, wie eine aktive Einbindung des Menschen einen Unterschied in automatisierten Entscheidungsprozessen bewirken kann. Die zentralen Fragen lauten dabei: Wie sollte eine sinnvolle Interaktion zwischen Mensch und Maschine gestaltet sein? Welche Rolle spielen menschliche Entscheidungen bei der Qualitätssicherung von automatisierten Entscheidungen? Und wie können wir sicherstellen, dass diese Interaktion nicht nur rechtssicher, sondern auch transparent und nachvollziehbar ist?
