User*innen vor Online-Hass schützen: Zu kompliziert für Meta?

Eine Expert*innen-Meinung zeigt: Es ist nicht so unzumutbar, wie der Konzern behauptet!

Gemeinsam mit Renate Künast haben wir Facebook verklagt. Der Grund: Ein Meme mit einem Falschzitat wurde 100-fach auf Facebook geteilt. Wir sind der Meinung: Es kann nicht die Aufgabe der Betroffenen, in diesem Fall Frau Künast sein, ein Leben lang nach diesen Memes zu suchen und die Löschung zu beantragen.

Zumal sich diese oftmals auch in geschlossenen Gruppen und auf privaten Gruppen verbreiten. Das Landgericht Frankfurt hat Renate Künast in erster Instanz recht gegeben und Facebook verurteilt, nicht nur jeweils das eine Meme zu entfernen, was wir gesucht und gemeldet haben, sondern auch alle anderen identischen und kerngleichen.  

Das will Meta offenbar nicht akzeptieren und hat Berufung eingelegt. Nun geht das Verfahren in die zweite Runde – die Berufung vor dem Oberlandesgericht Frankfurt a. M. am 07. Dezember 2023. Eine Kernfrage der ersten Instanz war: Was kann Meta eigentlich leisten, um Bilder automatisiert aufzufinden und zu beurteilen?  

Glaubt man dem Konzern, ist das alles sehr kompliziert und schlicht: unzumutbar. Wir sind anderer Auffassung und glauben, dass es tatsächlich viele sehr ausgereifte Möglichkeiten gibt, um Bilder, und in diesem Fall Memes, mit einem Text aufzufinden. Diese Möglichkeiten sind nicht nur längst vorhanden, sondern sogar branchenüblich.

Renate Künast zieht mit HateAid gegen Facebook vor Gericht 

Zur Erinnerung: Das Gericht hatte Facebook verurteilt, alle zum Zeitpunkt Rechtskraft des Urteils vorhandenen Memes mit einem Falschzitat von Renate Künast zu entfernen. Dies gilt für die identischen, sowie die kerngleichen Memes. 

Welche Möglichkeiten hat also ein Konzern wie Meta, um hundertfach geteilte und hochgeladene Memes wie das von Renate Künast aufzufinden? 

Die bei der Moderation von bildbasierten Inhalten vorherrschende Technologie, welche unter anderem im Bereich der Terrorismusbekämpfung bereits weitläufig zum Einsatz kommt, heißt: Hashing. Durch Hashing können zuvor – etwa durch eine Meldung bei der Plattform – identifizierte Multimedia-Inhalte wiedererkannt werden.  

Wie funktioniert das genau? 

• Hashing bedeutet, dass eine Datendatei in kleine Teile zerlegt und zu einem präzisen numerischen Wert kombiniert wird.  
• Nach der Identifizierung eines Audios, Bildes oder Videos wird eine eindeutige digitale Signatur aus dem Inhalt extrahiert (der sogenannte Hash).  
• Dieser Hash wird aus jedem zukünftigen Upload extrahiert und mit einer Datenbank von anstößigen Hashes verglichen. Übereinstimmende Inhalte können so gesucht, erkannt und sogar von vorneherein am erneuten Upload gehindert werden. 

Wie muss so ein Hash aussehen, damit das funktioniert? 

Der Hash muss vor allem die folgenden Voraussetzungen erfüllen: 

• Eindeutigkeit: Die extrahierten Hashes für zwei eindeutige Inhalte sollten eindeutig sein; 
• Resilient: Der Hash sollte gegen einfache Änderungen des Inhalts resilient sein, um einen Abgleich mit ähnlichen Inhalten sicherzustellen;  
• Deterministisch: Der extrahierte Hash ist für einen Inhalt immer derselbe;  
• Effizient: Die Rechenkosten für das Extrahieren und den Abgleich mit anderen Hashes sollte gering sein; 
• Nicht umkehrbar: Es sollte unmöglich sein, den ursprünglichen Inhalt nur aus dem Hash zu rekonstruieren. 

Tatsächlich ist es so: Kein Hashing erfüllt all diese fünf Kriterien. Es gibt daher unterschiedliche Kategorien des Hashings, die unterschiedlich genau identische und zum Teil auch kerngleiche Inhalte wiederfinden.  

• Das sogenannte Hard-Hashing ist beispielsweise sehr eindeutig, aber nicht resilient. Nur exakt gleiche Inhalte können so erkannt werden.  
• Das perzeptuelle Hashing ist etwas weniger genau, kann jedoch auch leicht modifizierte Varianten eines Memes erkennen, die beim Hard-Hashing „durchrutschen“ würden. Das perzeptuelle Hashing imitiert dabei gewissermaßen eine menschliche Bewertung beim Vergleich zweier Bilder. Diese Methode verwendet zum Beispiel YouTube bereits seit 2007 in Form der Content-ID. Facebook verwendet bereits seit 2010 „PhotoDNA“, was auf ebendieser Methode basiert. 

Auch diese Frage hat Prof. Farid beantwortet: 

• Er schlussfolgert, dass vor allem das perzeptuelle Hashing eine etablierte Technologie ist, die von Diensten aller Größenordnungen angewandt wird. Es gibt weder nach unten noch nach oben Einschränkungen bei der Anwendbarkeit.  
• Wie treffsicher die Methode ist, hängt – wenig überraschend – auch davon ab, wie stark das entsprechende Meme verändert wurde und wie gut der Algorithmus auf verschiedene Variationen trainiert ist. Ein Abgleich mit einer größeren Anzahl an Varianten kann diese Robustheit erhöhen.  
• Aber natürlich gilt: Je größer die Variation, desto mehr falsch positive Ergebnisse gibt es. Dies kann – und muss nach unserer Überzeugung – eine menschliche Moderation abfedern. 
• Die menschliche Moderation kann so auch dazu beitragen, dass der Algorithmus besser wird. Denn wird eine andere Variante manuell – entweder durch Contentmoderator*innen oder User*innen – identifiziert, kann diese zu einer Hash-Datenbank hinzugefügt werden. Mit der Zeit ist es möglich, die meisten, oder nach Auffassung von Hany Farid sogar alle Varianten zu identifizieren.  
• Für eine reine Erkennung von Text, zum Beispiel, um ein Falschzitat oder seine Variationen zu erkennen, kann eine mittlerweile ebenso standardmäßige Erkennung per Zeichenerkennung (sog. OCR) genutzt werden.  

Zahlreiche verfügbare Technologien ermöglichen die Suche nach Memes 

So ergibt sich, dass etwa für das reine Auffinden des identischen Memes beide Hashingmethoden sehr effizient sein können. Für das Auffinden kerngleicher Memes – also leicht modifizierter Memes mit dem gleichen Aussagegehalt – kann das perzeptuelle Hashing effektiv helfen. Geht es darum zu erkennen, ob das Meme beispielsweise durch Schrift als Falschzitat explizit gekennzeichnet ist, wodurch es womöglich nicht gelöscht werden müsste, kann eine Texterkennung eingesetzt werden. Vor allem könnte sich Facebook hierbei auch einer Datenbank mit bekannten Meme-Texten bedienen und diese abgleichen oder mithilfe der natürlichen Sprachverarbeitung (NLP) analysieren. 

Derartige Technologien werden bereits flächendeckend für die Erkennung von Urheberrechtsverletzungen, sexuellem Missbrauch von Kindern, Extremismus/Terrorismus, Hassrede/Mobbing eingesetzt. Der Mutterkonzern Meta verwendet diese bereits, um sexualisierte Inhalte zu erkennen. 

Ist es wirklich so kompliziert & unzumutbar?   

Wir kommen also zu dem Schluss, dass der Konzern längst über die technischen Möglichkeiten verfügt, um Betroffene vor hundertfach geteilten Memes und Verleumdungen zu schützen. Es ist am Ende alles eine Frage der Bereitschaft, die entsprechenden Mittel und Ressourcen zu investieren. Wir sind davon überzeugt, dass es das das Mindeste ist, was sie den Nutzenden schulden! 

Die vollständige Stellungnahme in englischer Sprache findest du hier.