Safety by Design
Unser Wegweiser zu sicheren Social-Media-Plattformen
Egal ob Autos, Medikamente oder Kinderspielzeug: In der EU schützen Gesetze Verbraucher*innen vor unsicheren Produkten. Autos müssen Sicherheitsstandards wie Gurte und Notbremssysteme erfüllen, Medikamente werden vor der Markteinführung streng geprüft, und gefährliche Chemikalien in Spielzeug sind verboten. Der Ansatz „Safety by Design“ stellt die Verbrauchersicherheit in allen Phasen – von der Entwicklung bis zum Vertrieb – in den Mittelpunkt.
Nur bei sozialen Medien sieht die Realität noch anders aus.
Wir fordern, dass „Safety by Design“ auch für TikTok, Meta, X & Co zum Standard wird. Sicherheit muss von Anfang an im Netzwerkdesign berücksichtigt werden.
Prävention statt Reaktion
Der erste Fahrer eines neuen Automodells ist in der Regel kein Mensch. Bevor die Reifen eine echte Straße zu spüren bekommen, sitzen Crash-Test-Dummies am Steuer. An ihnen werden vermeidbare Schäden getestet – und von den Entwickler*innen behoben, bevor das Modell auf den Markt kommt.
Anders bei sozialen Medien. Digitale Gewalt und Desinformation sind hier Alltag und verursachen erhebliche und vermeidbare Schäden für Menschen und unsere Gesellschaft.
Wir stellen dem ein Korrektiv entgegen, das diese Schäden proaktiv verhütet und Plattformen stärker in die Verantwortung nimmt: Safety by Design.
Der Grundgedanke: Produkte werden von Beginn an so geplant, dass absehbare Gefahren minimiert werden. Sicherheitsmaßnahmen werden proaktiv und kontinuierlich angepasst an sich ständig wandelnde Plattformen.
Unser Ziel: Debatte über Sicherheitsstandards
Sichere Social-Media-Plattformen sind jetzt umsetzbar.
Wir zeigen mit unserem Policy Paper „Safety by Design – Pathways to Safer Social Media Platforms“ wie. Unsere Ergebnisse legen offen, was heute schon technisch möglich ist und wie wir Plattformen genau zu so einem effektiven und präventiven Schutz von Demokratie und Gesellschaft verpflichten können.
Foto: Scopio / Brit Worgan
Darum gibt es noch keinen effektiven Schutz
Obwohl es einen ganzen Katalog bekannter Designmerkmale für mehr Sicherheit gibt, werden diese nicht umgesetzt. Im Gegenteil: Social-Media-Plattformen setzen ihre Nutzenden immer wieder konkreten Gefahren wie digitaler Gewalt oder Desinformation aus. Dafür gibt es vor allem drei Ursachen.
Geschäftsmodelle von Plattformen
Social-Media-Plattformen verdienen daran, dass sie die Daten ihrer Nutzenden sammeln und deren Aufmerksamkeit an Werbetreibende verkaufen. Darum fördern die Plattformen bewusst Inhalte, die oft kontrovers, unwahr oder sogar schädlich sind, aber viel Interaktion durch Nutzende hervorrufen. Dabei nutzen sie Designelemente, die süchtig machen und die Bildschirmzeiten der Menschen in die Höhe treiben.
Safety by Design stellt dieses Gewinnmodell direkt infrage, indem es das Wohlbefinden und die Sicherheit der Menschen über das Engagement und die Bildschirmzeit stellt. Die Reichweite schädlicher Inhalte würde aber so beschränkt und Plattformen könnten das Online-Verhalten ihrer Nutzenden schwerer verfolgen.
Ungleiche Machtverhältnisse
Im Gegensatz zur Mehrheit der Nutzenden sind die Designteams hinter den Social-Media-Plattformen eine relativ homogene Gruppe von überwiegend männlichen und gut bezahlten Fachleuten.
Beim Design der Plattformen stützen sie ihre Entscheidungen oft auf Annahmen über einen „durchschnittlichen Nutzer”. Die Gefahren für marginalisierte Gruppen wie z.B. Frauen aber auch Kinder, die nicht diesem Standard entsprechen, bleiben dabei oft auf der Strecke.
Anders als bei Ärzt*innen oder Anwält*innen gibt es weder einen Eid noch einen Qualifikationsnachweis oder einen Branchenkodex. Es fehlen damit klare Anreize, die Bedürfnisse und Gefährdungsrisiken zu berücksichtigen. Safety by Design dreht diese Logik um und richtet Designentscheidungen auf jene aus, die am stärksten betroffen sein könnten.
Fehlende regulatorische Anreize
Nach zwei Jahrzehnten minimaler Regulierung hat die EU den Digital Services Act (DSA) verabschiedet, der strengere Sicherheitsstandards festlegt. Der DSA führt zwar einzelne „Safety by Design“-Maßnahmen ein, verbindet diese aber nicht zu einem klaren „Safety by Design“-Mandat.
Plattformen konnten ihre Verpflichtungen darum oftmals unterlaufen. Beispielsweise halten sie mit komplizierten Meldekanälen Nutzende davon ab, illegale Inhalte zu melden. Ihre Transparenzberichte geben zugleich wenig Aufschluss über die inneren Abläufe von Empfehlungssystemen oder die Qualität von Inhaltsmoderation.
Bei den zuständigen Behörden mangelt es für eine effektive Durchsetzung des DSA an Personal und Finanzmitteln. Langwierige Abstimmungen mit anderen Behörden erschweren die Arbeit zusätzlich. Zudem haben Aufsichtsbehörden es mit politischen Gegenreaktionen von Plattformanbietern und der US-Regierung zu tun. Die Durchsetzung des DSA ist zum Verhandlungspfand in transatlantischen Streitigkeiten geworden.
Alltagsgegenstand mit Mängeln
Social-Media-Plattformen nehmen eine zentrale Stellung in unserem Leben ein. Instagram, Facebook, X und TikTok gehören zu unseren meistgenutzten „Gebrauchsgegenständen“. Wir nutzen sie für die Freundschaftspflege, zum Dating oder für Unterhaltung. Wir beziehen unsere Nachrichten von ihnen und bilden unsere politische Meinung auch auf Basis dessen, was wir in unseren Feeds sehen.
Doch gemessen an ihrer Bedeutung für unser Privatleben und unsere Demokratie setzen sie Produktsicherheit nur dürftig um.
Mit Folgen, wie die alarmierenden Ergebnisse einer repräsentativen Befragung aus dem Februar 2024 unter Internetnutzenden in Deutschland zeigen:
Fast jede zweite Person (49 %) wurde schon einmal online beleidigt.
Fast jede zweite junge Frau (42 %) erhielt bereits ungefragt ein Nacktfoto.
Ein Viertel (25 %) der Befragten wurde mit körperlicher Gewalt und 13 % mit sexualisierter Gewalt konfrontiert.
Die Plattformen reagieren darauf nicht mit mehr Sicherheitsmaßnahmen.
Im Gegenteil machen sie neue Funktionen wie das Herstellen von sexualisierten Deepfakes zugänglich, ohne diese vorher auf erhebliche Schäden für Einzelpersonen und die Gesellschaft zu testen und erkannte Risiken zu minimieren.
Sicherheitsgurte im Auto: selbstverständlich. Sicherheit im Netz: optional.
In drei Schritten zu sicheren sozialen Medien in Europa
Was wäre wenn…
… Kinder ohne Risiko vor Mobbing und Sucht online wären?
… soziale Medien wieder echte Gemeinschaften schaffen, anstatt zu spalten?
… wenn du Urlaubsbilder ohne Angst vor sexualisiertem Hass posten könntest?
Für uns ist das kein Luftschloss, sondern umsetzbare Wirklichkeit. Wie wir dorthin kommen, haben wir in unserem Policy Paper „Safety by Design – Pathways to Safer Social Media Platforms“ untersucht.
- Schritt 1: Konsequente Durchsetzung bestehender Vorschriften
Wir fordern die konsequente Durchsetzung des Digital Services Act, insbesondere Vorgaben für das Design von Social-Media-Plattformen. Die Plattformen müssen benutzerfreundliche Meldekanäle bereitstellen, illegale Inhalte unverzüglich entfernen und aussagekräftige Transparenzberichte vorlegen.
Wir empfehlen, Aufsichtsbehörden mit deutlich mehr Ressourcen auszustatten und eine unabhängige europäische Aufsichtsbehörde zu schaffen, die ohne politische Vorgaben agiert, wie zum Beispiel die Europäische Zentralbank in Fragen der Preisstabilität. Bei schwerwiegenden Schäden einer Plattform können einzelne Führungspersonen persönlich haftbar gemacht werden, vor allem wenn grobe Fahrlässigkeit oder Vorsatz nachgewiesen werden kann. - Schritt 2: Einführung umsetzbarer Sicherheitsstandards
Wir fordern neue Gesetze, die manipulative Praktiken gezielt verbieten. Dazu gehören nicht-einvernehmliche Deepfakes, süchtig machende Designelemente wie Autoplay oder Endless Scrolling sowie der Einsatz von Social Bots und Shadowbanning.
Um oberflächliche Compliance zu verhindern, braucht es ein übergreifendes Safety-by-Design-Mandat, vergleichbar mit dem Kapitalmarktrecht, auch Qualifikationsanforderungen für Plattform-Führungskräfte und regelmäßigen Konsultationen mit Interessengruppen. - Schritt 3: Dezentralisierung der Social-Media-Infrastruktur
Große Plattformanbieter verweigern Verantwortung und passen ihr Design nicht zugunsten von Sicherheit an. Wir empfehlen daher, dezentrale Open-Source-Netzwerke wie Fediverse oder Eurosky gezielt zu fördern, denn sie funktionieren ohne überwachungsbasierte Werbung und süchtig machende Algorithmen.
Dafür braucht es öffentliche Finanzierung, gesetzlich verankerte Portabilitätsrechte und spezielle Regeln für nichtkommerzielle Plattformen. So kann Europa systemischen Online-Schäden entgegenwirken und seine digitale Souveränität als demokratische Notwendigkeit stärken.
Josephine Ballon. Foto: Sven Serkis
„Digitale Räume prägen unsere demokratische Öffentlichkeit. Umso wichtiger ist es, dass Plattformen Verantwortung für die Auswirkungen ihres Designs übernehmen. Sicherheit darf kein nachträgliches Extra sein, sondern Plattformen müssen von Anfang an so gestaltet sein, dass Risiken für Nutzer*innen minimiert werden.‟
Josephine Ballon, Geschäftsführerin von HateAid
Konkrete Empfehlungen für proaktive Schadensverhütung
Unsere Empfehlungen für Gesetzgeber*innen und Aufsichtsbehörden stützen wir auch auf einen aktuellen Report von Forscher*in und Künstler*in Caroline Sinders. Zusammen mit ihrem Convocation Design + Research (CoRD Labs) hat Sinders untersucht, wie die technische Gestaltung von Plattformen, ihr Design sowie politische und regulatorische Maßnahmen zusammenwirken können, um digitale Gewalt einzudämmen.
Das Ergebnis ist eine umfangreiche und online einsehbare „Safety-by-Design-Taxonomie“ mit 214 praktischen Empfehlungen für sichere Social-Media-Plattformen, die politischen Entscheidungsträger*innen, Forschenden und Designer*innen zur Orientierung dienen.
214 praktische Empfehlungen beinhaltet die Safety-by-Design-Taxonomie.
Zu den Empfehlungen gehören unter anderem:
- Eingebaute Widerstände bei schadhaften Inhalten: Automatisierte Warnsysteme können Nutzende darauf hinweisen, dass wiederholte Verstöße gegen Community-Richtlinien Konsequenzen haben. Beispielsweise warnt Instagram Nutzende bei anstößigen Inhalten, bevor diese gepostet werden.
- Tools zum Umgang mit Missbrauch: Spezielle Tools können Betroffenen helfen, Belästigung effizient zu erkennen, zu dokumentieren und Täter*innen zu blockieren, statt sich durch hunderte Posts arbeiten zu müssen. Beispielsweise veröffentlichte Googles Inkubator Jigsaw 2022 einen Open-Source- „Harassment Manager“ für Twitter, der u.a. schädliche Beiträge identifizierbar machte und Belästiger*innen stummschalten oder blockieren konnte. Aufgrund von Änderungen in der Betriebsweise von Twitter/X ist das Tool leider nicht mehr aktiv.
- Sicherheitsmodi: Ein Sicherheitsmodus, der mit nur einem Klick angeschaltet werden kann, gibt Nutzenden schnell mehr Kontrolle über Sichtbarkeit und Interaktionen. Beispielsweise ermöglichen X („Meine Beiträge schützen“) und Instagram (Privatmodus), Profile kurzfristig auf privat zu stellen und so unerwünschte Kontaktaufnahmen zu reduzieren.
- Kennzeichnung von Konten: Plattform-Labels für verifizierte, staatlich finanzierte oder parodistische Accounts helfen Nutzenden, Inhalte besser einzuordnen und Desinformation zu erkennen. Beispielsweise führte Twitter 2009 blaue Häkchen zur Verifizierung ein (später durch den Wechsel auf ein Bezahlmodell entwertet).
- Plattformübergreifende Zusammenarbeit: Weil Online-Gewalt häufig auf mehreren Plattformen gleichzeitig stattfindet, würden plattformübergreifende Blocklisten und Warnsysteme Betroffene deutlich besser schützen. Beispielsweise könnte ein Doxxing-Warnsystem, das geleakte persönliche Daten nach dem Fund auf einer Plattform an andere Plattformen meldet, die weitere Verbreitung schneller eindämmen.
Die Taxonomie stützt sich auf eine umfangreiche Literaturrecherche, Interviews und Workshops mit Expert*innen aus den Bereichen Politik, Technologie, Design, Wissenschaft und Menschenrechte sowie sechs anonymisierten Fallstudien, die detailliert beschreiben, wie Schaden auf Plattformen entsteht.
Welche regulatorischen Spielräume es gibt, um Social-Media-Plattformen zu besserem Schutz von Menschen zu verpflichten, hat Michael Denga, Professor für Zivil- und Handelsrecht, für uns untersucht. Sein Gutachten bildet die Grundlage einer Reihe von Forderungen unseres Policy Papers. Er schlägt Maßnahmen für eine konsequente Durchsetzung des Digital Services Act (DSA) vor, darunter ein Verbot von Social Bots, spezifische Qualifikationsanforderungen für Führungskräfte von Plattformen oder die Einstufung von Social Media-Algorithmen als Hochrisiko-KI-Systeme.
Die Expert*innen hinter den Gutachten
Prof. Dr. Michael Denga
Prof. Dr. Michael Denga ist Zivil- und Handelsrechtler mit besonderem Schwerpunkt auf der Regulierung digitaler Technologien.
Seine Forschung verbindet zentrale Bereiche des deutschen Zivil- und Handelsrechts mit europäischen Perspektiven und behandelt Themen wie soziale Netzwerke, Daten und KI.
Seit April 2026 hat er den Lehrstuhl für Bürgerliches Recht, Handels- und Gesellschaftsrecht an der Martin-Luther-Universität Halle-Wittenberg inne.
Foto: Privat
Foto: Sarah Wang
Caroline Sinders
Caroline Sinders forscht und engagiert sich kreativ im Bereich Machine-Learning-Design. In den letzten Jahren hat Sinders die Schnittstellen von Technologieauswirkungen auf die Gesellschaft, Interface-Design, künstliche Intelligenz, Missbrauch sowie Politik in digitalen Interaktionsräumen untersucht.
Sinders gründete und leitet Convocation Design + Research (CoRD Labs), ein Forschungs- und Technologielabor für Menschenrechte.
Unterstützende
Das Projekt „Safety by Design – Pathways to Safer Social Media Platforms“ wurde durch Unterstützung der Michael Otto Foundation for Sustainability und der Schöpflin Stiftung ermöglicht.
