Der Social-Media-Riese Twitter sagt, dass ein neues System zur Verhinderung der Verbreitung von Material über sexuellen Kindesmissbrauch (CSAM) auf seiner Plattform „nahtlos“ eingesetzt wurde, wobei eine von der gemeinnützigen Gruppe Thorn entwickelte Technologie getestet wurde.
Das Twitter-Sicherheitskonto gab am Dienstag bekannt, dass es an einem Betatest der KI-gestützten Safer-Lösung der Gruppe teilgenommen hat, um proaktiv textbasiertes Material zu erkennen, zu löschen und zu melden, das sexuelle Ausbeutung von Kindern enthält.
Durch unsere laufende Partnerschaft mit @thorn tun wir mehr, um eine sichere Plattform zu schaffen. X war in der Beta-Phase an der Erprobung der Thorn-Lösung zur proaktiven Erkennung von textbasierter sexueller Ausbeutung von Kindern beteiligt. Diese Arbeit baut auf unseren unermüdlichen Bemühungen zur Bekämpfung der sexuellen Ausbeutung von Kindern…
– Safety (@Safety) May 7, 2024
„Durch unsere fortlaufende Partnerschaft mit Thorn tun wir mehr, um eine sichere Plattform zu schaffen“, schrieb der Twitter Safety Account. „Diese Arbeit baut auf unseren unermüdlichen Bemühungen auf, die sexuelle Ausbeutung von Kindern im Internet zu bekämpfen, mit dem spezifischen Ziel, unsere Fähigkeiten bei der Bekämpfung von Inhalten mit hohem Schaden zu erweitern, bei denen ein Kind in unmittelbarer Gefahr ist.“
„Diese selbst gehostete Lösung wurde nahtlos in unsere Erkennungsmechanismen integriert und ermöglicht es uns, Konten mit hohem Risiko zu erkennen“, heißt es weiter.
Das 2012 von den Schauspielern Demi Moore und Ashton Kutcher gegründete Unternehmen Thorn entwickelt Tools und Ressourcen, um Kinder vor sexuellem Missbrauch und Ausbeutung zu schützen. Im April unterzeichneten Google, Meta und OpenAI eine von Thorn und der ebenfalls gemeinnützigen Organisation All Tech is Human herausgegebene Erklärung, in der sie sich verpflichten, Leitplanken für ihre KI-Modelle einzuführen.
„Wir haben viel aus unseren Betatests gelernt“, sagte Rebecca Portnoff, Vice President of Data Science bei Thorn, gegenüber TCN. „Wir wussten zwar von Anfang an, dass sexueller Kindesmissbrauch in allen Arten von Inhalten vorkommt, auch in Texten, aber in diesem Betatest haben wir konkret gesehen, wie maschinelles Lernen und KI für Texte in großem Maßstab reale Auswirkungen haben können.“
Wie Portnoff erläuterte, besteht das Safer AI-Modell aus einem Sprachmodell, das auf kindersicherheitsrelevante Texte trainiert wurde, und einem Klassifizierungssystem, das Vorhersagen mit mehreren Labels für Textsequenzen erstellt. Die Vorhersagewerte reichen von 0 bis 1 und geben das Vertrauen des Modells in die Relevanz des Textes für verschiedene Kindersicherheitskategorien an.
Portnoff konnte zwar nicht verraten, welche anderen Social-Media-Plattformen am Beta-Test der Safer-Produktreihe teilnehmen, sagte aber, dass die Reaktionen anderer Unternehmen positiv waren.
„Einige Partner teilten mit, dass das Modell besonders nützlich ist, um schädliche Aktivitäten im Bereich des sexuellen Kindesmissbrauchs zu identifizieren, gemeldeten Nachrichten Priorität einzuräumen und Ermittlungen gegen bekannte schlechte Akteure zu unterstützen“, sagte Portnoff.
Aufgrund der Verbreitung von generativen KI-Tools seit dem Start von ChatGPT im Jahr 2022 haben Internet-Watchdog-Gruppen wie die in Großbritannien ansässige Internet Watch Foundation vor einer Flut von KI-generierter Kinderpornografie gewarnt, die in Dark-Web-Foren zirkuliert, und erklärt, dass das illegale Material das Internet überfluten könnte.
Die Ankündigung des Sicherheitsteams von Twitter kam nur wenige Stunden, bevor die Europäische Union das Unternehmen aufforderte, Berichte über „abnehmende Ressourcen für die Inhaltsmoderation“ zu erklären.
Der jüngste Transparenzbericht, den Twitter den EU-Regulierungsbehörden vorgelegt hat, besagt, dass Elon Musks Sparmaßnahmen die Größe des Inhaltsmoderationsteams der Plattform seit Oktober 2023 um fast 20 % verringert und die Anzahl der überwachten Sprachen von 11 auf 7 reduziert haben.
„Die Kommission bittet auch um nähere Angaben zu den Risikobewertungen und Maßnahmen zur Risikominderung im Zusammenhang mit den Auswirkungen generativer KI-Tools auf Wahlprozesse, die Verbreitung illegaler Inhalte und den Schutz der Grundrechte“, heißt es in der Forderung weiter.
Die EU hatte im Dezember 2023 ein förmliches Verfahren gegen Twitter eingeleitet, weil sie befürchtete, dass das Unternehmen in mehreren Bereichen gegen das Gesetz über digitale Dienste verstößt, darunter Risikomanagement, Inhaltsmoderation, „dunkle Muster“ und Datenzugang für Forscher.
Die Kommission hat Twitter aufgefordert, die geforderten Informationen bis zum 17. Mai zu übermitteln und weitere Fragen bis zum 27. Mai zu beantworten
