Mit KI gegen Rechtsverstöße im Internet

Dass es im Internet zahlreiche Inhalte gibt, die Hass, Falschmeldungen oder pornografische Texte, Bilder und Videos verbreiten, ist seit Langem bekannt. Zwar gibt es inzwischen zahlreiche Gesetze, die solche Inhalte verbieten, aber angesichts der Menge solcher unzulässigen Inhalte ist das Risiko, dass die Aufsichtsbehörden darauf stoßen, äußerst gering. Die Medienaufsicht hat deshalb ein KI-gestütztes Programm entwickeln lassen, um das Internet zu durchsuchen und solche rechtswidrigen Inhalte aufzuspüren.

Die ersten Versuche gab es schon in den Anfangsjahren des Web 2.0. Jugendschützer*innen haben mit Programmen das Netz nach bestimmten Begriffen durchsucht – zum Beispiel nach „Sex“. Die Ergebnisse waren aber wenig präzise: Die Buchstabenfolge „sex“ ist auch in Wörtern wie Staatsexamen enthalten. So wurden viele harmlose Inhalte aufgespürt, Anbieter einschlägiger Angebote haben dagegen Tarnbegriffe verwendet, die das Programm nicht gekannt und gefunden hat. Heute scheint man aber ein ganzes Stück weiter zu sein.
 

KIVI hilft, Rechtsverstöße zu erkennen und abzustellen

Die Landesmedienanstalten, die in Deutschland für die Aufsicht über Fernsehen und Internet zuständig sind, haben eine neue künstliche Intelligenz entwickeln lassen, die die Medienaufsicht revolutionieren soll. Durch ein automatisches Monitoring werden Social-Media-Plattformen und andere Webseiten auf Rechtsverstöße durchsucht. Das System heißt KIVI und setzt sich zusammen aus der Abkürzung für Künstliche Intelligenz „KI“ und den Anfangsbuchstaben des lateinischen Wortes „vigilare“, was „überwachen“ bedeutet. Die Entwicklung von KIVI soll insgesamt rund 164.000 Euro gekostet haben (vgl. Pitz 2023).

Das Auffinden eines möglicherweise rechtswidrigen Inhalts allein reicht freilich nicht aus, um ein Beanstandungsverfahren einzuleiten. Das System ist nur vorgeschaltet und identifiziert potenziell relevante Inhalte – aber letztlich müssen immer noch sachverständige Mitarbeiter*innen beurteilen, ob der Inhalt zu beanstanden ist. Erst dann wird der Fall an das Justiziariat der jeweiligen Anstalt weitergeleitet, die dann entscheidet, ob und in welcher Weise sie tätig wird.
 

Seit einem Jahr wird das System erprobt

Bereits 2019 haben die Medienanstalten eine Machbarkeitsstudie durchgeführt und sich anschließend darauf geeinigt, ein solches intelligentes Werkzeug in Auftrag zu geben. Nach einem halben Jahr war der Prototyp fertig, seit etwa einem Jahr wird es eingesetzt.

Unser Fokus lag dabei zunächst auf dem Schutz der Menschenwürde und dem Jugendschutz. Zu den konkreten Verstoßkategorien zählen beispielsweise Gewaltdarstellungen, Volksverhetzung, die Verwendung verfassungsfeindlicher Kennzeichen oder frei zugängliche Pornografie,

so die Landesanstalt für Medien NRW (2023). Und weiter: „Anschließend konnten wir das Tool Kanal für Kanal ausrollen. Von Twitter und YouTube bis zu Plattformen wie Telegram und VK kann das Tool heute täglich mehr als 10.000 Seiten automatisch durchsuchen. Ohne diese technische Hilfe konnten wir nur einen Bruchteil davon schaffen.“ (Landesanstalt für Medien NRW 2023)

„BLM-Präsident Thorsten Schmiege sagte, der Jugend- und Nutzerschutz im Internet rücke in der digitalen Welt immer stärker in den Fokus. Die ‚Masse der problematischen Inhalte‘ sei alleine händisch nicht mehr überprüfbar. Eine moderne Medienaufsicht müsse deshalb in der digitalen Welt auch mithilfe von KI arbeiten.“ (epd medien 2023)
 

Das Tool erkennt Sprache und Herkunftsort

Das Tool kann mutmaßliche Verstöße in Kategorien einordnen, aber auch den Herkunftsort ermitteln. Es erkennt auch, ob die Nutzer*innen auf internationalen Kanälen in deutscher Sprache angesprochen werden. Zudem ordnet das Tool die verdächtigen Inhalte direkt der für den Herkunftsort zuständigen Medienanstalt zu. Inzwischen interessieren sich auch andere europäische Länder für das Produkt, konkret genannt werden Österreich und Belgien. Allerdings ist das Tool derzeit nur auf Deutsch verfügbar und müsste für andere Sprachen erweitert werden. (Vgl. Meineck 2022)
 

Meilenstein für die Aufdeckung von Straftaten

Dr. Tobias Schmid, Direktor der Landesanstalt für Medien NRW, sieht in dem Tool einen großen Fortschritt für die Medienaufsicht: „Wir sind oft gefragt worden, ob die Regulierung des Internets Sinn macht und ob wir tatsächlich glauben, das von NRW aus leisten zu können. Zwei Dinge dürften spätestens heute feststehen. Die Meinungsfreiheit im Netz zu sichern, kann nur gelingen, wenn wir Regeln zu ihrem Schutz haben und durchsetzen. Und wir zeigen, dass wir diese Aufgabe annehmen und noch nie besser dafür aufgestellt waren.

Der Einsatz künstlicher Intelligenz ermöglicht eine Medienaufsicht, die menschliche Expertise und höchste technologische Standards vereint.

Um beides zu erreichen: den Schutz vor Rechtsverstößen und damit die Sicherung der Meinungsfreiheit. Und ganz nebenbei beweist der Föderalismus seine Leistungsfähigkeit, denn es sind die deutschen Medienanstalten, die als Erste ganzheitlich den Kampf gegen Hass und Jugendgefährdung im Netz aufnehmen können.“ (Landesanstalt für Medien NRW 2023)

Der Einsatz des Tools habe dazu geführt, dass sich die Strafanzeigen im Vergleich zu früheren Vergleichsmonaten verdoppelt hätten. Das Tool biete darüber hinaus Schutzfunktionen, die die psychische Belastung der Mitarbeiter*innen im Monitoring reduzierten. „Bevor sie einen Inhalt öffnen, wissen sie schon, zu welcher Kategorie er wahrscheinlich gehört. Das ist sehr viel angenehmer als unvermittelt auf ein Enthauptungsvideo oder Missbrauchsfoto zu stoßen. Sie können außerdem festlegen, welche möglicherweise verstörenden Inhalte zunächst unscharf dargestellt werden sollen – was gerade bei Gewaltdarstellungen die psychische Belastung mindern kann. Oder sie entscheiden sich, gewisse Kategorien heute nicht sichten zu wollen.“ (Ebd.)
 

Auch KI macht Fehler

Völlig fehlerfrei arbeitet das Produkt allerdings nicht. „Der Begriff ‚Künstliche Intelligenz‘ kann darüber hinwegtäuschen, dass es schlicht um eine Software zur Erkennung von Mustern geht. KIVI sucht beispielsweise auf Websites nach als verdächtig eingestuften Stichworten wie ‚Terror, Gräueltaten, Verbrechen, Mord etc. in Kombination mit Islam/Muslime/Christen/Juden‘. Diese Beispiele nannte eine Sprecherin der Landesmedienanstalt NRW, nachdem KIVI bei einer öffentlichen Präsentation im April einen Fehler gemacht hatte. Die Software hielt eine Pressemitteilung des Zentralrats der Muslime für ‚politischen Extremismus‘. Dabei hatte der Zentralrat darin lediglich die Terroranschläge in London 2005 verurteilt.“ (Meineck 2022)
 

Schwerpunkt: Pornografie

45 % der KIVI-Meldungen betreffen pornografische Inhalte, 23 % fallen auf verfassungsfeindliche Kennzeichen und 14 % auf Volksverhetzung (vgl. Pitz 2023). Gerade bei pornografischen Inhalten aus dem Ausland, z. B. aus Zypern, war es bisher jedoch nicht möglich, diese in Deutschland aus dem Netz zu entfernen. Zwar wurden Anbieter wie xHamster schon vor Jahren beanstandet, die Beanstandungen wurden auch vom Verwaltungsgericht Düsseldorf und vom Oberverwaltungsgericht in Münster bestätigt, aber das hat bisher nicht zum Abschalten der Inhalte in Deutschland geführt. Auch die Aufforderung der Landesmedienanstalten an die deutschen Internetanbieter, diese Angebote zu sperren, blieb bisher erfolglos.
 

Anbieter selbst bisher wenig engagiert

Die Medienanbieter selbst haben sich bisher mit eigenen Aktivitäten, pornografische Inhalte oder Hasskommentare in sozialen Netzwerken aufzufinden und abzuschalten, zurückgehalten, „weil wir einen Haftungsrahmen haben, der zum Wegschauen anreizt“ (Dreyer 2023).

Zur Funktionsweise der KI erklärt Stephan Dreyer, Jurist und Medienwissenschaftler am Hamburger Hans-Bredow-Institut, dass sich die KI wie Nutzer*innen auf den sozialen Medien einloggt und nach bestimmten Mustern die Kommunikation scannt. Zum Beispiel werden auf YouTube die Kommentare analysiert, die Bilder und Videos nach Gewaltdarstellungen, Volksverhetzung, Verwendung von verfassungsfeindlichen Kennzeichen oder Pornografie untersucht. Die Texte werden nach bestimmten Stichwörtern ausgewertet, auch bestimmte Anhäufungen von unterschiedlichen Wörtern und Verben werden erkannt. (Ebd.)

Das Programm, so Dreyer, könne täglich mehrere 10.000 Inhalte scannen, allerdings sei nicht bekannt, bei wie vielen Inhalten es Alarm schlage. Nach Angaben der Landesmedienanstalten sind bisher durch die KI mehrere 100 Verfahren auf den Weg gebracht worden. Es seien viele Verstöße registriert worden, die vorher mangels Ressourcen nicht aufgefallen seien.

Quellen:

Dreyer, S. in Bigalke, K./Böttcher, M./Terschüren, H.: Jugendschutz-KI KIVI, Meta im Fediverse und der Podcast „Botlove“ (Sendung). In: Deutschlandfunk Kultur, „Breitband“, 18.03.2023. Abrufbar unter: www.deutschlandfunkkultur.de/

epd medien: Medienwächter setzen KI für Suche nach Jugendschutz-Verstößen ein. In: epd medien Nachrichten, 24.03.2023. Abrufbar unter: w.epd.de

Landesanstalt für Medien NRW: Mit Künstlicher Intelligenz zu einer modernen Medienaufsicht.Abrufbar unter: ww.medienanstalt-nrw.de

Meineck, S.: Internet-Kontrolle. Medienaufsicht promotet Überwachungs-KI in der EU. In: Netzpolitik.org, 25.05.2022. Abrufbar unter: netzpolitik.org

Pitz, L.: SLM: Wie die künstliche Intelligenz KIVI nach Pornos und Hetze sucht. In: Flurfunk, 26.02.2023. Abrufbar unter: www.flurfunk-dresden.de