Die harten Inhalte finden sich auf Webseiten, nicht in Apps

Laut Gesetz genügt die Existenz eines anerkannten Jugendschutzprogramms, damit Anbieter entwicklungsbeeinträchtigende Inhalte mit einem passenden age-de.xml-Label online verbreiten dürfen. Ist JusProg also eine Software, die in erster Linie den Unternehmen nutzt?

Nein, JusProg nutzt in erster Linie den Eltern und den Kindern – und seit dem vielen Homeschooling auch verstärkt den Schulen. In den letzten zwei Jahren haben viele Schulen aus dem Digitalpakt und den Coronahilfen Endgeräte angeschafft, die die Kinder für den Onlineunterricht auch mit nach Hause nehmen. Natürlich lassen sich diese Laptops und Tablets nach den Hausaufgaben auch für andere Dinge verwenden, dann allerdings im heimischen WLAN und nicht mehr im gesicherten Schulnetz. Dass Schülerinnen und Schüler auf schulischen Geräten theoretisch auch Pornos gucken können, hat Eltern und Lehrende aufgeschreckt – und wir haben begonnen, nach Lösungen zu suchen, die auch in der FRITZ!Box daheim Bestand haben und die kostenfrei sind, damit Anschaffung und Installation keine langen Prozesse erfordern. Wir haben in kürzester Zeit eine ganze Menge Geld investiert, um entsprechende Lösungen anbieten zu können. Wir müssten das nicht machen, nichts davon steht im Staatsvertrag, aber wir machen es aus Überzeugung.

Wie kommt es, dass es so wenig anerkannte Jugendschutzprogramme gibt?

Die Hürden für eine Anerkennung sind hoch. Im Wesentlichen prüft die Freiwillige Selbstkontrolle Multimedia-Diensteanbieter (FSM) drei Bereiche ab. Erst einmal ist das die Verlässlichkeit der Filterung: Wie viel Prozent von den Seiten, die für eine Altersgruppe blockiert sein sollten, werden tatsächlich blockiert? Und wie viele Seiten werden blockiert, obwohl sie nicht blockiert werden sollten? Zweitens ist die technische Funktionalität zu gewährleisten. Es reicht nicht, dass die Software läuft, sondern sie muss im jeweiligen Betriebssystem die Inhalte richtig auslesen und die technischen Besonderheiten der einzelnen Betriebssysteme berücksichtigen. Und schließlich geht es auch um die Usability: Eltern müssen die Installation und Konfiguration vornehmen können, ohne sich allzu tief hineinzudenken.

JusProg filtert Webseiten, während die Kinder und Jugendlichen surfen, d. h., für die jeweilige Altersgruppe ungeeignete Inhalte werden nicht angezeigt. Woher weiß JusProg, für welche Altersstufen welche Seiten ungeeignet sind?

Weil JusProg das lernt, dabei kommen verschiedene Technologien und auch Menschen zum Einsatz. Der größte Teil ist die JusProg-Liste. Im Internet gibt es ja Milliarden von Webseiten, die niemand allesamt im Blick haben kann. Deswegen gehen wir einen anderen Weg. Während die Kinder surfen, wird bei uns auf dem Server, komplett anonymisiert, immer nachgefragt, welche Seiten sie aufrufen und ob sie diese Seite nutzen dürfen oder nicht. Diese Information ist für uns eine der Hauptressourcen, um festzustellen, welche Seiten wir uns angucken müssen und welche Priorität sie haben.
 

Menschen sehen mehr und können Zusammenhänge besser erfassen.

Eine zweite Ressource ist eine große Liste mit etwa 7.500 einschlägigen Begriffen und Begriffskombinationen, die wir technisiert über eine Schnittstelle regelmäßig bei Google suchen. Die Suchergebnisse schauen wir uns auch an. Dieses Verfahren hat den Vorteil, dass nicht erst mindestens ein Kind ungeschützt eine Seite aufgerufen haben muss, damit diese bei uns im System landet und bewertet wird.

Dann gibt es die sogenannten Spider, eine automatisierte Altersklassifizierung auf der Grundlage von Keywords. Dieses System ist mittlerweile sehr ausgefeilt. In geringem Umfang nutzen wir auch künstliche Intelligenz, aber die eigens für diese Anwendung gebaute automatische Altersklassifizierung ist zumindest heute noch besser als das, was KI derzeit kann.

Und schließlich werden die Seiten mit hoher Priorität, die also sehr häufig angeklickt werden, nochmals von Menschen angeguckt, wir nennen sie Netagents. Menschen sehen mehr und können Zusammenhänge besser erfassen und beispielsweise feststellen, ob man es bei bestimmten erotischen Begriffen mit einer Erotik- oder gar Pornoseite zu tun hat oder mit einer Heimtierseite, bei der es um die Aufzucht von Kaninchen geht, denn hier kommen mitunter die gleichen Begriffe vor.

Können Sie etwas genauer erklären, wie die Spider funktionieren? Es gibt bestimmte Triggerworte und bestimmte Begriffe, die dann in Kombination zu einer Altersklassifizierung führen?

Letztlich ist es ein Punktesystem. Verschiedene Keywords haben verschiedene Punkte und es gibt andere Begriffe, die Minuspunkte haben. Wenn wir bei dem Heimtierbeispiel und der Kaninchenzucht bleiben, dann finden sich dort ein paar Begriffe aus dem Erotikbereich, aber zugleich kommen auch die Worte „Haustier“ oder „Aufzucht“ vor, die sich auf einer Pornoseite üblicherweise nicht finden, sodass sich die Punkte ausgleichen. Auch Pro-Ana-Seiten lassen sich so relativ gut von Aufklärungsseiten über Essstörungen unterscheiden. Ana’s Poem beispielsweise ist ein verherrlichendes Gedicht, das auf fast jeder Magersuchtseite zu finden ist, aber logischerweise niemals auf Seiten, die vor Magersucht und Pro-Ana-Foren warnen. Derartige Zusammenhänge erkennen wir mit dem Spider-System – und deshalb ist es besser als eine KI, die diese Spezialfälle nicht einordnen kann.

Gibt es noch andere Parameter, die zum Filtern beitragen?

Wir haben die fragFINN- und die BPjM-Liste integriert, die den anderen Listen vorgeschaltet sind: Alles, was auf der BPjM-Liste steht, wird ausgefiltert, alle Inhalte auf der fragFINN-Liste werden angezeigt. Und wir lesen die age.xml- und age-de.xml-Label der Anbieter aus, sodass die Anbieterbewertungen – bzw. bei deutschen Anbietern auch die Freigaben der Freiwilligen Selbstkontrolle der Filmwirtschaft (FSK) und der Freiwilligen Selbstkontrolle Fernsehen (FSF) –, wie im Jugendmedienschutz-Staatsvertrag (JMStV) vorgesehen, in die Filterentscheidung einfließen. Als letztes Element haben wir die sogenannte On-the-fly-Filterung. Bei Webseiten, die wir nicht kennen, gibt es einen Schnellcheck, der mit einer relativ hohen Wahrscheinlichkeit in der Lage ist, eindeutige relevante Inhalte wie Pornos oder drastische Gewaltbilder auszusortieren. Konkret: Ein Kind ruft eine Pornoseite in Kolumbien auf. Wir kennen die Seite nicht, also verzögern wir den Prozess bis zu 3 Sekunden, das ist die maximale Dauer für diese Schnellprüfung, um doch noch eine Altersklassifizierung ermitteln zu können. Was aber passiert, wenn das nicht in den 3 Sekunden klappt, hängt von der voreingestellten Altersstufe ab. Bei einer Einstellung bis 12 Jahre wird der Inhalt standardmäßig blockiert, wenn innerhalb von 3 Sekunden zu der Seite nichts recherchiert werden kann. Ab 12 Jahren wird die Seite standardmäßig angezeigt.
 

Die Eltern sind die höchste Instanz.

Nach dem On-the-fly-Check geht die Domain ganz normal in die automatische Altersklassifizierung. In aller Regel werden wir sie dann erkennen. Und beim nächsten Aufruf eines Kindes ist eine problematische Seite dann bereits normal ohne Schnellcheck blockiert, auch wenn sie aus dem fernen Kolumbien stammt. Schließlich gilt: Die Eltern können White- und Blacklisten selbst pflegen, wenn sie das wollen. Die Eltern sind die höchste Instanz in der Entscheidung, was ihre Kinder sehen sollen und was nicht, das ist uns sehr wichtig.

Wie sieht die Zusammenarbeit von JusProg und anderen Unternehmen im Bereich der Suchmaschinen aus? JusProg unterstütztden Safe-Modus von Google, YouTube, Yahoo!, DuckDuckGo, Bing u. a. Was bedeutet das?

Das ist eine technische Zusammenarbeit. Es ist so, dass diese Unternehmen selbst eine Safe-Search-Suchfunktion eingerichtet haben, die wir nun von außen aktivieren können – egal, ob das Kind bei diesen Anbietern registriert ist oder nicht. Das heißt: Wenn der Safe-Search-Modus über JusProg aktiviert ist, wird er überall angewendet, auf den genannten Seiten und auf noch einigen mehr. Die Eltern können das natürlich pro Webseite konfigurieren. Ein Kind kann sich unter einem falschen Nutzernamen anmelden oder andere Umwege versuchen – es wird bei jedem Klick wieder in den Safe-Modus geschaltet.

Nach wie vor kritisiert die Kommission für Jugendmedienschutz (KJM) die eingeschränkte Effektivität von JusProg. Was genau vermisst die Aufsicht?

Die KJM vermisst Dinge, die derzeit technisch oder datenschutzrechtlich nicht möglich sind. Wenn Daten beispielsweise – aus gutem Grund – verschlüsselt sind, kann man nicht an jeder Stelle alles filtern und auslesen. Wir können bei allen Produkten, z. T. mit wirklich sehr ausgefeilten technischen Tricks, die Domains filtern. Aber wir können nicht in allen Fällen einzelne Seiten erkennen, die im Verschlüsselungsbereich liegen, das kann niemand, ohne die Verschlüsselung datenschutzkritisch aufzubrechen. Ein anderer Kritikpunkt ist der vermeintlich fehlende Eingriff in Apps. Wir sind so weit, dass Apps über JusProg Altersstufen identifizieren können, um so selbst in den Safe-Modus zu schalten – wir sind dabei allerdings auf die Mitarbeit der Apps angewiesen. Wenn also eine Video-App erkennen soll, dass hier ein Kind vor dem Bildschirm sitzt und Videos abruft, muss diese App sich öffnen für das Auslesen von Altersstufen – ein großes deutsches Fernsehunternehmen dockt derzeit bei JusProg an diesem Ansatz an und zeigt, dass es funktioniert. Wenn seitens der Anbieter aber die Bereitschaft nicht besteht, können wir nicht von außen in eine App hineinregieren und dort irgendwelche Funktionen steuern. Auch das kann technisch niemand.

Der sogenannte Betriebssystemansatz der Länder will diese Lücke schließen und die Funktionen von Apps ähnlich wie beim Hell-Dunkel-Modul im Handy steuern. Setzt die Idee eines zentralen Jugendschutzschalters auch die Zusammenarbeit mit den App-Anbietern voraus?

Selbstverständlich. Es braucht den App-Anbieter, sonst wird es nicht gehen. Ich sagte es schon: Man kann technisch nicht von außen in Apps hineinregieren – und das ist auch sinnvoll. Es ist technisch naiv zu glauben, dass sich mit einer Betriebssystemeinstellung plötzlich in den Apps automatisch irgendetwas ändert, das funktioniert auch nicht beim Hell-Dunkel-Beispiel. Die Information kommt vom Betriebssystem: Das Auto fährt gerade durch einen Tunnel. Aber ob eine App auf diese Information reagiert oder nicht, ob die Leuchtkraft des Handys gedimmt wird oder Ähnliches, das entscheidet die App. Und so ähnlich wird es auch mit Jugendschutzeinstellungen sein. Vom Betriebssystem kommt die Information, dass hier ein 7‑Jähriger unterwegs ist, aber ob und wie die App darauf reagiert und ob sie die Alterseinstufungen für ihre Inhalte vorhält, ist Sache des Anbieters. Man wird sehen, wie groß der Einfluss auf Anbieter ist, die nicht in Deutschland ansässig und nicht an den JMStV gebunden sind. Ein anderes großes Problem ist, dass der neue Ansatz nur einen Schalter vorsieht – aber keine Lösung für Geräte, die von mehreren Kindern verschiedener Altersstufen genutzt werden – und auch die Privatsphäre der Kinder verletzt, weil die Eltern dauernd an deren Gerät müssen. Und zum Dritten ist das wieder so eine einsame Deutschland-Insel-Idee, die keine guten bestehenden Jugendschutzsysteme integriert – von JusProg über IARC bis zu den Family-Funktionen der Betriebssystemanbieter.

Wie funktioniert das Zusammenspiel zwischen JusProg und Apps im Fall von TV-Anbietern?

Das funktioniert so, dass in einer Onlinemediathek oder auf einer Website mit VoD-Angeboten bei Abruf eines Inhalts über JusProg die Altersstufe des Nutzenden abgefragt und dann entsprechend entschieden wird, welche Videos angezeigt werden und welche nicht – und das nicht nur in Apps und auf Smart-TVs, sondern auf allen Endgeräten. Konkret: In dem Moment, wo das Kind eine Webseite aufruft, werden im Hintergrund Abfragen nach den Altersstufen gestartet. Je nachdem, was JusProg rückmeldet, also welche Altersstufe blockiert wird, kann die Mediathek oder die Website die Altersstufe ermitteln und die entsprechenden Videos anbieten. Diese Abfrage im Hintergrund dauert nur einen Bruchteil von Sekunden. Oder aber die App fragt die Altersstufe direkt beim JusProg-Jugendschutzprogramm ab. Die Voraussetzung ist, dass die Eltern JusProg installiert und ein Kinderprofil angelegt haben.

Kommen wir zu JusProgDNS. Es handelt sich dabei nicht um eine Filtersoftware, sondern um einen Nameserver, eine Art Telefonbuch für das Internet, in dem die Domainnamen wie jugendgefährdend.de mit einer IP-Adresse verbunden sind. Das Prinzip ist nun, dieses Verzeichnis gegen den JusProg-Nameserver auszutauschen, in dem entwicklungsgefährdende Inhalte blockiert sind. Das heißt: Es kann nur die ganze Domain ausgefiltert werden und einzelne Inhalte darunter können nicht differenziert betrachtet werden?

Zunächst: JusProgDNS ist schon eine Software, die aber auf dem Server stattfindet. Auf den Endgeräten muss man nur eintragen, welcher Nameserver abgefragt werden soll. Wir sind damit in der Performance sehr viel schneller und das Ganze ist wesentlich leichter einzurichten, auch in Netzwerken, weshalb die Schulen das jetzt sehr viel nutzen. Im Moment kaufen wir fast im Wochentakt einen Server hinzu, um den Anfragen der Schulen gerecht zu werden. Aber es stimmt: Bei Nameservern basiert die ganze Filterung auf Domains und Subdomains. Wir können keine einzelnen Inhalte filtern, es sei denn, der Anbieter selbst will reagieren, indem er etwa einen Safe-Modus bereitstellt. Dann können wir über das Nameserver-Verfahren rückmelden: „Hallo, hier ist ein Kind unterwegs. Schalte bitte in den Safe-Modus.“ Und genau das machen wir bereits bei Google, YouTube, Bing, Yahoo! u. a. Aber wenn die Website selbst keinen Safe-Modus anbietet, kann JusProgDNS nur sagen: „geht“ oder „geht nicht“.

Perspektivisch könnte es also sein, dass es von bestimmten Webseiten Kinderversionen gibt, deren Adresse man mit age.xml hinterlegen kann. Wenn ein Kind dann die Erwachsenenversion aufruft, wird automatisch die Kinderversion angeboten?

So ungefähr. Damit es noch leichter geht, bauen wir derzeit für WordPress, das mittlerweile bei knapp der Hälfte der Webseiten weltweit eingesetzte Betriebssystem, ein kostenfreies Plug-in, mit dem auch Menschen, die von Technik wenig Ahnung und auch kein Geld für die Programmierung haben, es einfach installieren und ihre Website in den Safe-Modus setzen können. Eine solch einfache Lösung wird häufiger nachgefragt, z. B. von Sexarbeiterinnen oder Sexarbeitern, die Webseiten betreiben und Kinder vor diesen schützen wollen.

Wie beurteilst Du den Betriebssystemansatz der Länder? Ist die Idee technisch realisierbar und ist sie sinnvoll?

Es kommt immer auf das Detail an, aber der Grundansatz ist realisierbar. Ein Betriebssystem kann Daten bereitstellen, z. B. eine Altersstufe, und Apps können diese Daten auslesen. Das ist technisch machbar. Wie viel Aufwand die Umsetzung erfordert, hängt von der App ab. Man muss sich auch fragen, ob man dies deutschen Anbietern zumuten möchte. Schließlich gibt es kaum problembelastete deutsche Apps und die deutschen Inhalteanbieter nutzen und entwickeln bereits die verschiedensten Jugendschutzfunktionalitäten und sind eigentlich nicht diejenigen, die der Gesetzgeber hier adressieren muss. Die größten von Kindern genutzten Apps haben ihren Unternehmenssitz im Ausland. Es geht eher darum, möglichst einfache Maßnahmen für diese Anbieter zu ermöglichen und sie zu einer freiwilligen Umsetzung zu motivieren.
 

Jugendschutz muss möglichst weltweit, aber mindestens europäisch gedacht werden.

Bei der Frage nach dem Sinn muss man vor allem sehen: Der Ansatz zielt auf Apps, wir haben damit noch keine Lösung für das freie Internet. Wenn man aber die Inhalte betrachtet, die Eltern berechtigterweise Sorgen machen – z. B. Pornografie, Gewaltvideos oder die Verherrlichung von Magersucht –, dann stellt man fest, dass diese wirklich relevanten Themen nicht in Apps, sondern im freien Internet stattfinden. Wir dürfen die Eltern daher auch nicht mit einer vermeintlich einfachen Jugendschutzlösung in falscher Sicherheit wiegen. Die wirklich harten Inhalte finden sich alle auf Webseiten. Ebenso wie eine reine Browser-Lösung ist also auch eine allein auf Apps bezogene Lösung nicht hinreichend. Es macht ja keinen Sinn, wenn eine Video- oder Social-Media-App blockiert wird, die Seite über den Browser aber problemlos aufgerufen werden kann – dafür brauchen wir dann doch wieder ein Jugendschutzprogramm. Ob Aufwand und Nutzen bei dem Ansatz im Verhältnis stehen, ist also fraglich. Und auch bei dem neuen Ansatz ist ein wirksamer Schutz der Kinder und Jugendlichen ohne ein anerkanntes Jugendschutzprogramm wie JusProg nicht erreichbar.

Sind technische Jugendschutzlösungen auchfür die sozialen Netzwerke denkbar, die mit herkömmlichen Mitteln nicht zu greifen sind?

Es könnte ein Ansatz sein, dass die sozialen Netzwerke Informationen darüber erhalten, was die Eltern erlauben und was nicht – und dies entsprechend umsetzen. Eltern könnten beispielsweise der Registrierung in einem sozialen Netzwerk zustimmen, was die EU-Datenschutzgesetze bereits fordern, ein öffentliches Profil, individualisierte Werbung oder Videos ab 16 Jahren für ihr Kind aber ablehnen. Das EU-geförderte Projekt „euCONSENT“ arbeitet an dieser Kernidee, dass Altersverifikation und elterliche Zustimmung, man nennt es Parental Consent, vereinfacht und zwischen den Anbietern übertragbar werden. Eine Prüfung, ob Eltern tatsächlich zu einem Kind gehören oder zumindest alt genug für eine Elternschaft sind, erfolgt nur einmalig und muss nicht bei jeder Webseite wiederholt werden. Diese Lösung arbeitet ohne eine in Sachen Datenschutz problematische zentrale Datenbank, sondern komplett dezentral. JusProg ist einer der Projektpartner von „euCONSENT“ und genau für dieses Themenfeld zuständig. Ein anderer Ansatz wäre, auch für soziale Medien einen Safe-Modus vorzusehen, innerhalb dessen verschiedene Risiken gar nicht erst vorkommen. Dieser könnte dann wieder über age.xml gesteuert und von Jugendschutzprogrammen aktiviert werden, ohne dass Eltern in jedem Einzelfall Einstellungen bei der Webseite, der App oder auf dem persönlichen Endgerät des Kindes vornehmen müssten.

Gibt es etwas aus dem EU-Projekt, das wir für unsere Regulierung in Deutschland lernen können?

Mehrere Dinge. Erstens: Jugendschutz muss möglichst weltweit, aber mindestens europäisch gedacht werden. Zweitens: Mit Freiwilligkeit und wirtschaftlichen Anreizen geht unglaublich viel. Wenn etwas europaweit oder gar weltweit gilt, ist die Bereitschaft sehr viel höher, Dinge zu implementieren, die es den Nutzerinnen und Nutzern leichter machen. Und drittens: Mitunter ist weniger mehr. Eine deutsche Insellösung wird nicht viel Verbreitung finden. Ein System, das aus deutscher Sicht vielleicht nicht perfekt ist, aber dafür breit installiert wird, schafft in der Summe viel mehr Jugendschutz.