„Der Mensch steht am Anfang und am Ende der Bewertung!“

Der Modellversuch zur Zertifizierung von automatisierten Bewertungssystemen (ABS) ist nun abgeschlossen. Bevor wir auf die Ergebnisse und die daraus gewonnenen Kriterien für künftige Zertifizierungen eingehen: Was versteht man unter einem ABS und ist jedes ABS auch ein KI-System?

Mit einem ABS ist Software gemeint, die audiovisuelle Inhalte analysiert, jugendschutzrelevante Szenen erkennt, markiert und je nach System kategorisiert oder teils sogar Altersbewertungsvorschläge macht. In den meisten Fällen werden solche ABS in Unternehmen zur Unterstützung der Jugendschutzbeauftragten eingesetzt.

Und: Nein, nicht jedes ABS muss eine KI sein. In der Praxis ist heute zwar vieles KI-gestützt, aber ein komplexes regelbasiertes System mit Wortlisten und Schwellwerten wäre ebenfalls ein ABS. Uns interessiert, was am Ende herauskommt, und nicht, welches Etikett vorne aufgeklebt ist. Dementsprechend haben wir die Kriterien im Modellversuch bewusst technikneutral gehalten.

Welche Ziele verfolgte der Modellversuch?

In erster Linie sollte es um die Entwicklung eines strukturierten und wiederholbaren Verfahrens zur Anerkennung von ABS gehen. Diese Anerkennung soll der Nachweis sein, dass die Qualität von ABS und ihre Zielorientierung am Jugendmedienschutz-Staatsvertrag (JMStV) gewährleistet sind. Sie ist eine Unterstützung von Anbietern und ihren Jugendschutzbeauftragten beim verantwortungsvollen Einsatz solch automatisierter Systeme und damit auch ein Vertrauenssiegel nach außen.
 

Es geht also nicht darum, die spannende neue Technologie auszubremsen, sondern sie in geregelten Bahnen anzuwenden, um das Schutzniveau, das der JMStV vorgibt, zu halten.

Warum ist es aus Ihrer Sicht wichtig, jetzt Maßstäbe für den Einsatz solcher Systeme zu entwickeln?

Weil die Systeme längst im Einsatz sind, mit oder ohne Anerkennung. Ohne gute Maßstäbe riskiert der Jugendmedienschutz, dass schwache Tools z. B. mit schlechter Erkennung und ohne echte menschliche Kontrolle die Jugendschutzbewertungen in Unternehmen prägen. Das wäre für den Jugendschutz selbst und seine Akzeptanz mittelfristig ein gravierendes Problem. Das Anerkennungsverfahren kann Anbietern insoweit mehr Professionalität garantieren und gleichzeitig den Selbstkontrollen und der Jugendschutzaufsicht die Gewissheit geben, dass nur Systeme zum Einsatz kommen, die etwas taugen und fachkundig bedient werden. Es geht also nicht darum, die spannende neue Technologie auszubremsen, sondern sie in geregelten Bahnen anzuwenden, um das Schutzniveau, das der JMStV vorgibt, zu halten.

Was war Ihnen bei der Erarbeitung und Erprobung des Verfahrens besonders wichtig?

Wir haben zunächst Prüfkriterien für ein ABS-Prüfverfahren entwickelt, das strukturiert und wiederholbar ist. Dann haben wir die Prüfkriterien auf ein System angewandt. Uns war wichtig, das Verfahren nicht am Reißbrett zu entwerfen, sondern mit einem System, das produktiv im Unternehmenseinsatz läuft. Aus dieser Erfahrung heraus haben wir die Prüfkriterien weiter optimiert und konnten zum Ende des Modellversuchs Empfehlungen für mögliche zukünftige Regelverfahren ableiten.

Wie war der Modellversuch aufgebaut?

Unsere Untersuchung lief von Januar bis Juli 2026 und hatte drei Phasen: Zuerst haben wir die Prüfkriterien entwickelt, die dann – wie gerade beschrieben – an einem Pilotsystem erprobt und nachgeschärft wurden. Zuletzt haben wir die Ergebnisse gebündelt und in einem Bericht festgehalten. Die Konzeptions- und Prüfarbeit lag bei einer interdisziplinären Pilotgruppe aus KI-Technik (Oksana Arnold), KI-Recht (Stephan Dreyer) und KI-Ethik (Judith Simon). Ein sechsköpfiges FSF-Prüfteam führte parallel dazu die qualitative Stichprobe durch, um die Übereinstimmung der Entscheidungen des Pilotsystems mit der menschlichen Prüfpraxis der FSF abzugleichen. Begleitet wurde der Modellversuch von einer Expert:innengruppe bestehend aus Fachleuten der KJM, der Bundeszentrale für Kinder- und Jugendmedienschutz (BzKJ), der Medienanstalt Berlin-Brandenburg (mabb) sowie der Landesanstalt für Medien Nordrhein-Westfalen (LfM). RTL Deutschland hat sein System Merm:ai:d für die Pilotprüfung zur Verfügung gestellt, die FSF-Geschäftsstelle hat das Projekt koordiniert.

Wie lief denn die Zusammenarbeit zwischen Technik-, Rechts- und Ethikexpert:innen ab?

Nach meinem Eindruck erstaunlich reibungslos, weil sich die drei Perspektiven gut ergänzt haben. Die Technikperspektive hatte einen guten Blick auf Funktion, Performanz und Einbettung von ABS, die juristische Perspektive sicherte den Zuschnitt der Prüfkriterien auf eine Orientierung am JMStV und der Ethik-Blick war gerichtet auf Themen wie Automation Bias, Overblocking und die Funktion der menschlichen Entscheider in diesen hybriden Entscheidungsarchitekturen. Die unterschiedlichen Perspektiven ließen sich in der Gruppe gut integrieren, und das über mehrere Sitzungen hinweg und auch im direkten Dialog mit RTL Deutschland, das ja, wie schon erwähnt, sein Pilotsystem zur Verfügung gestellt hatte. 

Welche Fragestellungen wurden in diesen Sitzungen besonders intensiv diskutiert?

Es gab drei Dauerbrenner in den Sitzungen. Die erste wichtige Frage war, wie ein gutes Verfahren mit den unterschiedlichen Autonomiegraden von ABS umgehen kann. Es muss für den Prüfmaßstab einen Unterschied machen, ob ein System den Jugendschutzbeauftragten nur assistiert, oder ob ein ABS eigenständige Bewertungsentscheidungen trifft, die das Unternehmen dann mehr oder weniger unbesehen übernimmt. Außerdem mussten wir klären, wie wir mit Fällen umgehen, in denen ein ABS vom Anbieter bewusst strenger konfiguriert wird, um keine jugendschutzrelevanten Inhalte zu übersehen – die schützen dann zwar besser, produzieren aber auch Artefakte, die aus Jugendschutzsicht nicht oder kaum relevant sind. Und in einem dritten Schwerpunkt ging es darum, wie man die Erklärbarkeit von Systementscheidungen gewährleisten kann. Das waren gute Diskussionen!
 

Die Expert:innengruppe Jugendmedienschutz begleitete den Modellversuch. Gab es hier strittige Punkte zu der Einschätzung von ABS?

Ich habe die Sitzungen mit den Expertinnen und Experten als engen und kontinuierlichen Austausch wahrgenommen – da gab es konstruktive Rückfragen und Anmerkungen, aber keine offenen Zerwürfnisse. Ein Beispiel dafür war die Frage, wie streng eine technische Prüfung sein muss, wenn am Ende doch stets ein Mensch entscheidet?

Nach welchen Kriterien wird denn beurteilt, ob ein automatisiertes Bewertungssystem geeignet ist, wenn am Ende nicht nur die Technik zählt?

Das entwickelte Anerkennungsverfahren sieht eine Prüfung in drei Säulen vor. Zunächst wird auf die Technik geschaut: Kann das System die gewünschte Funktion erfüllen, wie gut erkennt es relevante Inhalte, wie gut war das Training der Entscheidungsmodelle, wie nachvollziehbar sind die Bewertungsentscheidungen? In einem zweiten Schritt erfolgt anhand einer Stichprobe der Abgleich der Systembewertungen mit menschlichen Jugendschutzentscheidungen: Stimmen die Systembewertungen mit der JMStV-Spruchpraxis überein, gibt es blinde Flecken, können Jugendschutzbeauftragte den Systemoutput gut erfassen und interpretieren? Die dritte Säule der Prüfung blickt auf die Einbettung des ABS in die Organisation: Sind die Systembewertungen so in Unternehmensprozesse und menschliche Entscheidungen integriert, dass Artefakte aufgefangen werden und die Entscheidungsqualität gesichert ist? Sind die menschlichen Entscheider hinreichend mit dem System und seinen Eigenheiten vertraut, existieren Verfahren, um Auffälligkeiten zu erkennen und das ABS zu optimieren? 

Insgesamt besteht die Prüfung aus 16 Einzelkriterien, verteilt über die drei Säulen. Der Kniff ist ein gleitender Maßstab: Je autonomer ein System entscheidet, desto detaillierter fällt die Technikprüfung aus. Je stärker der Mensch am Ende entscheidet, desto wichtiger ist die Einbettung des Systems in die Governanceprozesse.
 

Je eigenständiger ein System final entscheidet, desto mehr müsste es seine Gründe von sich aus liefern. 

Wie wichtig sind Transparenz und Nachvollziehbarkeit eines KI-Systems, wenn der Grad der Autonomie eine Rolle spielt? Oder anders gefragt: Wie wichtig ist die Einbindung menschlicher Expertise in den Bewertungsprozess?

Das sind zwei Seiten derselben Medaille. Transparenz heißt bei einem assistierenden System: Die Jugendschutzbeauftragten müssen am Originalmaterial nachvollziehen können, warum das System eine Szene markiert hat. Der Mensch steht so am Anfang und am Ende der Bewertung, er trifft die Letztentscheidung und muss der Systemeinschätzung auch widersprechen können. Hier gilt: Je eigenständiger ein System final entscheidet, desto mehr müsste es seine Gründe von sich aus liefern. Dort steigen die Anforderungen an die Erklärbarkeit bzw. Nachvollziehbarkeit also deutlich.

Nun ist der Modellversuch abgeschlossen. Konnten die Zielsetzungen dieses Parallelverfahrens erreicht werden? 

Ja, auf beiden Ebenen. Wir haben mit dem Blick auf sehr unterschiedliche Ausgestaltungen von ABS ein flexibles Prüfverfahren entwickelt, das den ersten Praxistest bestanden hat. Merm:ai:d wurde im Rahmen der Pilotprüfung anerkannt, das System hat 15 von 16 Kriterien erfüllt, eins mit Auflage. Die Auflage ist übrigens recht unspektakulär: RTL muss einen nachhaltigen Austauschkanal mit der FSF etablieren, damit das System etwaige Änderungen oder Entwicklungen in der JMStV-Spruchpraxis berücksichtigen kann. Empfohlen wurde eine Anerkennung, zunächst befristet auf zwei Jahre.

Gab es Erkenntnisse im Modellversuch, die Sie überrascht haben?

Ich fand interessant, dass der Output von ABS nicht einfach übernommen werden kann, sondern von einer Expertin bzw. einem Experten mit Jugendschutzfachwissen gesichtet und interpretiert werden muss. Genau deshalb bleibt die menschliche Expertise auch beim Einsatz von ABS bislang unverzichtbar. Fast witzig fand ich einige sehr menschliche Macken von KI-Modellen: Da bewertet ein System Emotionen in Gesichtern auf einmal übermäßig stark, sieht vermeintliche Nacktheit, wo keine ist, oder wird bei Feuer und Explosionen mit Blick auf den Jugendschutz nervös. Wenn ein System Schlimmstes vermutet, weil auf der Tonebene gesagt wird „Ich will Sie nicht länger auf die Folter spannen“ – das ist auch amüsant. In solchen Fällen fand ich es beruhigend, zu sehen, dass die Letztentscheidungen der Jugendschutzbeauftragten von RTL hier von den Systemvorschlägen abgewichen sind.

Gibt es Mindestanforderungen für ein ABS, um zur Zertifizierung zugelassen zu werden?

Eine klare harte Untergrenze ist sicherlich ein systematisches, nicht durch menschliche Entscheidungen kompensiertes Unterbewerten relevanter Inhalte. Auch wenn ein System mit seinen Altersbewertungen kategorisch mehr als eine Altersstufe daneben liegt, wird es keine Anerkennung erhalten können. Leichtere Schwächen lassen sich dagegen durch eine entsprechend starke menschliche Kontrolle auffangen. Auch ein als „streng“ konfiguriertes System ist kein Ausschlussgrund, dort verlagert sich die Anforderung auf den Menschen, der diese übermäßige Strenge kennen und in der Letztentscheidung reflektieren muss.

Was hat der Modellversuch am Ende gezeigt?

Das zentrale Ergebnis ist, dass man mit gut konzipierten Prüfkriterien eine valide Aussage über die Qualität eines automatisierten Bewertungssystems und seine Einbettung in Unternehmensverfahren treffen kann. Wir konnten mit dem Pilotverfahren zeigen, dass so ein Nachweis der Mindestanforderungen an die Performanz des Systems, der Qualität der Bewertungsentscheidungen sowie der menschlichen Begleitung und Letztentscheidung möglich und nachvollziehbar ist. Die Qualität menschlicher Prüfpraxis lässt sich also auf Systeme übertragen – aber nur, wenn man Technik, Verfahren und Menschen zusammen prüft. Das Verfahren ist also deutlich mehr als eine technische Prüfung, es begreift ein ABS als soziotechnisches Gesamtsystem.
 

Mit gut konzipierten Prüfkriterien kann man eine valide Aussage über die Qualität eines automatisierten Bewertungssystems und seine Einbettung in Unternehmensverfahren treffen.

Wird künftig trotzdem die KI Jugendschutzentscheidungen treffen?

Das mag mit Blick auf die Technik immer erwartbarer werden, aus Unternehmenssicht sind die gesetzlichen Haftungsrisiken einer Fehlbewertung aber hoch. Es gilt im JMStV nach wie vor der Grundsatz der Anbieterverantwortung. Ich gehe daher nicht davon aus, dass die Unternehmen einem ABS totale Entscheidungsfreiheit geben werden, die finale Bewertung wird auf absehbare Zeit beim Menschen bleiben. Was wir sehen werden, ist der zunehmende Einsatz von ABS zur Unterstützung von Jugendschutzbeauftragten – und dann insbesondere dort, wo es um Inhalte mit geringer Jugendschutzrelevanz geht.

Das bedeutet, dass sich die Arbeit von Jugendschutzbeauftragten verändern wird?

Ja, aber in einer guten Art und Weise: ABS können erhebliche Entlastung bei „Brot-und-Butter“-Inhalten bringen, man kann sich dann auf die schwierigeren Inhalte und Bewertungen konzentrieren. Zudem verschiebt oder besser erweitert sich die nötige Fachkunde von Jugendschutzbeauftragten. Sie muss nicht mehr nur die jugendschutzrechtliche Bewertung, sondern auch die Kenntnis und Bedienung des ABS umfassen: Stärken, blinde Flecken und die Fähigkeit, die Ausgaben kritisch zu lesen und ihnen – wo nötig – zu widersprechen.

Was kann eine erfolgreiche Zertifizierung für Medienanbieter künftig leisten?

Die Anerkennung ist der Nachweis, dass das System an den JMStV-Zielen ausgerichtet, ausreichend zuverlässig und fachkundig eingebettet ist. In einem Aufsichtsverfahren kann das als qualifiziertes Indiz für Anbietersorgfalt wirken. Die Anerkennung kann aber nicht die Anbieterverantwortung ersetzen, die bleibt zu hundert Prozent bestehen. Und eine förmliche Bindungswirkung gegenüber der KJM-Aufsicht entfaltet sie nach derzeitiger Rechtslage auch nicht.

Braucht es dafür noch einen klareren rechtlichen Rahmen?

Wir wissen ja seit Längerem, dass der JMStV sich mit der Einbindung von KI-Systemen in seinen Anwendungsbereich schwertut. Im Bereich von unternehmensintern genutzten ABS kann man an den Fachkundebegriff des § 7 Abs. 5 JMStV anknüpfen, ein Verstoß dagegen ist aber nicht sanktionsbewehrt. Wenn wir einen Anreiz für die Durchführung von ABS-Anerkennungen schaffen wollen, dann wird das z. B. über Privilegierungstatbestände funktionieren. Jede Privilegierung von Systemen aber braucht eine ausdrückliche, bestimmte Norm. Im Endbericht schlagen wir daher Szenarien für Änderungen im JMStV vor, die eine bessere gesetzliche Grundlage schaffen können.
 

Die Anerkennung ist der Nachweis, dass das System an den JMStV-Zielen ausgerichtet, ausreichend zuverlässig und fachkundig eingebettet ist.

Zum Abschluss vielleicht noch ein Blick nach vorn.Wo sehen Sie automatisierte Bewertungssysteme in fünf Jahren?

Meine persönliche Einschätzung: Ich erwarte, dass ABS bei vielen Anbietern zum Standardwerkzeug der Vorbewertung werden wird und wir dann ein eingeübtes Anerkennungsverfahren haben. Ein Register anerkannter Systeme wird zeigen, wie der Stand der Technik und die ABS-Einbettung aussieht. Die spannendste Bruchlinie wird die Autonomie sein: Sobald ein ABS allein entscheidet, wird die technische Prüfsäule dominant, für rein technische Mindestanforderungen und Vergleichbarkeit brauchen wir bis dahin einen unabhängigen Benchmark-Korpus als neutrale Messlatte. Was ich nicht vorausahnen kann, ist, ob durch die Automatisierung der Bewertungsentscheidungen das Vertrauen der Menschen in Alterskennzeichen wächst oder erodiert. Um Vertrauensverlust zu verhindern, brauchen wir aber sicherlich gute Anerkennungsverfahren!