Sicher mit KI aufwachsen

Technologieunternehmen haben den größten Einfluss darauf, wie sicher sich Kinder und Jugendliche durchs Netz bewegen. 

Wir fordern, dass Tech-Firmen:

• die Auswirkungen ihrer KI-Tools auf Kinder und Jugendliche überprüfen und entsprechende Schutzmaßnahmen wie Safety-by-Design ergreifen. Das beinhaltet unter anderem kinderrechtliche Folgenabschätzungen, altersgerechte Standardeinstellungen und strikte Minimierung der Datennutzung.
• wirksame Schutzmaßnahmen gegen Missbrauch implementieren und Altersangaben wirklich überprüfen. Dazu zählt ein gezieltes Vorgehen gegen KI-generierte sexualisierte Inhalte und Deepfakes von Kindern und Jugendlichen – durch technische Schutzvorkehrungen gegen die Erstellung solcher Inhalte und wirksame Melde- und Löschmechanismen.
• sich dazu verpflichten, manipulative und suchtfördernde Gestaltungsmuster nicht zu nutzen (z. B. endlose Nutzungsschleifen, variable Belohnungsmechanismen, gezielt vermenschlichte Interaktionen), die auf eine möglichst lange Verweildauer statt auf das Wohl der Nutzer*innen abzielen.
• KI-generierte Inhalte klar und verständlich kennzeichnen, damit Kinder und Jugendliche erkennen können, ob sie mit einer Maschine, mit KI-generierten Bildern/Videos oder mit echten Personen und Inhalten interagieren.

Eltern und Pädagog:innen stehen vor der Herausforderung, Kinder und Jugendliche in einer Welt zu begleiten, die sich durch KI rasant verändert – und die auch für sie selbst neu ist. Hier spielen Universitäten, Bildungs- und Forschungseinrichtungen eine zentrale Rolle. 

Wir fordern die Bundesregierung dazu auf, entsprechende Studien und Projekte von Universitäten, Bildungs- und Forschungseinrichtungen ausreichend zu finanzieren, damit diese:

• aus ihren wissenschaftlichen Erkenntnissen handlungsorientierte Leitlinien erarbeiten können, die helfen, Kinder und Jugendliche und ihre Eltern oder Bezugspersonen und pädagogisches Personal beim kritischen Umgang mit KI zu begleiten.
• die langfristigen Auswirkungen von KI-Nutzung – insbesondere von Companion-Chatbots und personalisierten Empfehlungssystemen – auf die psychische und soziale Entwicklung von Kindern und Jugendlichen kontinuierlich und unabhängig erforschen und die Ergebnisse öffentlich zugänglich machen können.
• KI-Kompetenzvermittlung altersgerecht direkt für Kinder und Jugendliche entwickeln können – nicht nur als Angebot für Eltern und Fachkräfte, sondern als eigenständiges, verständliches Wissen für junge Menschen selbst.
• Eltern, Pädagog:innen und andere Betreuungspersonen stärken können, bspw. durch die Förderung von KI-Kompetenz-Programmen und Fortbildungen. Zudem sollte die Regierung einen dauerhaften Austausch zwischen Regulierungsbehörden, Zivilgesellschaft, Forschung und Industrie ermöglichen.

Wir brauchen Gesetze, die die Rechte von Kindern und Jugendlichen schützen und für Tech-Firmen klare Regelungen schaffen, damit Unternehmen ihrer  Verantwortung gerecht werden.

Deshalb fordern wir von den Regierungen:

• sicherzustellen, dass bestehende Gesetze umgesetzt werden – und diese dort zu ergänzen, wo neue Risiken durch KI bislang nicht abgedeckt sind, etwa durch verbindliche Regeln für Companion-Chatbots, wirksame Altersverifikation statt reiner Selbstauskunft und die konsequente Anwendung der Transparenzpflichten des EU AI Act auf Minderjährige.
• kinderrechtliche Folgenabschätzungen für KI-Systeme verpflichtend einzuführen.
• unabhängige Aufsichtsstellen mit wirksamen Prüf- und Sanktionsbefugnissen zu schaffen bzw. zu stärken, die die Einhaltung der Vorgaben regelmäßig und öffentlich überprüfen – ohne echte Konsequenzen bleiben Vorschriften wirkungslos.
• die Teilhabe von Kindern und Jugendlichen an politischen Entscheidungsprozessen rund um KI sicherzustellen.
• Kinder und Jugendliche als eigenständige KI-Nutzer*innen anzuerkennen.
• sich für international abgestimmte Mindeststandards einzusetzen und sicherzustellen, dass Schutzmaßnahmen nicht nur in einzelnen Märkten, sondern auch für Kinder im Globalen Süden gelten, wo Aufsicht und Durchsetzung oft schwächer ausgeprägt sind.

Kinder und Jugendliche sind die Expert:innen ihrer eigenen Lebenswelt. Schutz allein reicht nicht: Junge Menschen müssen als Rechtsträger*innen ernst genommen und aktiv an der Gestaltung ihrer digitalen Zukunft beteiligt werden.

Wir fordern, dass Politik, Wissenschaft und Unternehmen gemeinsam:

• Kinder und Jugendliche systematisch und alters­gerecht an der Entwicklung, Erprobung und Bewertung von KI-Systemen und KI-Regulierung beteiligen – etwa durch Jugendbeiräte, Konsultationen und partizipative Studienformate, wie sie bereits der Vorstudie zugrunde lagen.
• sicherstellen, dass die Perspektiven besonders vulnerabler Kinder – etwa Kinder in Betreuungsverhältnissen, mit Behinderung oder auf der Flucht – in diesen Prozessen eigens berücksichtigt werden.
• verständliche, altersgerechte Informationsformate über KI-Systeme bereitstellen, damit junge Menschen ihre Rechte im digitalen Raum tatsächlich einfordern können.