Estudio preliminar
Entre algoritmos, chatbots y deepfakes: protección, participación y educación para niños y jóvenes
El chatbot explica el problema matemático, el algoritmo inserta el vídeo de un influencer en el feed, el asistente de voz reproduce la canción favorita a petición: la inteligencia artificial lleva mucho tiempo dando forma a la vida de los niños y jóvenes, en cada vez más ámbitos de la vida y a una velocidad sin precedentes.
La protección infantil corre el riesgo de quedar relegada a un segundo plano: las leyes y directrices no logran mantenerse al día. Los conocimientos técnicos y los contenidos educativos deben revisarse continuamente. Y las grandes empresas tecnológicas, en particular, han estado transfiriendo su responsabilidad a políticos, padres y maestros.
¿Cómo pueden los niños crecer de forma segura e independiente con la inteligencia artificial?
Terre des Hommes y Aldeas Infantiles SOS Worldwide encargaron conjuntamente el estudio preliminar "Crecer de forma segura con IA" y resumieron los resultados en un breve folleto. El folleto explica:
- Dónde residen las mayores oportunidades y los mayores riesgos de la inteligencia artificial para los niños.
- ¿Qué leyes y directrices protegen los derechos de los niños y jóvenes?.
- Dónde existen lagunas en materia de conocimiento y protección, y cómo la política, las empresas, la investigación y la sociedad civil pueden subsanarlas.
Nuestras demandas
Los riesgos que plantea la IA son un problema social que requiere soluciones sociales. Terre des Hommes y Aldeas Infantiles SOS de todo el mundo han identificado cuatro áreas clave de acción a través de las cuales los responsables políticos, las empresas, los padres y los educadores pueden lograr que la interacción de los niños con la IA sea más segura y les permita desarrollar un mayor empoderamiento:
Las empresas tecnológicas son las que más influyen en la seguridad con la que los niños y los jóvenes navegan por internet.
Exigimos que las empresas tecnológicas:
- Las empresas deben analizar el impacto de sus herramientas de IA en niños y jóvenes e implementar medidas de protección adecuadas, como la seguridad desde el diseño. Esto incluye, entre otras cosas, evaluaciones del impacto en los derechos de los niños, configuraciones predeterminadas apropiadas para la edad y una estricta minimización del uso de datos.
- Implementar medidas de protección eficaces contra el abuso y verificar de forma rigurosa la información sobre la edad. Esto incluye acciones específicas contra el contenido sexualizado generado por IA y las falsificaciones profundas (deepfakes) de niños y jóvenes , mediante medidas técnicas que impidan la creación de dicho contenido y mecanismos eficaces de denuncia y eliminación.
- Comprométete a no utilizar patrones de diseño manipuladores y adictivos (por ejemplo, bucles de uso infinitos, mecanismos de recompensa variables, interacciones deliberadamente humanizadas ) que busquen el mayor tiempo de permanencia posible en lugar del bienestar de los usuarios.
- Etiquete de forma clara y comprensible el contenido generado por IA para que los niños y jóvenes puedan reconocer si están interactuando con una máquina, con imágenes/vídeos generados por IA o con personas y contenido reales.
Padres y educadores se enfrentan al reto de guiar a niños y jóvenes en un mundo que cambia rápidamente debido a la IA, y que además es nuevo para ellos. Las universidades, las instituciones educativas y los centros de investigación desempeñan un papel fundamental en este sentido.
Hacemos un llamamiento al Gobierno Federal para que proporcione financiación suficiente para los estudios y proyectos pertinentes de las universidades, instituciones educativas y de investigación, de modo que:
- Pueden elaborar directrices prácticas a partir de sus hallazgos científicos para ayudar a orientar a niños y jóvenes, a sus padres o cuidadores y al personal educativo en el manejo crítico de la IA.
- Investigar de forma continua e independiente los efectos a largo plazo del uso de la IA, especialmente los chatbots de acompañamiento y los sistemas de recomendación personalizados, en el desarrollo psicológico y social de niños y adolescentes, y hacer públicos los resultados.
- La formación en habilidades de inteligencia artificial puede desarrollarse de forma adecuada a la edad, directamente para niños y jóvenes , no solo como una oferta para padres y profesionales, sino como un conocimiento independiente y comprensible para los propios jóvenes.
- Se puede empoderar a padres, educadores y otros cuidadores, por ejemplo, mediante la promoción de programas de capacitación en habilidades de IA. Además, el gobierno debería facilitar un diálogo continuo entre las autoridades reguladoras, la sociedad civil, las instituciones de investigación y la industria.
Necesitamos leyes que protejan los derechos de los niños y jóvenes y que establezcan regulaciones claras para las empresas tecnológicas, de modo que estas puedan cumplir con sus responsabilidades.
Por lo tanto, exigimos a los gobiernos:
- para garantizar que se apliquen las leyes existentes y complementarlas cuando aún no se hayan contemplado los nuevos riesgos derivados de la IA, por ejemplo, mediante normas vinculantes para los chatbots de acompañamiento, una verificación de edad eficaz en lugar de una mera autodeclaración y la aplicación coherente de las obligaciones de transparencia de la Ley de IA de la UE a los menores.
- Hacer obligatorias las evaluaciones del impacto en los derechos del niño para los sistemas de IA.
- Crear o fortalecer organismos de supervisión independientes con facultades efectivas de auditoría y sanción que controlen de forma regular y pública el cumplimiento de la normativa es fundamental, ya que sin consecuencias reales, la normativa sigue siendo ineficaz.
- Garantizar la participación de niños, niñas y jóvenes en los procesos de toma de decisiones políticas relativas a la IA.
- Reconocer a los niños y jóvenes como usuarios independientes de la IA.
- Abogar por normas mínimas acordadas internacionalmente y garantizar que las medidas de protección se apliquen no solo en los mercados individuales, sino también a los niños del Sur Global, donde la supervisión y la aplicación de la ley suelen ser más débiles.
Los niños y jóvenes son los expertos en sus propias vidas. La protección por sí sola no basta: los jóvenes deben ser tomados en serio como personas jurídicas y participar activamente en la configuración de su futuro digital.
Exigimos que la política, la ciencia y las empresas trabajen juntas:
- Involucrar de forma sistemática y adecuada a la edad de los niños y jóvenes en el desarrollo, las pruebas y la evaluación de los sistemas de IA y la regulación de la IA; por ejemplo, a través de consejos asesores juveniles, consultas y formatos de estudio participativos, como ya constituyó la base del estudio preliminar.
- Garantizar que las perspectivas de los niños especialmente vulnerables —como los niños tutelados, los niños con discapacidades o los refugiados— se tengan en cuenta específicamente en estos procesos.
- Proporcionar formatos de información comprensibles y adecuados a la edad sobre los sistemas de IA para que los jóvenes puedan exigir sus derechos en el espacio digital.
Leer más:
"Los niños no crecen junto a la IA, sino con ella. Necesitamos seguridad desde el diseño, verificación de edad genuina y la participación sistemática de los niños en las decisiones de la IA. Ahora."