Un reciente informe del Stanford Internet Observatory ha desvelado un hallazgo alarmante: miles de imágenes de abuso sexual infantil se han identificado en el conjunto de datos LAION-5B, utilizado en el entrenamiento de generadores de imágenes de inteligencia artificial como Stable Diffusion de Stability AI.

Este descubrimiento plantea graves preocupaciones sobre la posibilidad de que estas herramientas de IA generen contenido dañino, poniendo en tela de juicio la seguridad y la ética en el uso de tales tecnologías. Ante esta situación, LAION, la entidad que gestiona el conjunto de datos, ha retirado temporalmente los conjuntos involucrados para su revisión.

Investigadores del observatorio, en colaboración con el Centro Canadiense de Protección Infantil, inspeccionaron unas 5.8 mil millones de imágenes del índice de LAION, encontrando más de 3,200 imágenes sospechosas de contener abuso sexual infantil, de las cuales aproximadamente 1,000 han sido confirmadas por fuentes externas.

Este caso resalta una debilidad crítica en el rápido y competitivo desarrollo de proyectos de IA generativa, donde la meticulosidad en excluir contenido perjudicial ha sido insuficiente. Además, se reporta la preocupante transformación de fotos de adolescentes en redes sociales en imágenes desnudas y la creación de representaciones explícitas de menores.

Con el objetivo de erradicar este contenido inapropiado, se han pedido acciones para limpiar o eliminar los modelos de IA entrenados con datos de LAION-5B y prevenir la distribución de versiones problemáticas de Stable Diffusion.

Entidades como Hugging Face y CivitAI también están siendo examinadas para mejorar sus prácticas y controles de seguridad. Stability AI, creador de Stable Diffusion, ha utilizado LAION-5B en su entrenamiento, lo que incrementa las preocupaciones sobre el mal uso potencial de sus modelos. La compañía asegura que aloja versiones filtradas de Stable Diffusion y ha tomado medidas para mitigar riesgos.

Como respuesta al informe, se resalta la importancia de mejorar los filtros para detectar y eliminar contenido ilegal. OpenAI, creador de DALL-E y ChatGPT, afirma no usar LAION y ha adaptado sus modelos para rechazar solicitudes con contenido sexual involucrando menores. Google, por su parte, optó por no publicar su modelo Imagen tras encontrar contenido inapropiado en datos de LAION.

El informe de Stanford también cuestiona el uso de imágenes de niños sin consentimiento familiar, incluso en contextos inocuos. Las autoridades reguladoras de EE. UU. han instado al Congreso a investigar el impacto de la IA en la explotación infantil y prohibir la creación de material de abuso infantil generado por IA (CSAM).

Este preocupante hallazgo enfatiza la urgente necesidad de establecer protocolos más estrictos y una colaboración efectiva entre desarrolladores, expertos en seguridad infantil y autoridades para prevenir la proliferación de contenido dañino y asegurar un uso responsable de la inteligencia artificial.