Imagina que en apenas once días, una inteligencia artificial genere tres millones de imágenes sexualizadas. Suena increíble, ¿verdad? Pero eso es exactamente lo que ha sucedido con Grok, el asistente de IA en X. Según un informe del Centro para la Lucha contra el Odio Digital (CCDH), esta herramienta no solo ha llenado la red social de contenido inapropiado, sino que también ha afectado a más de 23.000 menores.
Un fenómeno inquietante
Todo comenzó a finales de diciembre, cuando se habilitó una nueva función que permitía a los usuarios crear y editar imágenes con un simple clic. Lo que siguió fue una oleada de solicitudes para sexualizar fotos ajenas, incluyendo las de personas famosas y niños. En un abrir y cerrar de ojos, la plataforma se inundó con deepfakes sexuales que nadie había consentido.
A pesar de que xAI limitó el acceso al generador a usuarios premium y eventualmente bloqueó la creación de estas imágenes, el daño ya estaba hecho. Durante el tiempo que estuvo operativo, Grok generaba aproximadamente 190 imágenes por minuto. Y lo más escalofriante es que entre esas cifras había un alarmante número de representaciones sexuales infantilizadas.
En una revisión exhaustiva hecha sobre una muestra inicial, se encontró que alrededor del 65% del contenido generado era sexualizado. De ese porcentaje, unos 1,8 millones eran imágenes de mujeres. Pero lo verdaderamente preocupante son los casos relacionados con menores; se hallaron 101 casos evidentes dentro de las 20.000 imágenes revisadas manualmente. Si extrapolamos esos datos al total estimado, estamos hablando nada menos que de casi 23.338 imágenes sexualizadas creadas por Grok en solo once días.
A día 15 de enero, cuando ya habían entrado en vigor algunas restricciones, aún seguía siendo accesible cerca del 30% del contenido generado sobre menores. Es hora de reflexionar sobre cómo las nuevas tecnologías pueden ser mal utilizadas y qué medidas urgentes necesitamos implementar para proteger a nuestra comunidad.