Una investigación revela cómo se utiliza la herramienta Veo 3 de Google para crear y difundir contenido racista dirigido a personas negras y migrantes en las redes sociales, acumulando millones de visitas a pesar de las políticas de prohibición.
Introducción: cuando la creatividad se convierte en odio
En un momento en que las empresas tecnológicas presumen de la capacidad de las herramientas de inteligencia artificial para dar rienda suelta a la creatividad, surge un rostro oscuro y feo de esta tecnología. La organización mediática sin fines de lucro Media Matters descubrió un hallazgo preocupante: videos racistas, aparentemente creados con la herramienta de generación de video Veo 3 de Google, se están difundiendo como la pólvora en la plataforma TikTok, logrando millones de visualizaciones. Estos videos, repletos de estereotipos racistas y muchos de los cuales tienen como blanco a personas negras, plantean serias dudas sobre la capacidad de las empresas tecnológicas para controlar sus herramientas y evitar que se utilicen para propagar el odio.
¿Cómo se descubrió el problema?
Los investigadores de Media Matters notaron la proliferación de clips de video cortos que llevaban la marca de agua “Veo” en una esquina, la marca que la nueva herramienta de Google coloca en sus creaciones. Uno de estos clips por sí solo acumuló 14,2 millones de visitas. Además de la marca de agua, algunos usuarios utilizaron etiquetas (hashtags) o comentarios que hacían referencia explícita a Veo 3 o a la inteligencia artificial. Asimismo, la duración de los clips, que no supera los 8 segundos o consta de varios fragmentos cortos, coincide con el límite máximo de duración de video que la herramienta Veo 3 puede generar actualmente.
El fracaso de las políticas de seguridad
La flagrante ironía radica en que este contenido se difunde en plataformas que afirman contar con estrictas políticas en su contra. En su sitio web, Google afirma que “bloqueará las solicitudes y los resultados dañinos”. Del mismo modo, las normas de TikTok establecen que “el discurso de odio y la conducta aborrecible no tienen cabida en TikTok”. Sin embargo, este contenido logró eludir los filtros de seguridad y llegar a millones de usuarios.
En su respuesta al informe, Arianne Deserine, portavoz de TikTok, declaró: “Aplicamos de forma proactiva normas estrictas contra el discurso de odio y la conducta aborrecible, y hemos eliminado las cuentas identificadas en el informe, muchas de las cuales ya habían sido prohibidas antes de su publicación”. A pesar de esta respuesta, el hecho de que estos videos alcanzaran una cantidad tan masiva de visualizaciones antes de ser bloqueados demuestra la existencia de graves fallas en los sistemas de moderación.
Un problema que no se limita a TikTok
TikTok no fue la única plataforma afectada por este problema. El informe de The Verge encontró algunos de los mismos videos en YouTube, aunque con un menor número de visitas. Del mismo modo, la revista Wired descubrió videos racistas similares generados por inteligencia artificial en Instagram. Además del contenido dirigido a personas negras, Media Matters halló otros clips que contenían material antisemita y representaciones racistas de migrantes y asiáticos, lo que confirma que el problema está muy extendido.
El mayor desafío: una carrera entre la creación y la moderación
Este incidente pone de relieve el enorme desafío al que se enfrentan las plataformas en la era del contenido generado por inteligencia artificial. Si bien estas herramientas facilitan que cualquier persona cree contenido visualmente atractivo, también facilitan que los actores malintencionados produzcan cantidades masivas de contenido dañino a un ritmo que supera la capacidad de los moderadores humanos y los algoritmos para revisarlo y eliminarlo. Se trata de una batalla constante entre la velocidad de creación y la eficacia de la moderación.
Conclusión: una responsabilidad que recae en todos
La proliferación de videos racistas creados mediante Veo 3 es un recordatorio doloroso de que las herramientas de inteligencia artificial son un arma de doble filo. Si bien prometen innovación, conllevan el riesgo de amplificar los peores prejuicios presentes en nuestras sociedades. La responsabilidad recae ahora en empresas tecnológicas como Google y TikTok para desarrollar sistemas de seguridad más sólidos y eficaces, no solo para eliminar el contenido dañino después de que se haya difundido, sino para evitar su creación y distribución en primer lugar. El futuro de un espacio digital sano y seguro depende de su éxito en este empeño.
