Cientos de revisores examinan diariamente detalles personales precisos compartidos por usuarios que pidieron al bot que mantuviera la confidencialidad, sin saber que existen ojos humanos leyendo sus textos.
Índice del artículo:
- La investigación de 404 Media y el secreto Proyecto Lily
- Tareas de los contratistas y mecanismo de evaluación de respuestas por hora
- Lo que ven los revisores: resumen de recuerdos y datos sensibles
- Fallo del filtro de privacidad y peticiones de los usuarios para guardar el secreto
- Reglas de entrenamiento para evitar el servilismo lingüístico y las demandas
- Prácticas de la industria y pasos para cancelar el uso compartido de datos
- Preguntas frecuentes
La investigación de 404 Media y el secreto Proyecto Lily
Cientos de contratistas y empleados externos contratados por OpenAI leen conversaciones y textos reales altamente confidenciales intercambiados por los usuarios de ChatGPT, como parte de una iniciativa interna de entrenamiento secreto bajo el nombre en clave «Proyecto Lily», según reveló una extensa investigación periodística llevada a cabo por la plataforma especializada en seguridad digital «404 Media».
Esta revelación plantea interrogantes y preocupaciones incómodas sobre la violación de la privacidad de más de 900 millones de usuarios activos, una gran parte de los cuales trata a la plataforma de inteligencia artificial como una caja fuerte personal, un espacio cerrado y seguro para registrar sus diarios y pensamientos cotidianos, o para consultas médicas y psicológicas altamente sensibles.
Tareas de los contratistas y mecanismo de evaluación de respuestas por hora
Estos revisores externos reciben un pago superior a los 50 dólares por hora a través de agencias de empleo y subcontratación intermedias. Su tarea principal consiste en leer íntegramente los textos de las consultas de los usuarios, resumir la intención y la motivación exacta detrás de cada pregunta, y posteriormente evaluar cuatro respuestas alternativas generadas por ChatGPT en una escala precisa de uno a siete.
Con este proceso, OpenAI busca entrenar y modificar el comportamiento del bot para que su tono sea menos mecánico y seco, menos servicial y adulador, y más natural y emulador de la comunicación humana. Sin embargo, este objetivo implica inevitablemente que los datos personales de los usuarios queden bajo la atenta mirada de seres humanos que examinan hasta el más mínimo detalle.
Lo que ven los revisores: resumen de recuerdos y datos sensibles
Documentos internos y guías de instrucciones obtenidos por la plataforma de investigación indican que el panel de control del contratista incluye a veces el «resumen de recuerdos del usuario»; una visualización exhaustiva de lo que el usuario ha discutido previamente con ChatGPT a lo largo de múltiples sesiones, lo cual revela al revisor su ubicación geográfica aproximada, la naturaleza de su profesión y trabajo, así como sus complejas circunstancias personales y familiares.
OpenAI afirma que anonimiza las conversaciones eliminando los nombres explícitos de los usuarios y las pasa a través de un «filtro de privacidad» automático antes de que lleguen a las pantallas de los revisores. No obstante, la compañía admite en sus documentos internos que este filtro «puede pasar por alto y no reconocer identificadores poco comunes o referencias personales y privadas ambiguas», dejando expuestos datos sensibles.
Fallo del filtro de privacidad y peticiones de los usuarios para guardar el secreto
Muestras de conversaciones revisadas por los evaluadores mostraron a usuarios escribiendo en sus consultas frases insistentes como «mantén esto entre nosotros y no se lo digas a nadie», sin percatarse de que tales expresiones programáticas no poseen ninguna autoridad legal o técnica para eludir las políticas de recopilación de datos y entrenamiento de modelos implementadas por la plataforma.
En respuesta a una pregunta sobre si los usuarios son conscientes de que hay seres humanos leyendo sus textos, un contratista declaró a 404 Media: «Absolutamente no; no creo que imaginen en absoluto que hay un empleado sentado en algún lugar analizando sus textos privados línea por línea», lo que pone de manifiesto una gran brecha entre las expectativas del usuario y el comportamiento de la empresa.
Reglas de entrenamiento para evitar el servilismo lingüístico y las demandas
Las guías de entrenamiento indican a los revisores que penalicen el «lenguaje artificial de la inteligencia artificial», como el uso excesivo e injustificado de emojis, que alerten al sistema cuando el bot finja experimentar vivencias y sentimientos humanos reales, y que marquen el «lenguaje adulador y servil», un problema vinculado a demandas judiciales que acusan a ChatGPT de secundar los pensamientos dañinos de los usuarios y causarles perjuicios psicológicos.
A los revisores no se les exige verificar hechos históricos o científicos, pero sí se les pide que presten atención a errores flagrantes y escalen aquellas tareas que contengan información personal altamente peligrosa o preocupaciones relacionadas con la seguridad física.
Prácticas de la industria y pasos para cancelar el uso compartido de datos
Esta práctica es habitual entre las principales empresas tecnológicas. Anthropic confirmó el uso de revisiones humanas para mejorar su modelo Claude cuando los usuarios activan la función de entrenamiento, y Google muestra un aviso explícito en la interfaz de Gemini que indica que «es posible que algunas conversaciones guardadas sean revisadas por personas».
En las cuentas gratuitas de ChatGPT, así como en los planes Plus y Pro, la función de mejora del modelo viene activada de forma predeterminada. Los usuarios pueden desactivarla accediendo a la configuración, seleccionando los controles de datos y deshabilitando la opción «Mejorar el modelo para todos», teniendo en cuenta que la cancelación se aplica únicamente a las nuevas conversaciones y no elimina los textos que ya hayan sido extraídos para las líneas de entrenamiento y revisión humana.
Preguntas frecuentes
Pregunta: ¿Cuál es el nombre en clave del proyecto secreto llevado a cabo por OpenAI para revisar las conversaciones?
Respuesta: Lleva el nombre en clave «Proyecto Lily» y cuenta con cientos de contratistas que perciben más de 50 dólares por hora para evaluar las respuestas.
Pregunta: ¿Los paneles de control revelan a los revisores detalles sobre la personalidad y las circunstancias de los usuarios?
Respuesta: Sí, a veces incluyen un resumen de los recuerdos del usuario que puede revelar su puesto de trabajo, ubicación aproximada y complejas circunstancias familiares.
Pregunta: ¿Cómo pueden los usuarios de ChatGPT evitar que personas y algoritmos de la empresa lean sus textos?
Respuesta: Accediendo a la configuración, luego a los controles de datos y desactivando la opción de mejorar el modelo para todos en sus cuentas.
