Contenido del artículo:
- Introducción: Crisis de confianza en los informes de consultoría
- Detalles del informe canadiense y errores detectados
- «Alucinaciones» de la inteligencia artificial y fabricación de referencias
- Reacciones y preocupaciones de los expertos
- Defensa de Deloitte y repetición de incidentes
- Implicaciones de usar inteligencia artificial en investigaciones oficiales
- Preguntas frecuentes
Introducción: Crisis de confianza en los informes de consultoría
En un incidente que pone de relieve los riesgos de la dependencia no verificada de la inteligencia artificial generativa, la filial de la consultora global Deloitte en Canadá enfrenta graves acusaciones. Se alega que un informe de consultoría sobre atención médica, que costó a una provincia canadiense cerca de 1.6 millones de dólares, contiene errores posiblemente derivados de la inteligencia artificial, incluidas citas de investigaciones ficticias.
Este suceso convierte a Canadá en el segundo país este año en alegar deficiencias en la verificación de datos por parte de Deloitte, lo que genera serias dudas sobre la fiabilidad de los informes en los que los gobiernos basan decisiones cruciales.
Detalles del informe canadiense y errores detectados
Los errores detectados salieron a light en una investigación publicada por The Independent, un medio de comunicación canadiense que cubre la provincia de Terranova y Labrador. El informe en cuestión, de 526 páginas y publicado por el gobierno provincial en mayo, tenía como objetivo asesorar al Ministerio de Salud y Servicios Comunitarios sobre temas vitales como la atención virtual, los incentivos para la retención del personal y el impacto de la pandemia de COVID-19 en los trabajadores sanitarios, en un momento en que el sector salud de la provincia enfrenta escasez de enfermeras y médicos.
Según la información revelada, el gobierno gastó poco menos de 1.6 millones de dólares en este informe, pagados en ocho cuotas. Hasta la fecha, el informe sigue disponible en el sitio web del gobierno canadiense.
«Alucinaciones» de la inteligencia artificial y fabricación de referencias
La investigación encontró que el informe de Deloitte contenía citas erróneas, extraídas de documentos académicos completamente fabricados, para extraer conclusiones en análisis de coste-eficacia. Asimismo, el informe citó a investigadores reales en documentos en los que nunca trabajaron, e incluyó documentos ficticios coescritos por investigadores que confirmaron que jamás habían trabajado juntos.
Por ejemplo, el extenso informe citaba un artículo académico del Canadian Journal of Respiratory Therapy, el cual no pudo ser encontrado al buscar en la base de datos de la revista. Este fenómeno, conocido en el campo de la inteligencia artificial como «alucinación», ocurre cuando los modelos generativos inventan información que parece convincente pero que es totalmente falsa.
Reacciones y preocupaciones de los expertos
Estos descubrimientos generaron preocupación entre los expertos académicos. Jill Tomblin-Murphy, profesora adjunta en la Facultad de Enfermería de la Universidad Dalhousie en Nueva Escocia, quien fue citada en el informe en un documento académico «inexistente», comentó: «Parece que, si estás inventando cosas como esta, podrían estar usando la inteligencia artificial de manera intensiva para generar el trabajo».
Tomblin-Murphy agregó que solo había trabajado con tres de los otros seis autores mencionados en la cita errónea, y subrayó los riesgos asociados: «Debemos tener mucho cuidado para asegurarnos de que la evidencia en la que se basan los informes sea la mejor posible y haya sido verificada. En última instancia, estos informes deben ser precisos, estar respaldados por evidencia y ser útiles para avanzar, no solo porque cuestan dinero a los gobiernos y al público».
Defensa de Deloitte y repetición de incidentes
En respuesta a estas acusaciones, Deloitte Canadá defendió su informe. Un portavoz de la empresa declaró: «Deloitte Canadá respalda firmemente las recomendaciones presentadas en nuestro informe. Estamos revisando el informe para realizar un pequeño número de correcciones de citas, las cuales no afectan los hallazgos del informe». El portavoz añadió que «la inteligencia artificial no se utilizó para redactar el informe; se utilizó de manera selectiva para respaldar una pequeña cantidad de citas de investigación».
Sin embargo, este incidente no es el primero de su tipo para Deloitte este año. Esta revelación se produce tras la noticia del mes pasado de que Deloitte utilizó inteligencia artificial en un informe de 290 000 dólares publicado en julio para ayudar al gobierno australiano. Un investigador señaló la presencia de alucinaciones en el estudio de 237 páginas, que incluía referencias a documentos de investigación académica inexistentes y una cita fabricada de un fallo de un tribunal federal.
En el estudio revisado que se subió discretamente al sitio web del gobierno australiano, la empresa admitió que había utilizado el sistema de inteligencia artificial generativa Azure OpenAI para ayudar en la elaboración del informe. Deloitte en Australia se vio obligada a reembolsar parcialmente al gobierno por el informe.
Implicaciones de usar inteligencia artificial en investigaciones oficiales
Estos incidentes ponen de relieve los importantes desafíos que plantea la integración de la inteligencia artificial en los procesos de investigación y consultoría profesional. Si bien la inteligencia artificial puede acelerar la recopilación y el análisis de información, todavía carece de la capacidad de distinguir de manera fiable entre la realidad y la ficción. Depender de estas herramientas sin una supervisión humana estricta y una rigurosa verificación de datos puede conducir a resultados desastrosos, especialmente cuando estos informes se utilizan como base para políticas públicas y decisiones gubernamentales que afectan la vida de millones de personas.
Preguntas frecuentes
1. ¿Qué son las «alucinaciones» de la inteligencia artificial?
Es un fenómeno en el cual un modelo de inteligencia artificial generativa inventa información que parece correcta y convincente, pero que en realidad es completamente falsa o carece de fundamento.
2. ¿Admitió Deloitte el uso de inteligencia artificial en el informe canadiense?
La empresa admitió haberlo utilizado de manera selectiva para respaldar ciertas citas de investigación, pero negó haberlo empleado para redactar el informe completo.
3. ¿Qué consecuencias ha enfrentado Deloitte hasta el momento?
En un incidente similar en Australia, la empresa se vio obligada a realizar un reembolso parcial al gobierno. Hasta ahora no se ha anunciado información respecto a un posible reembolso por el informe canadiense.
