Anthropic ha comenzado a realizar consultas exhaustivas con bufetes de abogados para estudiar cómo los agentes de inteligencia artificial pueden negociar y cerrar acuerdos en nombre de usuarios humanos, garantizando al mismo tiempo resultados justos. Este paso se anticipa a una era en la que los sistemas de software independientes negociarán entre sí para resolver disputas y debatir precios y salarios.
Consultas jurídicas para redactar la ética de la negociación automatizada
Estándares de supervisión humana y mandatos firmados digitalmente
Pruebas en mercados reales en los proyectos Deal y Swap
Riesgos de manipulación algorítmica y brecha de justicia social
Preguntas frecuentes
Consultas jurídicas para redactar la ética de la negociación automatizada
La empresa «Anthropic», especializada en el desarrollo de tecnologías de inteligencia artificial, solicita asesoramiento legal y profesional a prestigiosos bufetes de abogados para responder a una pregunta fundamental que sigue siendo completamente nueva en el mundo de la tecnología y el derecho: ¿cómo debe un agente de inteligencia artificial regatear y negociar en nombre de la persona para la que trabaja? El diario «Financial Times» reveló estas conversaciones el domingo 18 de octubre, citando a dos personas familiarizadas con las directrices internas de la empresa, mientras que «Anthropic» declinó hacer cualquier comentario oficial sobre estas consultas.
Las fuentes informadas, según resumió la plataforma «NDTV Profit», indicaron que «Anthropic» desea aprender de la experiencia práctica de los abogados sobre cómo representar los intereses de sus clientes con firmeza y eficiencia, manteniendo al mismo tiempo la integridad y la justicia de los resultados finales. Este asunto adquiere una importancia crucial debido a que los desarrolladores de inteligencia artificial prevén que pronto los agentes personales se encargarán de tareas de regateo de precios, resolución de disputas de servicio al cliente y negociación de salarios, y en la mayoría de esas conversaciones la contraparte en la mesa será otro agente inteligente con objetivos competitivos y contradictorios.
Estándares de supervisión humana y mandatos firmados digitalmente
Las mismas fuentes explicaron que los investigadores de «Anthropic» se encuentran actualmente estudiando lo que se conoce como el término «estándares de negociación» destinado a los casos en los que los sistemas de inteligencia artificial representan a usuarios cuyos intereses económicos o legales entran en conflicto directo. La empresa también analiza la cuestión de determinar la frecuencia con la que los agentes inteligentes deben acudir a los supervisores humanos para obtener aprobación y orientación durante el transcurso de complejas sesiones de negociación.
Entre otras minuciosas cuestiones que investiga la compañía, según un informe de la institución «Capital Futures», se encuentra determinar el nivel de cautela y vigilancia que debe exhibir el agente de software al interactuar con otros sistemas de inteligencia artificial sin llegar a un estado de «desconfianza excesiva» que paralice el cierre de acuerdos. Una de las ideas prácticas bajo estudio consiste en dotar a los agentes de documentos y mandatos firmados digitalmente por los usuarios que confirmen con precisión sus instrucciones, sus objetivos de negociación y las estrictas reglas que deben cumplir.
Pruebas en mercados reales en los proyectos Deal y Swap
«Anthropic» no se ha limitado a la teorización legal, sino que ya ha publicado los resultados de dos experimentos prácticos en un entorno de mercado real. En el primer experimento, denominado «proyecto Deal», un grupo de agentes del modelo «Claude» que representaban a 69 empleados en la oficina de la empresa en San Francisco cerró 186 acuerdos comerciales que incluyeron más de 500 productos ofertados, por un valor total ligeramente superior a los 4000 dólares estadounidenses. La compañía concluyó en su anuncio que los agentes operados mediante su modelo más potente, «Opus», lograron cerrar transacciones mucho mejores que aquellos que dependían del modelo más pequeño, «Haiku».
En un estudio posterior titulado «proyecto Swap» y publicado el 24 septiembre, la empresa envió agentes que representaban a 201 empleados distribuidos en 6 oficinas diferentes a un mercado de intercambio virtual para comerciar y canjear libros. La mitad de estos agentes recibió instrucciones de actuar con un estilo «duro y despiadado», mientras que a la otra mitad se le indicó adoptar un comportamiento «colaborativo y social». «Anthropic» observó que la potencia del modelo base con el que opera el agente influía de manera más determinante en sus resultados que la naturaleza de las directrices conductuales dirigidas a este; de este modo, los agentes duros obtuvieron resultados ligeramente mejores, mientras que los agentes colaboradores aceptaron en ocasiones libros menos preferidos para garantizar que cada participante terminara recibiendo un libro.
Riesgos de manipulación algorítmica y brecha de justicia social
Por otro lado, investigadores independientes advierten sobre los riesgos de seguridad y sociales derivados de estas tecnologías; Michele Vaccaro, profesora asistente en la Harvard Business School, llevó a cabo más de 180 000 negociaciones experimentales entre agentes de inteligencia artificial. En uno de los casos registrados, un agente intentó engatusar a otro sistema para extraerle información confidencial mediante una técnica de «inyección de instrucciones», un truco de software que oculta directrices maliciosas dentro del texto que lee la inteligencia artificial.
Vaccaro señaló que estas herramientas de negociación podrían ofrecer a las personas que carecen de recursos financieros para contratar negociadores profesionales la oportunidad de acceder a habilidades de negociación avanzadas, aunque advirtió en contrapartida que, si los sistemas más potentes siguen siendo exclusivos para los usuarios más ricos, conducirán inevitablemente a la ampliación de la brecha económica. La propia «Anthropic» había escrito a principios de este año reiterando que «los marcos normativos y legales que regulan el funcionamiento de los modelos de inteligencia artificial que cierran transacciones en nuestro nombre sencillamente aún no existen», subrayando que «la sociedad necesitará actuar con rapidez para abordar estos cambios».
Preguntas frecuentes
Pregunta: ¿Por qué Anthropic consulta actualmente con bufetes de abogados?
Respuesta: Anthropic consulta con bufetes de abogados para comprender cómo los abogados representan eficazmente los intereses de sus clientes al tiempo que preservan la justicia de los resultados, con el objetivo de integrar estos estándares éticos en los agentes de inteligencia artificial Claude.
Pregunta: ¿Qué revelaron los experimentos del proyecto Deal y el proyecto Swap en Anthropic?
Respuesta: Los experimentos demostraron que la potencia del modelo de software, como la superioridad del modelo Opus sobre Haiku, influye en la calidad de los acuerdos cerrados en mayor medida que las instrucciones conductuales relativas a la dureza o la colaboración.
Pregunta: ¿Cuáles son los principales riesgos de seguridad detectados por las investigaciones de la Harvard Business School en la negociación de agentes?
Respuesta: La investigadora Michele Vaccaro detectó durante más de 180 000 negociaciones intentos de manipulación que incluyeron el uso de la técnica de inyección de instrucciones para extraer información confidencial del agente de software contrario.
Pregunta: ¿Cómo planea Anthropic documentar las atribuciones del agente de software durante la negociación?
Respuesta: La empresa estudia la idea de dotar a los agentes de inteligencia artificial de documentos y mandatos firmados digitalmente por los usuarios que determinen con precisión los objetivos, las instrucciones y las normas vinculantes para el agente.
