¿Qué es la inteligencia artificial generativa?

La inteligencia artificial generativa se refiere a los modelos de aprendizaje profundo capaces de generar texto, imágenes y otros contenidos de alta calidad basándose en los datos con los que han sido entrenados.

Inteligencia artificial generativa: el inicio de una nueva era

La inteligencia artificial ha pasado por numerosas olas de revuelo mediático, pero incluso los más escépticos consideran que el lanzamiento de ChatGPT representa un punto de inflexión decisivo. Este modelo, desarrollado por OpenAI, se basa en sus modelos de lenguaje grande más avanzados y es capaz de escribir poemas, contar chistes y redactar artículos que parecen creados por humanos. Con solo introducir unas pocas palabras, ChatGPT puede producir poemas de amor al estilo de las reseñas de Yelp o letras de canciones al estilo de Nick Cave.

La última vez que la inteligencia artificial generativa destacó de esta manera fue en el campo de la visión por computador, cuando las fotos de perfil se transformaron en pinturas de estilo renacentista y las imágenes de rostros envejecidos se viralizaron en las redes sociales. Ahora, cinco años después, ha dado un gran salto en el procesamiento del lenguaje natural, donde las capacidades de los modelos de lenguaje grande dominan la imaginación y la producción de contenidos sobre cualquier tema, capturando ampliamente la imaginación de la gente.

Descripción general de la inteligencia artificial generativa

¿Qué son los modelos de inteligencia artificial generativa?

La inteligencia artificial generativa se refiere a los modelos de aprendizaje profundo que pueden procesar datos brutos, como todo el contenido de Wikipedia o las obras de Rembrandt, y “aprender” a producir nuevas salidas que sean estadísticamente similares a los datos originales, aunque no idénticas.

Modelos generativos e innovaciones técnicas

Los modelos generativos se comenzaron a utilizar hace años en el análisis de datos digitales. Sin embargo, la aparición de las técnicas de aprendizaje profundo permitió ampliar su uso para incluir imágenes, audio y otros tipos complejos de datos. Los codificadores autoencoders variacionales (VAE), que aparecieron por primera vez en 2013, fueron los primeros modelos en lograr esta transición y se convirtieron en herramientas muy utilizadas para generar imágenes y discursos realistas.

Posteriormente, estos modelos dieron lugar a tecnologías como las redes generativas adversarias (GAN) y los modelos de difusión, capaces de producir imágenes realistas, aunque artificiales. De este modo, los VAE sentaron las bases para los avances actuales en la inteligencia artificial generativa.

La transición hacia el uso de transformadores (Transformers)

Con la introducción de los transformadores (Transformers) por parte de Google en 2017 a través del célebre artículo «Attention Is All You Need», se combinó la arquitectura de codificación y decodificación con un mecanismo de procesamiento de textos conocido como atención. Esta tecnología transformó la forma en que se entrenan los modelos de lenguaje, haciéndolos más eficientes y rápidos.

¿Cómo funcionan los transformadores?

• El codificador (Encoder) convierte los textos originales sin clasificar en representaciones conocidas como incrustaciones (embeddings).

• El decodificador (Decoder) utiliza estas incrustaciones para predecir progresivamente las siguientes palabras de la oración.

Mediante juegos de completar espacios en blanco, los transformadores aprenden la relación entre palabras y oraciones, lo que les otorga una sólida representación del lenguaje sin necesidad de clasificar los datos manualmente.

Mejoras aportadas por los transformadores

• Procesamiento paralelo: los transformadores permiten procesar textos de una sola vez en lugar de palabra por palabra, lo que acelera el entrenamiento.

• Aprendizaje de ubicaciones y contextos: ofrecen una mejor comprensión de las palabras en oraciones largas.

• Entrenamiento previo sin una tarea específica: los transformadores se pueden entrenar con grandes volúmenes de texto sin un objetivo determinado y luego adaptarse a diversas tareas utilizando pocos datos.

Modelos generativos principales en la actualidad

• Modelos basados únicamente en el codificador: como el modelo BERT, utilizado en motores de búsqueda y chatbots.

• Modelos basados únicamente en el decodificador: como GPT, incluido GPT-3, que fue el mayor de su tipo en el momento de su lanzamiento en 2020.

• Modelos combinados: como T5, que reúnen las características de BERT y GPT ofreciendo un alto rendimiento con mayor eficiencia.

Desafíos y desarrollos recientes

Los modelos generativos aún se enfrentan a retos, entre ellos la necesidad de mejorar la precisión y la capacidad de aprovechar los datos especializados de las organizaciones sin incurrir en costes elevados. Técnicas como el ajuste eficiente de parámetros (Parameter-Efficient Tuning) ofrecen nuevas soluciones que permiten adaptar los modelos sin necesidad de modificar todos sus parámetros.

Tendencias futuras

Hasta ahora, la tendencia predominante se ha centrado en aumentar el tamaño de los modelos y los datos, demostrando las leyes de escala que indican que los modelos más grandes suelen lograr mejores resultados. Sin embargo, surgen nuevas evidencias que sugieren que los modelos más pequeños y especializados en determinados campos pueden ser más eficaces y económicos. Por ejemplo, el modelo PubMedGPT 2.75B, especializado en datos médicos, superó el rendimiento de los modelos generales en este ámbito.

Modelos más pequeños y el nuevo enfoque de desarrollo

Los acontecimientos recientes han demostrado que los modelos más pequeños y especializados a menudo pueden superar a los modelos grandes de propósito general. Por ejemplo, investigadores de la Universidad de Stanford entrenaron un modelo relativamente pequeño, PubMedGPT 2.75B, utilizando resúmenes científicos médicos, demostrando que ofrece respuestas a preguntas médicas con una precisión superior a la de los modelos generales del mismo tamaño. Esto indica que los modelos especializados en dominios específicos pueden ser la mejor opción cuando se requiere un alto rendimiento en contextos determinados.

La tendencia hacia la reducción del tamaño de los grandes modelos

Existe una tendencia emergente hacia la reducción del tamaño de los grandes modelos manteniendo sus capacidades. Por ejemplo, investigadores de la Universidad de Stanford experimentaron con la «destilación» de las capacidades del modelo de lenguaje grande GPT-3.5 en un modelo más pequeño llamado Alpaca. Los investigadores pidieron a GPT-3.5 que generara miles de pares de instrucciones con sus respuestas y, mediante el ajuste de instrucciones con estos datos, Alpaca adquirió habilidades conversacionales similares a las de ChatGPT.

Este enfoque ha dado lugar a nuevos modelos similares con nombres como Vicuna y Dolly, que se basan en métodos similares para reducir el tamaño manteniendo la eficiencia.

Riesgos y desafíos asociados a la inteligencia artificial generativa

A pesar del enorme potencial que posee la inteligencia artificial generativa para crear nuevas capacidades y generar valor para las organizaciones, también plantea una serie de riesgos legales, financieros y de reputación. Entre estos riesgos se encuentran:

1. «Alucinaciones» o información errónea: los modelos generativos pueden producir información que parece fiable pero que no es correcta.

2. Sesgo y contenido censurable: puede aparecer contenido sesgado o inaceptable en función de los datos con los que se entrenó el modelo.

3. Desafíos relacionados con la privacidad y los derechos de propiedad intelectual: los modelos pueden incorporar información personal o protegida por derechos de autor en sus datos de entrenamiento y reutilizarla posteriormente, lo que suscita cuestiones legales.

Abordar estos desafíos sigue siendo un campo de investigación abierto.

¿Hacia dónde se dirige la inteligencia artificial generativa?

Hasta hace poco, la tendencia predominante en la inteligencia artificial generativa se basaba en aumentar el tamaño de los modelos y los datos para obtener mejores resultados. En la actualidad, los investigadores pueden estimar la potencia de un nuevo modelo basándose en el rendimiento de modelos anteriores, lo que les ayuda a tomar decisiones informadas sobre la asignación de recursos.

Sin embargo, surge otra corriente que aboga por la especialización y la reducción de tamaño con un enfoque en los datos específicos del sector. Este enfoque puede demostrar su eficacia en numerosos usos prácticos, especialmente cuando se requiere un rendimiento especializado a menor coste.

Conclusión

La inteligencia artificial generativa representa uno de los avances más apasionantes de la tecnología actual, con un potencial casi ilimitado para crear nuevo valor y resolver problemas complejos. No obstante, los riesgos asociados siguen siendo un desafío que requiere soluciones innovadoras para garantizar su desarrollo de forma responsable y sostenible.