Puede sonar extraño, pero los principios simples que rigen el aprendizaje de las palomas mediante la prueba y el error son los mismos que impulsan los sistemas de inteligencia artificial más potentes de hoy en día. Descubra cómo el «aprendizaje por refuerzo», inspirado en la psicología conductista y no en la simulación de la mente humana, es el verdadero motor del progreso.
Contenidos del artículo:
- Introducción: de los misiles de palomas a la inteligencia artificial
- Los experimentos de Skinner: la paloma como máquina de aprender
- Del conductismo a la inteligencia artificial: el nacimiento del aprendizaje por refuerzo
- La amarga lección: ¿por qué falló la simulación de la inteligencia humana?
- El triunfo de AlphaGo Zero: aprender desde cero absoluto
- Repensar la inteligencia animal
- Conclusión: la mente de una paloma en nuestros dispositivos
- Preguntas frecuentes
Introducción: de los misiles de palomas a la inteligencia artificial
En 1943, mientras los físicos más brillantes del mundo dividían átomos para el Proyecto Manhattan, el psicólogo estadounidense B. F. Skinner dirigía su propio proyecto gubernamental secreto para ganar la Segunda Guerra Mundial. Su objetivo no era construir armas más grandes y destructivas, sino hacer que las bombas convencionales fueran más precisas. La idea se le ocurrió mientras miraba por la ventana de su tren y pensó: «Vi una bandada de pájaros elevarse y girar en formación… de repente los vi como “aparatos” con una visión excelente y gran capacidad de maniobra. ¿No podrían guiar un misil?»
Así nació el «Proyecto Paloma». Aunque el ejército nunca desplegó las palomas kamikaze de Skinner, sus experimentos lo convencieron de que la paloma era una «herramienta sumamente fiable» para estudiar los procesos básicos de aprendizaje. Esta investigación, a menudo pasada por alto, es un antecesor directo y crucial de la inteligencia artificial moderna mucho más importante que las historias de ciencia ficción.
Los experimentos de Skinner: la paloma como máquina de aprender
Skinner creía que la «asociación» —es decir, aprender mediante la prueba y el error para vincular una acción con una recompensa o un castigo— es el pilar fundamental de todo comportamiento, no solo en las palomas, sino en todos los seres vivos, incluidos los humanos. Recompensaba a las aves con comida por picotear el objetivo correcto en fotografías aéreas. Demostró que un organismo simple podía aprender comportamientos complejos a través de un sistema sencillo de recompensas.
Sus teorías «conductistas» cayeron en desgracia entre los psicólogos en la década de 1960, pero cobraron nueva vida entre los informáticos, quienes sentaron las bases para muchas de las herramientas de inteligencia artificial que vemos hoy en día de la mano de empresas como Google y OpenAI.
Del conductismo a la inteligencia artificial: el nacimiento del aprendizaje por refuerzo
Los programas de estas empresas incorporan cada vez más un tipo de aprendizaje automático conocido como «aprendizaje por refuerzo» (Reinforcement Learning), un concepto tomado directamente de la escuela psicológica de Skinner. El aprendizaje por refuerzo ha ayudado a las computadoras a conducir automóviles, resolver problemas matemáticos complejos y derrotar a grandes maestros en juegos como el ajedrez y el Go. Sin embargo, no lo ha logrado simulando el complejo funcionamiento de la mente humana. En su lugar, ha potenciado los sencillos procesos asociativos de la mente de una paloma.
A finales de la década de 1970, los informáticos Richard Sutton y Andrew Barto quisieron crear un «agente interactivo completo orientado a objetivos» que pudiera explorar su entorno e influir en él como una paloma o una rata. Llamaron a su enfoque «aprendizaje por refuerzo», que en esencia es el mismo concepto de Skinner: un agente (un programa informático) prueba acciones aleatorias, recibe una recompensa (un número positivo) o un castigo (un número negativo) y aprende gradualmente a asociar las acciones con los resultados para maximizar sus recompensas con el tiempo.
La amarga lección: ¿por qué falló la simulación de la inteligencia humana?
Sutton escribió que «la amarga lección» extraída de 70 años de investigación en inteligencia artificial es que la inteligencia humana no ha servido como un buen modelo para el aprendizaje automático. Muchos ingenieros intentaron modelar la inteligencia artificial a partir de la inteligencia humana, escribiendo programas complejos que intentaban imitar el pensamiento humano y aplicar las reglas que rigen la respuesta y el comportamiento humanos. Este enfoque —comúnmente llamado «inteligencia artificial simbólica»— era sumamente limitado y tropezaba en tareas que para los humanos resultaban fáciles, como el reconocimiento de objetos.
No obstante, la investigación con palomas señaló otro camino. Un estudio de 1964 demostró que las palomas podían aprender a distinguir entre fotografías que contenían personas y aquellas que no, simplemente siendo recompensadas por picotear las imágenes correctas. Aprendieron conceptos únicamente a través del aprendizaje asociativo, sin necesidad de reglas programadas.
El triunfo de AlphaGo Zero: aprender desde cero absoluto
A medida que la potencia informática crecía de manera exponencial, se hizo posible entrenar a la inteligencia artificial en tareas mucho más complejas; es decir, en esencia, ejecutar la «paloma» de la inteligencia artificial a través de millones de ensayos adicionales. En 2017, los ingenieros de Google DeepMind construyeron AlphaGo Zero enteramente mediante aprendizaje por refuerzo. El programa comenzó sin ningún conocimiento del juego de Go, pero mejoró durante 40 días hasta alcanzar lo que sus creadores denominaron un «rendimiento sobrehumano». No solo derrotó a los mejores jugadores humanos, sino que ideó nuevas estrategias que los jugadores profesionales utilizan ahora.
Este logro asombroso no provino de intentar que la computadora pensara como un ser humano, sino de asignarle un objetivo simple (ganar el juego) y permitirle descubrir las mejores estrategias a través de millones de aciertos y errores, exactamente igual que la paloma de Skinner.
Repensar la inteligencia animal
Si las computadoras son capaces de hacer todo esto con una mente similar a la de una paloma, algunos investigadores del comportamiento animal se preguntan ahora si las palomas reales merecen más reconocimiento del que suelen recibir. Los logros de la inteligencia artificial están empujando a ciertos investigadores a replantearse la evolución de la inteligencia natural. Johan Lind, biólogo de la Universidad de Estocolmo, escribe sobre la «paradoja del aprendizaje asociativo», en la que los biólogos descartan en gran medida este proceso por considerarlo demasiado simple para generar conductas complejas en los animales, pero se celebra por producir comportamientos similares a los humanos en las computadoras.
Es posible que resulte incómodo pensar que nuestros potenciales amos informáticos se parezcan más a «ratas con alas» que a nosotros mismos. Sin embargo, comprender que el aprendizaje por refuerzo es el motor detrás de los avances más recientes ayuda a desmitificar una tecnología que muchos temen (o celebran) que esté «volviéndose humana». Lo cierto es que los principios fundamentales son sorprendentemente antiguos y sencillos. Son un recordatorio de que el aprendizaje a través de la experiencia y la recompensa es un mecanismo sumamente potente, capaz de generar una inteligencia asombrosa, ya sea en organismos vivos o en máquinas. La próxima vez que se maraville ante las capacidades de ChatGPT, recuerde agradecerle a la paloma.
Preguntas frecuentes
P1: ¿Qué es el aprendizaje por refuerzo?
R: Es un tipo de aprendizaje automático en el que un agente (un programa informático) aprende a tomar decisiones mediante la prueba y el error. El programa recibe recompensas por las acciones correctas y castigos por las incorrectas, y aprende con el tiempo la estrategia que maximiza su recompensa total.
P2: ¿Qué relación tiene el aprendizaje por refuerzo con los experimentos con palomas?
R: El aprendizaje por refuerzo es la aplicación informática de los mismos principios que el psicólogo B. F. Skinner estudió con las palomas, denominado «condicionamiento operante», en el cual el comportamiento se modela a través de sus consecuencias (recompensas y castigos).
P3: ¿Por qué este enfoque tiene más éxito que intentar imitar la inteligencia humana?
R: Porque el pensamiento humano es sumamente complejo y difícil de programar. En contraste, el aprendizaje por refuerzo ofrece un mecanismo simple y general que puede escalarse utilizando una inmensa potencia informática, lo que permite a la inteligencia artificial descubrir soluciones en las que los humanos jamás habrían pensado.
