Los modelos de lenguaje grandes pueden hacer cosas impresionantes, como escribir poesía o generar programas de computadora ejecutables, aunque estos modelos están entrenados para predecir las palabras que aparecen a continuación en un fragmento de texto.
Con habilidades tan asombrosas, parece como si los modelos estuvieran aprendiendo implícitamente algunas verdades generales sobre el mundo.
Pero según un nuevo estudio, esto no es necesariamente así. Los investigadores descubrieron que un tipo popular de modelo de IA generativa puede proporcionar indicaciones de conducción paso a paso en la ciudad de Nueva York con una precisión casi perfecta, sin crear un mapa interior preciso de la ciudad.
A pesar de la excepcional capacidad del modelo para navegar con eficacia, cuando los investigadores cerraron algunas carreteras y añadieron desvíos, su rendimiento disminuyó.
Cuando profundizaron, los investigadores descubrieron que los mapas de Nueva York que estaban claramente dibujados carecían de muchas carreteras que serpenteaban entre las cuadrículas y conectaban intersecciones distantes.
Esto puede tener graves implicaciones para los modelos de IA implementados en el mundo real, ya que un modelo que funciona bien en un contexto puede fallar si la tarea o el entorno cambian ligeramente.
“Una esperanza es que, debido a que los LLM pueden hacer todas estas cosas asombrosas en el lenguaje, tal vez podamos usar las mismas herramientas en otras partes de las ciencias. Pero la cuestión de si los LLM integran “Aprender modelos globales es fundamental si queremos usar estos técnicas para nuevos descubrimientos”, dice el autor principal Ashish Rambchan, profesor asistente de economía en el Laboratorio de Sistemas de Información y Decisión (LIDS) del MIT. Investigador principal.
A Rambachan se une el autor principal Kevin Wafa, postdoctorado en la Universidad de Harvard, en un artículo sobre el trabajo. Justin Y. Chen, estudiante de posgrado en Ingeniería Eléctrica e Informática (EECS) del MIT; John Kleinberg, profesor de Ciencias de la Computación y de la Información de la Universidad Tisch en la Universidad de Cornell; y Sendhal Malainathan, profesor del MIT en los departamentos de EECS y Economía, y miembro de LIDS. La investigación se presentará en la Conferencia sobre Sistemas de Procesamiento de Información Neural.
Nuevas métricas
Los investigadores se centraron en un tipo de modelo de IA generativa llamado Transformer, que forma la columna vertebral de los LLM similares a GPT-4. Los transformadores están entrenados con grandes cantidades de datos basados en el lenguaje para predecir el siguiente token en una secuencia, como la siguiente palabra en una oración.
Pero si los científicos quieren determinar si LLM ha creado un modelo exacto del mundo, no basta con medir la exactitud de sus predicciones, afirman los investigadores.
Por ejemplo, descubrieron que un Transformer podía predecir el movimiento correcto casi siempre en un juego de Connect 4 sin comprender ninguna regla.
Por lo tanto, el equipo desarrolló dos nuevas métricas que pueden probar el modelo global del transformador. Los investigadores centraron su evaluación en una clase de problemas llamados automatizaciones finitas deterministas o DFA.
DFA es un problema con el orden de los estados, como las intersecciones que se deben cruzar para llegar a un destino, y una forma concreta de describir las reglas que se deben seguir.
Eligieron dos problemas para formularlos como DFA: caminar por las calles de la ciudad de Nueva York y jugar al juego de mesa Otelo.
“Necesitábamos bancos de pruebas donde supiéramos cuál es el modelo global. Ahora podemos pensar detenidamente en lo que significa restaurar ese modelo global”, explica Wafa.
La primera métrica que desarrollaron, llamada distinción de secuencia, dice que un modelo ha formado un modelo global coherente si ve dos estados diferentes, como dos tableros de Otelo diferentes, y reconoce cuáles son diferentes. Las matrices, es decir, listas ordenadas de puntos de datos, son lo que utilizan los transformadores para producir salidas.
La segunda métrica, llamada compresión de secuencia, establece que un transformador con un modelo global coherente debe saber que dos estados idénticos, como dos placas Othello idénticas, tienen la misma secuencia de posibles siguientes pasos.
Utilizaron estas métricas para probar dos clases generales de transformadores, uno entrenado con datos generados a partir de secuencias generadas aleatoriamente y el otro con datos generados por las siguientes estrategias.
Modelos mundiales contrastados
Sorprendentemente, los investigadores descubrieron que los transformadores elegidos al azar producían modelos globales más precisos, tal vez porque habían visto una variedad más amplia de posibles próximos pasos durante el entrenamiento.
“En Otelo, si ves dos computadoras aleatorias jugando en lugar de jugadores campeones, en teoría verás el conjunto completo de movimientos posibles, incluso los jugadores campeones no harán malos movimientos”, explica Wafa.
Aunque Transformers produjo direcciones correctas y movimientos correctos de Otelo en casi todos los casos, las dos matrices revelaron que solo una produjo modelos globales coherentes para los movimientos de Otelo, y ninguna produjo modelos globales coherentes en el caso de búsqueda de caminos.
Los investigadores demostraron sus implicaciones añadiendo rutas a un mapa de la ciudad de Nueva York, lo que provocó que todos los modelos de navegación fallaran.
“Me sorprendió lo rápido que empeoró el rendimiento tan pronto como añadimos una rotonda. Si bloqueábamos sólo el 1 por ciento de las carreteras posibles, la precisión caía inmediatamente de casi el 100 por ciento a sólo el 67 por ciento”, dice Wafa.
Cuando recibieron los mapas de la ciudad que habían creado los modelos, parecían una ciudad imaginaria de Nueva York con cientos de calles dispuestas en una cuadrícula. Los mapas suelen tener pasos elevados aleatorios sobre otras calles o una orientación imposible con varias calles.
Estos resultados muestran que los transformadores pueden desempeñarse sorprendentemente bien en algunas tareas sin comprender las reglas. Si los científicos quieren construir LLM que puedan lograr modelos precisos del mundo, deben adoptar un enfoque diferente, dicen los investigadores.
“A menudo vemos a estos modelos hacer cosas impresionantes y creemos que entienden algo sobre el mundo. Espero que podamos convencer a la gente de que es una cuestión que hay que pensar con mucho cuidado y que no tenemos que confiar en nuestra intuición. para responder”, dice Rambachan.
En el futuro, es posible que los investigadores quieran abordar un conjunto más diverso de problemas, como aquellos en los que algunos principios sólo se conocen parcialmente. También quieren aplicar sus métricas de evaluación a problemas científicos del mundo real.
Este trabajo está financiado por la Iniciativa de Ciencia de Datos de Harvard, una beca de investigación para graduados de la Fundación Nacional de Ciencias, una beca de la facultad Vaniver Bush, una beca de colaboración Simons y una subvención de la Fundación MacArthur.
