La exageración que rodea al aprendizaje automático, una forma de inteligencia artificial, puede hacer que parezca que es sólo cuestión de tiempo antes de que tales técnicas se utilicen para resolver todos los problemas científicos. Aunque a menudo se hacen afirmaciones impresionantes, no siempre resisten el escrutinio. El aprendizaje automático puede ser útil para resolver algunos problemas, pero no tanto para otros.
En un nuevo periódico Inteligencia de la máquina de la naturalezaInvestigadores del Laboratorio de Física del Plasma de Princeton (PPPL) del Departamento de Energía de EE. UU. y la Universidad de Princeton llevaron a cabo una revisión sistemática de investigaciones que comparaban el aprendizaje automático con los métodos tradicionales para resolver ecuaciones diferenciales parciales (PDE) relacionadas con fluidos. Estas ecuaciones son importantes en muchos campos científicos, incluida la investigación del plasma que respalda el desarrollo de energía de fusión para la red eléctrica.
Los investigadores descubrieron que las comparaciones entre los métodos de aprendizaje automático y los métodos tradicionales para resolver PDE relacionadas con fluidos a menudo están sesgadas a favor de los métodos de aprendizaje automático. También encontraron que los resultados adversos no se informaban sistemáticamente. Proponen principios para hacer comparaciones justas, pero argumentan que también se necesitan cambios culturales para solucionar problemas sistémicos.
“Nuestra investigación muestra que, aunque el aprendizaje automático tiene un gran potencial, la literatura existente presenta un panorama demasiado optimista”, dijo Ammar Hakeem, subdirector de ciencia computacional e investigador principal de PPPL, explica cómo funciona el aprendizaje automático para resolver estos tipos específicos de ecuaciones. “. Investigación
Comparando resultados con bases débiles
Las PDE son omnipresentes en física y son particularmente útiles para describir fenómenos naturales, como el calor, el flujo de fluidos y las ondas. Por ejemplo, este tipo de ecuación se puede utilizar para encontrar la temperatura a lo largo de una cuchara colocada en una sopa caliente. Conociendo las temperaturas iniciales de la sopa y la cuchara, así como el tipo de metal en la cuchara, el PDE se puede utilizar para determinar la temperatura en cualquier punto del recipiente en un momento dado después de haber sido colocado en la sopa. Estas ecuaciones se utilizan en física del plasma, porque muchas de las ecuaciones que gobiernan los plasmas son matemáticamente similares a las de los fluidos.
Los científicos e ingenieros han desarrollado varios métodos matemáticos para resolver PDE. Un enfoque se conoce como métodos numéricos porque resuelve problemas numéricamente, en lugar de analítica o simbólicamente, para encontrar soluciones aproximadas a problemas que son difíciles o imposibles de resolver. Recientemente, los investigadores han explorado si el aprendizaje automático se puede utilizar para resolver estas PDE. El objetivo es resolver problemas más rápido que otros métodos.
Una revisión sistemática encontró que el aprendizaje automático no ha tenido tanto éxito como se anuncia en la mayoría de los artículos de revistas. “Nuestra investigación muestra que puede haber algunos casos en los que el aprendizaje automático puede ser un poco más rápido para resolver PDE fluidas, pero en la mayoría de los casos, los métodos numéricos son más rápidos”, dijo Nick McGreevy. McGreivy es el autor principal del artículo y recientemente completó un doctorado en el programa de física del plasma de Princeton.
Los métodos numéricos tienen un compromiso fundamental entre precisión y tiempo de ejecución. “Si dedicas más tiempo a resolver el problema, obtendrás una respuesta más precisa”, dijo McGreevy. “Muchos artículos no tuvieron esto en cuenta en sus comparaciones”.
Además, puede haber diferencias dramáticas en la velocidad entre los métodos numéricos. Para que sean útiles, los métodos de aprendizaje automático deben superar a los mejores métodos numéricos, afirmó McGreevy. Sin embargo, su investigación encontró que las comparaciones a menudo se hacían con métodos numéricos que eran mucho más lentos que los métodos más rápidos.
Dos principios de comparación justa
En consecuencia, el artículo propone dos principios para intentar superar estos problemas. El primer principio es que los métodos de aprendizaje automático deben compararse con métodos numéricos para obtener la misma precisión o el mismo tiempo de ejecución. El segundo es comparar métodos de aprendizaje automático con un método numérico eficiente.
De los 82 artículos de revistas estudiados, 76 afirmaron que los métodos de aprendizaje automático funcionaron mejor que los métodos numéricos. Los investigadores encontraron que el 79 por ciento de los artículos que calificaron el método de aprendizaje automático como superior en realidad tenían una base débil, rompiendo al menos uno de estos principios. Cuatro artículos de revistas afirmaron un rendimiento inferior que el método numérico, y dos artículos afirmaron un rendimiento igual o diferente.
“Pocos artículos informaron un peor rendimiento con el aprendizaje automático”, dijo McGreivy, “no porque el aprendizaje automático sea casi siempre mejor, sino porque los investigadores casi nunca publican artículos donde el aprendizaje automático sea peor”, dijo McGreivy.
McGreevy cree que el listón bajo a menudo se compara con incentivos perversos en las publicaciones académicas. “Para que un artículo sea aceptado, ayuda a obtener resultados impresionantes. Te anima a hacer que tu modelo de aprendizaje automático funcione lo mejor posible, lo cual es bueno. Sin embargo, eres impresionante. “Los resultados también se pueden obtener si no “No te va muy bien en comparación con la línea de base, lo que a su vez no te motiva a mejorar tu línea de base, lo cual es malo”. El resultado neto es que los investigadores trabajan duro en sus modelos, pero no principalmente en encontrar el mejor método numérico posible para la comparación.
Los investigadores también encontraron evidencia de sesgo de información, incluido el sesgo de publicación y el sesgo de información de resultados. El sesgo de publicación ocurre cuando un investigador decide no publicar sus resultados después de darse cuenta de que su modelo de aprendizaje automático no funciona mejor que los métodos numéricos, mientras que los resultados subestimados pueden incluir descartar resultados negativos o utilizar medidas de éxito no estándar que genera la máquina. Los modelos de aprendizaje parecen tener más éxito. En conjunto, los sesgos en los informes tienden a suprimir los resultados negativos y dan la impresión general de que el aprendizaje automático es mejor para resolver PDE relacionadas con fluidos.
“Hay mucho revuelo en este campo. Esperemos que nuestro trabajo ofrezca pautas para un enfoque basado en principios para utilizar el aprendizaje automático para mejorar el estado del arte”, dijo Hakeem.
Para superar estos problemas culturales sistémicos, Hakeem sostiene que las agencias de financiación para la investigación y las conferencias importantes deberían adoptar políticas para evitar el uso de líneas de base débiles o limitar la línea de base utilizada y sus opciones. Se necesita una explicación más detallada de las razones de esto. “Necesitan alentar a sus investigadores a cuestionar sus propios hallazgos”, afirmó Hakeem. “Si obtengo resultados que suenan demasiado buenos para ser verdad, probablemente lo sean”.
Este trabajo fue apoyado por fondos de las subvenciones DOE DE-AC02-09CH11466 y DE-AC02-09CH11466.
