El aprendizaje por refuerzo, un enfoque de inteligencia artificial, tiene el potencial de guiar a los médicos en el diseño de estrategias de tratamiento secuenciales para obtener mejores resultados para los pacientes, pero requiere una mejora significativa antes de que pueda implementarse en entornos clínicos, afirmó Weill en un nuevo estudio realizado por investigadores de Cornell Medicine y la Universidad Rockefeller. muestra.
El aprendizaje por refuerzo (RL) es una clase de algoritmos de aprendizaje automático capaces de tomar una serie de decisiones a lo largo del tiempo. Responsable de los avances recientes en IA, incluido el rendimiento sobrehumano en ajedrez y Go, RL puede utilizar las condiciones cambiantes de un paciente, los resultados de las pruebas y las respuestas de tratamientos anteriores para sugerir el siguiente mejor paso en la atención personalizada del paciente. Este enfoque es particularmente prometedor para la toma de decisiones en el tratamiento de enfermedades crónicas o psiquiátricas.
Investigación publicada en Actas de la Conferencia sobre sistemas de procesamiento de información neuronal (NeurIPS). y presentado el 13 de diciembre, presentó “Episodios de atención” (EpiCare), el primer estándar de RL para atención médica.
“Los puntos de referencia han llevado a mejoras en las aplicaciones de aprendizaje automático, incluida la visión por computadora, el procesamiento del lenguaje natural, el reconocimiento de voz y los vehículos autónomos. Esperamos que ahora impulsen el desarrollo de la RL en la atención médica”, dijo el Dr. Logan Grusnick, profesor asistente de medicina. neurociencia en psiquiatría, quien dirigió la investigación.
Los agentes de RL optimizan sus acciones en función del feedback que reciben, aprendiendo gradualmente una política que mejora su toma de decisiones. “Sin embargo, nuestros resultados muestran que, aunque los métodos actuales son prometedores, necesitan muchos datos”, añade el Dr. Grosnik.
Los investigadores primero probaron el rendimiento de cinco modelos RL en línea de última generación en EpiCare. Los cinco superaron una línea de base de atención estándar, pero sólo después de entrenar en miles o decenas de miles de episodios de tratamiento simulados realistas. En el mundo real, los métodos de RL nunca se entrenarían directamente en los pacientes, por lo que los investigadores examinaron a continuación cinco métodos comunes de “evaluación fuera de políticas” (OPE): se utilizarán métodos populares dirigidos a datos históricos (como los ensayos clínicos). para prevenir Utilizando EpiCare, un requisito de recopilación de datos en línea, descubrieron que los métodos OPE de última generación no funcionaban bien con los datos de atención médica.
“Nuestros hallazgos muestran que no se confía en que los métodos OPE de última generación predigan con precisión el rendimiento del aprendizaje por refuerzo en escenarios longitudinales de atención médica”, dijo el primer autor, el Dr. Mason Hargrave, investigador de la Universidad Rockefeller. A medida que los métodos OPE se discuten cada vez más para aplicaciones de atención médica, este hallazgo es útil para desarrollar herramientas de evaluación comparativa más precisas, como EpiCare, para auditar los enfoques de RL existentes y proporcionar métricas para medir las mejoras.
“Esperamos que este trabajo facilite una evaluación más confiable del aprendizaje por refuerzo en entornos de atención médica y ayude a acelerar el desarrollo de algoritmos RL y protocolos de capacitación adecuados para aplicaciones clínicas”, dijo el Dr. Grusnick.
Adaptación de redes neuronales convolucionales para interpretar datos gráficos
En una segunda publicación de NeurIPS presentada el mismo día, el Dr. Grosenick compartió su investigación sobre la adaptación de redes neuronales convolucionales (CNN), que se utilizan ampliamente para procesar imágenes, para identificar cerebros, genes o proteínas, como se puede hacer con datos gráficos ordinarios. Redes El éxito generalizado de las CNN para tareas de reconocimiento de imágenes a principios de la década de 2010 sentó las bases para la era moderna del “aprendizaje profundo” y las aplicaciones de inteligencia artificial impulsadas por redes neuronales con CNN. Las CNN se utilizan en muchas aplicaciones, incluido el reconocimiento facial, los vehículos autónomos y el análisis de imágenes médicas.
“A menudo estamos interesados en analizar datos de neuroimagen que son similares a gráficos en lugar de imágenes, con vértices y bordes. Pero nos dimos cuenta de que no había nada disponible que realmente pudiera usarse para datos estructurados en gráficos como las CNN y equivalentes a las CNN profundas”. Dijo el Dr. Grosnik.
Las redes cerebrales generalmente se representan como gráficos donde las regiones del cerebro (representadas como líneas verticales) propagan información a otras regiones del cerebro (verticales) con “bordes” que conectan las conexiones entre ellas. Esto también se aplica a las redes de genes y proteínas, a los datos de comportamiento humano y animal y a la geometría de compuestos químicos como las drogas. Al analizar directamente dichos gráficos, podemos modelar con mayor precisión las dependencias y patrones entre conexiones locales y más distantes.
Isaac Osafo Nkansah, un investigador asociado que estaba en el laboratorio de Grosenick en el momento del estudio y primer autor del artículo, ayudó a desarrollar el marco de redes convolucionales de gráficos cuantificados (QuantNets) que generaliza las CNN en gráficos. “Ahora lo estamos usando para modelar datos de EEG (actividad eléctrica cerebral) en pacientes. Podemos tener una red de 256 sensores en el cuero cabelludo que pueden tomar lecturas de la actividad neuronal; es un gráfico”, dijo el Dr. Grosnik. “Estamos tomando estos gráficos grandes y reduciéndolos a componentes más interpretables para comprender mejor cómo cambia la conectividad cerebral cuando los pacientes reciben tratamiento para la depresión o el trastorno obsesivo-compulsivo”.
Los investigadores predicen una amplia gama de aplicaciones para QuantNets. Por ejemplo, también están buscando modelar datos de pose estructurados en gráficos para rastrear el comportamiento en las expresiones faciales humanas extraídas utilizando modelos de ratón y visión por computadora.
“Si bien todavía estamos navegando por la seguridad y la complejidad de aplicar los últimos enfoques de IA a la atención al paciente, cada paso adelante, ya sea un nuevo marco de evaluación comparativa o un modelo más preciso, nos acerca gradualmente a las estrategias de tratamiento personalizadas. mejorar profundamente los resultados de salud de los pacientes”, concluyó el Dr. Grosnick.
