Científicos del Centro Alemán de Investigación del Cáncer (DKFZ) han desarrollado y probado con éxito un chatbot basado en inteligencia artificial junto con médicos de la clínica urológica del Hospital Universitario de Mannheim. “Eurobot” pudo responder las preguntas de los exámenes de especialistas en urología con un alto grado de precisión, superando tanto a otros modelos de lenguaje como a la precisión de los urólogos experimentados. El modelo justifica sus respuestas en detalle basándose en las instrucciones.
Con los avances en oncología personalizada, las pautas urológicas son cada vez más complejas. Ya sea en la junta de tumores, en la sala o en la práctica, un sistema preciso de segunda opinión para decisiones clínicas en urología puede ayudar a los médicos a brindar atención personalizada y basada en evidencia, especialmente cuando el tiempo o la capacidad son limitados.
Los modelos de lenguaje grande (LLM), como GPT-4, tienen la capacidad de recuperar conocimiento clínico y responder preguntas clínicas complejas sin capacitación adicional. Sin embargo, su aplicación en la práctica clínica suele verse limitada por datos de formación obsoletos y falta de claridad. Para superar estos obstáculos, un equipo dirigido por Titus Brinker de DKFZ desarrolló “UroBot”, un chatbot especializado en urología que cumple con las directrices actuales de la Sociedad Europea de Urología.
UroBot se basa en GPT-4o, el modelo de lenguaje más potente de OpenAI. Utiliza un método personalizado de generación aumentada de recuperación (RAG) capaz de extraer información relevante de cientos de documentos para proporcionar respuestas precisas e interpretables a consultas individuales. El modelo modificado se probó en 200 preguntas de expertos de la Junta Europea de Urología y se probó en varias rondas.
UroBot-4o respondió correctamente a las preguntas en el 88,4 por ciento de los casos de prueba de expertos, superando al modelo de última generación GPT-4o en 10,8 puntos porcentuales. Esto significa que UroBot no sólo supera a otros modelos de lenguaje, sino que también supera el rendimiento promedio de los urólogos en pruebas de expertos, que según la literatura es del 68,7 %. Además, UroBot exhibe una alta confiabilidad y consistencia en sus respuestas.
Las respuestas de Eurobot pueden ser verificadas por expertos médicos, ya que el software identifica fuentes de decisión y secciones de texto: “Los estudios son extensos con pautas basadas en evidencia para mejorar el desempeño en campos médicos especializados”. Demuestra la capacidad de integrar modelos de lenguaje y alta precisión. al mismo tiempo hacer de UroBot un prometedor sistema de apoyo para la atención al paciente”. El uso de modelos de lenguaje inteligible como UroBot será fundamental en la atención al paciente en los próximos años y ayudará a garantizar una atención basada en directrices en todos los ámbitos. A medida que las decisiones terapéuticas se vuelven cada vez más complejas”, dice Brinker.
El equipo de investigación ha publicado código e instrucciones para utilizar EuroBot para permitir futuros avances en urología y otros campos médicos.
