No se pierda a los líderes de OpenAI, Chevron, Nvidia, Kaiser Permanente y Capital One únicamente en VentureBeat Transform 2024. Obtenga información esencial sobre GenAI y amplíe su red en este evento exclusivo de tres días. Más información Se presentan cuatro modelos de lenguaje grande (LLM) de última generación con una imagen de lo que parece una roca de color malva. En realidad, es un tumor ocular potencialmente grave, y a los modelos se les pregunta sobre su ubicación, origen y posible extensión. LLaVA-Med identifica el crecimiento maligno en el revestimiento interno de la mejilla (incorrecto), mientras que LLaVA dice que está en el seno (aún más incorrecto). Mientras tanto, GPT-4V ofrece una respuesta vaga y larga y no puede identificar dónde está en absoluto. Pero PathChat, un nuevo LLM específico de patología, vincula correctamente el tumor al ojo, informando que puede ser importante y provocar pérdida de visión. Desarrollado en el Laboratorio Mahmood del Hospital Brigham and Women’s, PathChat representa un gran avance en patología computacional. Puede servir como una especie de consultor para que los patólogos humanos ayuden a identificar, evaluar y diagnosticar tumores y otras afecciones graves. Cuenta atrás para VB Transform 2024 Únase a los líderes empresariales en San Francisco del 9 al 11 de julio para nuestro evento emblemático de IA. Conéctese con pares, explore las oportunidades y desafíos de la IA generativa y aprenda cómo integrar aplicaciones de IA en su industria. Regístrese ahora PathChat funciona significativamente mejor que los modelos líderes en preguntas de diagnóstico de opción múltiple y también puede generar respuestas clínicamente relevantes a consultas abiertas. A partir de esta semana, se ofrecerá a través de una licencia exclusiva con la empresa de IA biomédica Modella AI, con sede en Boston. «PathChat 2 es un modelo de lenguaje multimodal de gran tamaño que comprende imágenes de patología y texto clínicamente relevante y básicamente puede mantener una conversación con un patólogo», explicó Richard Chen, director tecnológico fundador de Modella, en un vídeo de demostración. PathChat funciona mejor que ChatGPT-4, LLaVA y LLaVA-Med Al crear PathChat, los investigadores adaptaron un codificador de visión para patología, lo combinaron con un LLM previamente capacitado y lo perfeccionaron con instrucciones de lenguaje visual y turnos de preguntas y respuestas. Las preguntas cubrieron 54 diagnósticos de 11 prácticas de patología y sitios de órganos importantes. Cada pregunta incorporó dos estrategias de evaluación: una imagen y 10 preguntas de opción múltiple; y una imagen con contexto clínico adicional como sexo del paciente, edad, historia clínica y hallazgos radiológicos. Cuando se le presentaron imágenes de radiografías, biopsias, diapositivas y otras pruebas médicas, PathChat funcionó con un 78 % de precisión (solo en la imagen) y un 89,5 % de precisión (en la imagen con contexto). El modelo pudo resumir, clasificar y titular; podría describir detalles morfológicos notables; y respondió preguntas que generalmente requieren conocimientos previos en patología y biomedicina general. Los investigadores compararon PathChat con ChatGPT-4V, el modelo LLaVA de código abierto y el LLaVA-Med específico del dominio biomédico. En ambos entornos de evaluación, PathChat superó a los tres. Solo en imágenes, PathChat obtuvo una puntuación más de un 52 % mejor que LLaVA y más de un 63 % mejor que LLaVA-Med. Cuando se le proporcionó el contexto clínico, el nuevo modelo funcionó un 39 % mejor que LLaVA y casi un 61 % mejor que LLaVA-Med. De manera similar, PathChat funcionó más de un 53 % mejor que GPT-4 con indicaciones de solo imágenes y un 27 % mejor con indicaciones que brindan contexto clínico. Faisal Mahmood, profesor asociado de patología en la Facultad de Medicina de Harvard, dijo a VentureBeat que, hasta ahora, los modelos de IA para patología se han desarrollado en gran medida para enfermedades específicas (como el cáncer de próstata) o tareas específicas (como identificar la presencia de células tumorales). Una vez entrenados, estos modelos normalmente no pueden adaptarse y, por lo tanto, los patólogos no pueden utilizarlos de una «manera intuitiva e interactiva». «PathChat nos lleva un paso adelante hacia la inteligencia de patología general, un copiloto de IA que puede ayudar de manera interactiva y amplia tanto a investigadores como a patólogos en muchas áreas diferentes de patología, tareas y escenarios», dijo Mahmood a VentureBeat. Ofreciendo consejos de patología informados En un ejemplo del mensaje de opción múltiple solo con imágenes, a PathChat se le presentó el escenario de un hombre de 63 años que experimentó tos crónica y pérdida de peso involuntaria durante los 5 meses anteriores. Los investigadores también observaron en una radiografía de tórax una masa densa y puntiaguda. Cuando se le dieron 10 opciones de respuesta, PathChat identificó la afección correcta (adenocarcinoma de pulmón). Mientras tanto, en el método rápido complementado con el contexto clínico, a PathChat se le dio una imagen de lo que para el profano parece un primer plano de chispas azules y moradas sobre un trozo de pastel, y se le informó: “Este tumor se encontró en el hígado de un paciente. ¿Es un tumor primario o una metástasis? El modelo identificó correctamente el tumor como metástasis (lo que significa que se está propagando) y señaló que “la presencia de células fusiformes y células que contienen melanina respalda aún más la posibilidad de un melanoma metastásico. El hígado es un sitio común para la metástasis del melanoma, especialmente cuando se ha diseminado desde la piel”. Mahmood señaló que el resultado más sorprendente fue que, al entrenarse en conocimientos integrales de patología, el modelo pudo adaptarse a tareas posteriores como el diagnóstico diferencial (cuando los síntomas coinciden con más de una condición) o la clasificación de tumores (clasificar un tumor según su agresividad). a pesar de que no se le proporcionaron datos de entrenamiento etiquetados para tales casos. Describió esto como un “cambio notable” con respecto a investigaciones anteriores, donde el entrenamiento de modelos para tareas específicas, como predecir el origen de tumores metastásicos o evaluar el rechazo de un trasplante de corazón, generalmente requiere “miles, si no decenas de miles, de ejemplos etiquetados específicos para la tarea”. para lograr un desempeño razonable”. Ofreciendo asesoramiento clínico y apoyando la investigación En la práctica, PathChat podría respaldar el diagnóstico humano, en el que una evaluación inicial asistida por IA podría ir seguida de un contexto, señalan los investigadores. Por ejemplo, como en los ejemplos anteriores, el modelo podría ingerir una imagen histopatológica (un examen microscópico del tejido), proporcionar información sobre la apariencia estructural e identificar posibles características de malignidad. El patólogo podría entonces aportar más información sobre el caso y solicitar un diagnóstico diferencial. Si esa sugerencia se considera razonable, el usuario humano podría pedir consejo sobre pruebas adicionales, y el modelo podría recibir posteriormente los resultados para llegar a un diagnóstico. Esto, señalan los investigadores, podría ser particularmente valioso en casos con exámenes más largos y complejos, como los cánceres de origen primario desconocido (cuando las enfermedades se han propagado desde otra parte del cuerpo). También podría resultar valioso en entornos de bajos recursos donde el acceso a patólogos experimentados es limitado. Mientras tanto, en la investigación, un copiloto de IA podría resumir características de grandes cohortes de imágenes y potencialmente respaldar la cuantificación e interpretación automatizadas de marcadores morfológicos en grandes cohortes de datos. «Las aplicaciones potenciales de un copiloto de IA multimodal interactivo para patología son inmensas», escriben los investigadores. «Los LLM y el campo más amplio de la IA generativa están preparados para abrir una nueva frontera para la patología computacional, una que enfatiza el lenguaje natural y la interacción humana». Implicaciones más allá de la patología Si bien PathChat presenta un gran avance, todavía existen problemas con las alucinaciones, que podrían mejorarse con el aprendizaje reforzado a partir de la retroalimentación humana (RLHF), señalan los investigadores. Además, aconsejan que los modelos deben entrenarse continuamente con conocimientos actualizados para que sean conscientes de los cambios en la terminología y las pautas; por ejemplo, la generación aumentada de recuperación (RAG) podría ayudar a proporcionar una base de datos de conocimientos continuamente actualizada. Mirando más allá, los modelos podrían resultar aún más útiles para patólogos e investigadores con integraciones como visores de diapositivas digitales o registros médicos electrónicos. Mahmood señaló que PathChat y sus capacidades podrían extenderse a otras especialidades de imágenes médicas y modalidades de datos como la genómica (el estudio del ADN) y la proteómica (estudio de proteínas a gran escala). Los investigadores de su laboratorio planean recopilar grandes cantidades de datos de retroalimentación humana para alinear aún más el comportamiento del modelo con la intención humana y mejorar las respuestas. También integrarán PathChat con las bases de datos clínicas existentes para que el modelo pueda ayudar a recuperar información relevante del paciente para responder preguntas específicas. Además, Mahmood señaló: «Planeamos trabajar con patólogos expertos de muchas especialidades diferentes para seleccionar puntos de referencia de evaluación y evaluar de manera más integral las capacidades y utilidad de PathChat en diversos modelos de enfermedades y flujos de trabajo». VB Daily ¡Manténgase informado! Reciba las últimas noticias en su bandeja de entrada diariamente. Al suscribirse, acepta los Términos de servicio de VentureBeat. Gracias por suscribirte. Consulte más boletines de VB aquí. Ocurrió un error.