VALIDACIÓN DE UN SISTEMA DE PROCESAMIENTO DEL LENGUAJE NATURAL PARA LA LECTURA E INTERPRETACIÓN DE EVOLUCIONES EN LA HISTORIA CLÍNICA ELECTRÓNICA EN UNA COHORTE DE PACIENTES CON CÁNCER DE PRÓSTATA METASTÁSICO SENSIBLE A LA CASTRACIÓN (#21954)
Objetivos
Evaluar el desempeño diagnóstico de una herramienta de procesamiento de lenguaje natural (PLN) entrenada en el Hospital Italiano de Buenos Aires (HIBA) para identificar pacientes con diagnóstico de cáncer de próstata metastásico sensible a la castración (cpmsc) utilizando como estándar de referencia la búsqueda manual realizada por expertos en urooncología de la institución.
Materiales y Métodos
Se realizó un estudio observacional con un diseño de cohorte retrospectivo con análisis de test diagnóstico. Primero se desarrolló una secuencia clásica de PLN, que realiza tokenización, análisis sintáctico, reconocimiento de entidades con nombre y reglas de contexto para identificar negaciones o especulaciones. Para su entrenamiento se utilizaron los registros de texto libre de la base de datos estructurada de 194 pacientes incluidos en la serie cpmsc del HIBA publicada previamente. Para procesar los registros de texto se implementó el sistema ARGOT, que permite el reconocimiento de entidades mapeadas con códigos de terminología HIBA. Tras generar el modelo se realizó la validación del mismo con todos los pacientes tratados por los servicios de oncología y urología del HIBA en los últimos 10 años. Se midieron la *Precisión* -Verdaderos positivos / (Verdaderos positivos + Falsos positivos) - , el *Recall* -Verdaderos positivos / (Verdaderos positivos + Falsos negativos) - y el *score F1*, el cual se utiliza para combinar las medidas de precisión y recall en un único valor.
*El proyecto fue financiado a través de un Grant de Pfizer: "Evaluación de las necesidades del cáncer de próstata en América Latina"*
*El proyecto fue financiado a través de un Grant de Pfizer: "Evaluación de las necesidades del cáncer de próstata en América Latina"*
Resultados
La variable "diagnóstico de cáncer de próstata" tuvo una recall de 0,95, y para la "detección del desarrollo de metástasis" fue de 0,91. Al evaluar el "inicio del tratamiento de primera línea", la precisión, el recall y el score F1 fueron de 0,94, 0,97 y 0,95, respectivamente. La "detección del desarrollo de resistencia a la castración" mostró una precisión de 0,87 con una recall de 0,46 y un score F1 de 0,60. La "progresión por PSA" mostró una precisión de 0,88, con una recall de 0,63 y un score F1 de 0,73. La identificación de los lugares de metástasis fue variable.
Conclusiones
Para el "diagnóstico de enfermedad metastásica" en la muestra seleccionada de pacientes, la herramienta logró una recall adecuada , sin embargo el rendimiento de otras variables fue desigual. Para el "diagnóstico de la resistencia a la castración" y otras variables más complejas las métricas fueron inadecuadas. Es importante continuar mejorando el modelo para generar evidencia del mundo real, por lo que se encuentra en desarrollo la fase 2 del proyecto con nuevos modelos de inteligencia artificial basado en grandes modelos de lenguaje.
Tipo: Comunicaciones Libres
Palabras clave: Inteligencia Artificial,Informatica Medica,Cancer de prostata
Categorias: Informática Médica, Oncología
Institución: HIBA
Ciudad: Buenos Aires ,
País: Argentina