VOLVER

Share

Desarrollan un método que mejora la evaluación de la calidad en la predicción de los sistemas de diagnóstico médico

Investigadores de la Universidad Pablo de Olavide han propuesto un método innovador para la evaluación de sistemas de diagnóstico, denominado curva IMCP, que muestra el rendimiento de la clasificación y, por otro lado, identifica para qué valores de la variable objetivo el modelo está ofreciendo mejor o peor calidad en la predicción. 

Fuente: Universidad Pablo de Olavide


Sevilla |
08 de julio de 2024

En el campo de la biomedicina, la evaluación de la calidad de los sistemas de diagnóstico es fundamental para garantizar que se aplican soluciones adecuadas. En los modelos predictivos tiene especial relevancia el hecho de que los valores objeto de estudio son de distinta clase (multiclase) y estas clases a su vez presentan una gran variedad en su frecuencia. Es lo que se conoce como desbalanceo o desequilibrio de datos.

En contextos médicos es de suma importancia disponer de un método capaz de mostrar la calidad del sistema en cuanto a las predicciones que realiza. Hasta ahora, para evaluar de forma gráfica la calidad de un sistema de diagnóstico solo existía la curva ROC (Receiver Operating Characteristic), un análisis utilizado para medir el coste/beneficio de decisiones diagnósticas, pero que no funciona con conjuntos de datos multiclase como, por ejemplo, distintos tipos de tumores.

El investigador de la Universidad Pablo de Olavide Jesús Aguilar.

Investigadores del grupo Data Analytics Science & Engineering, liderado por Jesús Aguilar, catedrático de Lenguajes y Sistemas Informáticos de la Universidad Pablo de Olavide, en colaboración con Marcin Michalak, investigador de la Silesian University of Technology (Polonia), han propuesto un método innovador para la evaluación de sistemas de diagnóstico, denominado curva IMCP, que muestra el rendimiento de la clasificación y, por otro lado, identifica para qué valores de la variable objetivo el modelo está ofreciendo mejor o peor calidad en la predicción.

La curva IMPC (Imbalanced Multiclass Classification Performance) ha sido evaluada en la predicción de 35 tipos de tumores a partir de una colección de 6.756 muestras de tumores metastásicos y primarios obtenidos por la Hartwig Medical Foundation (Países Bajos) y el Pan-Cancer Analysis of Whole Genomes Consortium, analizando un total de 511 características. Como resultado, se revela que un modelo predictivo para tumores aparentemente fiable (92,4% de exactitud en la predicción), podría mostrar un comportamiento desigual para diferentes tipos de tumores (bueno en la predicción de melanoma, pero malo en el caso de sarcoma), lo que necesariamente debería conducir a un examen humano más detallado en el caso de ciertos tipos de tumores, en consonancia con la fiabilidad del sistema de diagnóstico para esos casos.

Descripción de la metodología usada para la curva IMCP.

El análisis propuesto por Aguilar y Michalak permite evaluar el rendimiento para cada valor por separado. De este modo, revela en qué casos el rendimiento global oculta distintos resultados para diferentes tipos de valores (multiclase). Así, si el rendimiento global es del 92,4%, podría darse el caso en que el sistema diagnostique el melanoma con una exactitud del 98,6%, pero el sarcoma con 17,5%. Por tanto, la curva IMCP posibilita identificar la fiabilidad de la predicción a partir de conjuntos de datos de distinta clase.

El método, basado en el cálculo de distancias de funciones de distribución de probabilidad, es aplicable en contextos en donde la curva ROC no puede usarse, cubriendo un vacío existente en la actualidad en el campo de machine learning, con utilidad en multitud de disciplinas.

La curva IMCP puede visualizarse con facilidad a partir de las probabilidades de asignación a cada valor de la variable objetivo proporcionadas por el sistema de diagnóstico, mediante el uso de una librería implementada en Python, de acceso libre y código abierto, publicada en https://github.com/adaa-polsl/imcp. El trabajo ha sido publicado por la editorial Springer-Nature.

Referencia:

Aguilar-Ruiz, J.S., Michalak, M. ‘Classification performance assessment for imbalanced multiclass data’. Scientific Reports 14, 10759 (2024).


Share

Últimas publicaciones

Descubren en Porcuna el primer molde de piedra para producir monedas documentado en la Península Ibérica
Jaén | 17 de octubre de 2025

El importante hallazgo de esta pieza, de más de 2.000 años de antigüedad, ha sido realizado por investigadores de la UJA en el yacimiento de Obulco y permite reconstruir parte del proceso técnico de acuñación en época ibérica y republicana. A diferencia de otros hallazgos de moldes monetales en el mundo romano, el molde de Obulco parece haber sido abandonado en el mismo lugar donde se utilizó. 

Sigue leyendo
Identifican las áreas cerebrales que se activan para detectar la desinformación
Jaén | 15 de octubre de 2025

Un equipo de investigación de la Universidad de Jaén halla, mediante encefalograma, que las regiones del cerebro relacionadas con el aprendizaje y la memoria, así como la vinculada a la toma de decisiones se ‘despiertan’ al visionar una campaña institucional sobre información maliciosa. Esta acción informativa actúa como una ‘vacuna’ que alerta a los usuarios de que apliquen sus ‘defensas cognitivas’ para analizar los mensajes de forma crítica. Así se reduce la tendencia a compartir y creer en elementos de las redes sociales.

Sigue leyendo
Un equipo de investigadores identifican una enzima clave en la Atrofia Muscular Espinal
Sevilla | 14 de octubre de 2025

Un estudio interdisciplinar de la Universidad Pablo de Olavide y la Universidad de Lleida avanza en el conocimiento de la Atrofia Muscular Espinal (AME), considerada como una enfermedad rara que afecta a uno de cada ocho mil nacimientos y que tiene la tasa de mortalidad más alta de todas las enfermedades hereditarias. El equipo de investigación ha propuesto un fármaco ya existente como terapia.

Sigue leyendo

#CienciaDirecta

Tu fuente de noticias sobre ciencia andaluza

Más información Suscríbete

Ir al contenido