Publicación:

Eficiencia computacional de la implementación de algoritmos en aplicaciones Deep Learning para salud en arquitecturas de gran escala

Resumen

El despliegue de modelos de Deep Learning para el diagnóstico médico está dominado por arquitecturas sobredimensionadas, cuyo costo computacional y energético las vuelve inviables en entornos con recursos computacionales limitados; por esto, los desafíos actuales en el campo del Deep Learning, exigen metodologías que permitan construir modelos compactos, precisos y energéticamente sostenibles sin sacrificar el desempeño diagnóstico. Esta tesis aborda ese problema proponiendo, implementando y validando un marco de trabajo (framework) que consta de tres fases encadenadas de extremo a extremo donde la primera fase se encarga de la búsqueda generativa de arquitecturas neuronales, la segunda fase realiza transferencia de conocimiento mediante la destilación y la tercera realiza un análisis de consumo y eficiencia energética durante la inferencia, todo ello validado en la clasificación multietiqueta de radiografías de tórax del conjunto de datos CheXpert. La primera etapa es GenENAS (Generative Enhanced Neural Architecture Search), un método automático de búsqueda de arquitecturas neuronales que emplea modelos de lenguaje de gran escala (GPT-4 y Llama~2) como optimizadores de caja negra: el LLM propone iterativamente arquitecturas que se entrenan y evalúan, retroalimentándose con el AUC-ROC obtenido. La arquitectura resultante (1.91 M de parámetros, 7.28 MB de memoria, AUC-ROC=0.869) es aproximadamente 30 veces más pequeña que ResNet-152 (58.15 M de parámetros, 232.62 MB, AUC-ROC = 0.875), con una brecha de desempeño de apenas 0.006 puntos en AUC-ROC, lo que evidencia el sobredimensionamiento de las arquitecturas estándar para esta tarea. La segunda etapa transfiere, mediante la destilación de conocimiento, la capacidad predictiva de un modelo maestro mucho mayor (en las pruebas se usó DenseNet-121 con 6.96 M de parámetros, 26.87 MB de memoria) a modelos estudiantes ligeros y compactos (GenENAS encontrado en la primera etapa, MobileNet V2 y EfficientNet-B0). El mejor estudiante destilado iguala prácticamente al maestro en AUC-ROC (0.884 frente a 0.891) con una reducción del 67.9% en el tamaño y el número de parámetros, lo que evidencia que la destilación mejora de forma consistente a todos los estudiantes evaluados. La tercera etapa cuantifica el impacto energético en la inferencia: los modelos compactos destilados reducen en cerca de un 45% el consumo energético y la huella de carbono y prácticamente duplican la eficiencia energética integrada (AUC-ROC por julio) respecto al maestro. En conjunto, la investigación demuestra que la combinación de búsqueda generativa de arquitecturas, destilación de conocimiento y diseño consciente del uso de la energía permite construir modelos robustos, estables y sostenibles, desplegables en dispositivos con recursos limitados y sin dependencia de la nube, promoviendo la democratización de la inteligencia artificial médica en consonancia con el paradigma de la Green AI.