Publicación:

Modelado y optimización del Trade-off Cómputo–Memoria mediante estrategias de rematerialización en entrenamiento de redes neuronales.

Resumen

Durante el entrenamiento de redes neuronales profundas, la etapa de retropropagación exige retener en memoria las activaciones intermedias generadas en el forward pass, lo que provoca un consumo de memoria que restringe el tamaño de lote viable y, en dispositivos con recursos acotados, puede hacer inviable el entrenamiento de modelos de gran escala. La rematerialización de activaciones es una técnica que mitiga este problema descartando selectivamente dichas activaciones y recomputándolas cuando se necesitan durante la retropropagación, trasladando así la presión del sistema de memoria hacia el presupuesto de cómputo. Este trabajo desarrolló un estudio experimental y de modelado predictivo de ese compromiso. Se construyó un conjunto de datos de 2.064 configuraciones de entrenamiento, obtenidas mediante perfilado con PyTorch Profiler sobre seis arquitecturas de referencia (MLP-3, MLP-5, MLP-7, LeNet-5, AlexNet y VGG-16) ejecutadas en dos GPU de distinta familia (NVIDIA y AMD), empleando la infraestructura del supercomputador GUANE de la Unidad SC3–VIE de la UIS. Sobre estos datos se entrenaron el SGD Regressor y Random Forest que alcanzaron, en el conjunto de prueba, R2 = 0,8594 para el tiempo total y R2 = 0,8330 para el consumo de memoria. La validación mediante las pruebas estadísticas mostró que aplicar rematerialización produce diferencias significativas tanto en memoria como en tiempo frente al entrenamiento sin la técnica, mientras que la elección entre las variantes selectiva y uniforme no introduce diferencias estadísticamente distinguibles del ruido experimental. El análisis desagregado por arquitectura permitió establecer lineamientos concretos: en redes MLP y LeNet-5 la técnica no reporta beneficio; en AlexNet ofrece mejoras moderadas; y en VGG-16 reduce el consumo de memoria, con un sobrecoste computacional acotado. Estos resultados proveen criterios reproducibles para seleccionar y configurar estrategias de rematerialización en entornos académicos e industriales con restricciones de hardware.