Cuantización de parámetros con A-Connect
Loading...
Date
2022-04-01
Advisors
Journal Title
Journal ISSN
Volume Title
Publisher
Universidad Industrial de Santander
Abstract
Los algoritmos de aprendizaje profundo logran una alta precisión de clasificación a expensas de un costo de cálculo significativo: los resultados se obtienen utilizando grandes conjuntos de entrenamiento y modelos grandes. Una red neuronal muy profunda normalmente involucra muchas capas con millones de parámetros, lo que hace que el almacenamiento del modelo de red sea extremadamente grande. Esto prohíbe el uso de redes neuronales profundas en hardware con recursos limitados, especialmente teléfonos móviles u otros dispositivos integrados. A-Connect es una metodología de entrenamiento estadístico de redes neuronales que mejora la resiliencia de las redes neuronales analógicas frente a la variabilidad estocástica. Esta metodología también demostró funcionar para la cuantificación de parámetros cuando se usa para pesos binarios. Ya se desarrolló una biblioteca A-Connect en un proyecto anterior de pregrado usando API existentes como Keras y TensorFlow. En este documento, presentamos una extensión de la biblioteca A-Connect para que pueda implementarse para diferentes niveles de cuantificación de parámetros, lo que permite la utilización de la metodología para la cuantificación en aplicaciones de mayor precisión en hardware con recursos limitados. Mostramos los resultados para la biblioteca desarrollada usando una red neuronal Fully-connected y algunas arquitecturas más comunes de Red Neural Convolucional (CNN). Trabajamos con los conjuntos de datos MNIST y CIFAR-10. Además, presentamos una implementación de FPGA con pesos y sesgos binarios utilizando A-Connect.
Description
Keywords
Redes neuronales convolucionales, Redes neuronales profundas, Redes neuronales cuantizadas