Cuantización de parámetros con A-Connect

Simple item page
dc.contributor.advisorRoa Fuentes, Elkim Felipe
dc.contributor.authorCenteno Ochoa, Andrés Felipe
dc.contributor.authorHernández Ríos, Luis Alejandro
dc.contributor.evaluatorArdila Ochoa, Javier Ferney
dc.contributor.evaluatorMoya Baquero, Juan Sebastián
dc.date.accessioned2022-04-19T16:39:06Z
dc.date.available2022-04-19T16:39:06Z
dc.date.created2022-04-01
dc.date.embargoEnd2023-04-01
dc.date.issued2022-04-01
dc.description.abstractLos algoritmos de aprendizaje profundo logran una alta precisión de clasificación a expensas de un costo de cálculo significativo: los resultados se obtienen utilizando grandes conjuntos de entrenamiento y modelos grandes. Una red neuronal muy profunda normalmente involucra muchas capas con millones de parámetros, lo que hace que el almacenamiento del modelo de red sea extremadamente grande. Esto prohíbe el uso de redes neuronales profundas en hardware con recursos limitados, especialmente teléfonos móviles u otros dispositivos integrados. A-Connect es una metodología de entrenamiento estadístico de redes neuronales que mejora la resiliencia de las redes neuronales analógicas frente a la variabilidad estocástica. Esta metodología también demostró funcionar para la cuantificación de parámetros cuando se usa para pesos binarios. Ya se desarrolló una biblioteca A-Connect en un proyecto anterior de pregrado usando API existentes como Keras y TensorFlow. En este documento, presentamos una extensión de la biblioteca A-Connect para que pueda implementarse para diferentes niveles de cuantificación de parámetros, lo que permite la utilización de la metodología para la cuantificación en aplicaciones de mayor precisión en hardware con recursos limitados. Mostramos los resultados para la biblioteca desarrollada usando una red neuronal Fully-connected y algunas arquitecturas más comunes de Red Neural Convolucional (CNN). Trabajamos con los conjuntos de datos MNIST y CIFAR-10. Además, presentamos una implementación de FPGA con pesos y sesgos binarios utilizando A-Connect.
dc.description.abstractenglishDeep learning algorithms achieve high classification accuracy at the expense of significant computation cost: results are obtained using large training sets and large models. A very deep neural network normally involves many layers with millions of parameters, making the storage of the network model to be extremely large. This prohibits the usage of deep neural networks on resource limited hardware, especially cell phones or other embedded devices. A-Connect is a neural network statistical training methodology that improves analog neural network resilience against stochastic variability. This methodology also proved to work for parameter quantization when used for binary weights. An A-Connect library has already been developed in a previous bachelor undergraduate project using existing APIs such as Keras and TensorFlow. In this paper, we present an extension of the A-Connect library so it can be deployed for different parameter quantization levels which allows the utilization of the methodology for quantization in higher precision applications on resource limited hardware. We show the results for the library developed using a fully-connected neural network and some more common architectures of Convolutional Neural Network (CNN). We worked with the MNIST and CIFAR-10 datasets. In addition, we present an FPGA implementation with binary weights and biases using A-Connect.
dc.description.degreelevelPregrado
dc.description.degreenameIngeniero Electrónico
dc.format.mimetypeapplication/pdf
dc.identifier.instnameUniversidad Industrial de Santander
dc.identifier.reponameUniversidad Industrial de Santander
dc.identifier.repourlhttps://noesis.uis.edu.co
dc.identifier.urihttps://noesis.uis.edu.co/handle/20.500.14071/10010
dc.language.isoeng
dc.publisherUniversidad Industrial de Santander
dc.publisher.facultyFacultad de Ingeníerias Fisicomecánicas
dc.publisher.programIngeniería Electrónica
dc.publisher.schoolEscuela de Ingenierías Eléctrica, Electrónica y Telecomunicaciones
dc.rightsinfo:eu-repo/semantics/openAccess
dc.rights.accessrightsinfo:eu-repo/semantics/openAccess
dc.rights.coarhttp://purl.org/coar/access_right/c_abf2
dc.rights.creativecommonsAtribución-NoComercial-SinDerivadas 4.0 Internacional (CC BY-NC-ND 4.0)
dc.rights.licenseAttribution-NonCommercial 4.0 International (CC BY-NC 4.0)
dc.rights.urihttp://creativecommons.org/licenses/by-nc-nd/4.0/
dc.subjectRedes neuronales convolucionales
dc.subjectRedes neuronales profundas
dc.subjectRedes neuronales cuantizadas
dc.subject.keywordConvolutional neural networks
dc.subject.keywordDeep neural networks
dc.subject.keywordQuantized neural networks
dc.titleCuantización de parámetros con A-Connect
dc.title.englishParameters quantization with A-Connect
dc.type.coarhttp://purl.org/coar/resource_type/c_7a1f
dc.type.hasversionhttp://purl.org/coar/version/c_b1a7d7d4d402bcce
dc.type.localTesis/Trabajo de grado - Monografía - Pregrado
dspace.entity.type
Files
Original bundle
Now showing 1 - 4 of 4
Thumbnail Image
Name:
Documento.pdf
Size:
1.08 MB
Format:
Adobe Portable Document Format
Download
No Thumbnail Available
Name:
Carta de autorización.pdf
Size:
148.94 KB
Format:
Adobe Portable Document Format
Download
No Thumbnail Available
Name:
Carta de confidencialidad.pdf
Size:
134.14 KB
Format:
Adobe Portable Document Format
Download
No Thumbnail Available
Name:
Nota de proyecto.pdf
Size:
521.04 KB
Format:
Adobe Portable Document Format
Download
License bundle
Now showing 1 - 1 of 1
No Thumbnail Available
Name:
license.txt
Size:
2.18 KB
Format:
Item-specific license agreed to upon submission
Description:
Download
Collections
Ingeniería Electrónica