Algoritmo de destilación basado en aprendizaje profundo para el diseño de un sistema de imágenes computacionales con altas restricciones físicas

Suárez Rodríguez, León Santiago

Algoritmo de destilación basado en aprendizaje profundo para el diseño de un sistema de imágenes computacionales con altas restricciones físicas

dc.contributor.advisor	Argüello Fuentes, Henry
dc.contributor.author	Suárez Rodríguez, León Santiago
dc.contributor.evaluator	Galvis Carreño, Laura Viviana
dc.contributor.evaluator	Vargas Díaz, Edwin Mauricio
dc.date.accessioned	2025-08-22T18:20:26Z
dc.date.available	2025-08-22T18:20:26Z
dc.date.created	2025-08-13
dc.date.issued	2025-08-13
dc.description.abstract	Los sistemas de adquisición de imágenes computacionales (CI, por sus siglas en inglés) extienden las capacidades de los sistemas de imágenes tradicionales al codificar información de señales de alta dimensión en proyecciones codificadas de baja dimensión, que posteriormente se decodifican mediante algoritmos computacionales. El diseño del codificador físico es crucial para una reconstrucción precisa de la imagen, ya que determina cómo se muestrea y codifica la escena, afectando directamente la calidad y cantidad de la información codificada y su posterior reconstrucción. Actualmente, los sistemas CI se diseñan mediante un enfoque de optimización de extremo a extremo (E2E), donde el codificador se representa como una capa de red neuronal y se optimiza conjuntamente con el decodificador computacional. Sin embargo, el rendimiento de la optimización E2E se ve significativamente reducido por las restricciones físicas impuestas al codificador, como la binarización, la transmisión de luz y la relación de compresión. Además, dado que E2E aprende los parámetros del codificador retropropagando el error de reconstrucción, no promueve salidas intermedias óptimas y sufre del problema de desaparición del gradiente. Para abordar estas limitaciones, esta investigación reinterpreta el concepto de destilación de conocimiento—tradicionalmente utilizado para entrenar redes neuronales más pequeñas transfiriendo conocimiento desde un modelo preentrenado más grande—para diseñar un sistema CI físicamente restringido transfiriendo conocimiento desde un sistema CI preentrenado con menos restricciones. El enfoque propuesto implica tres pasos: Primero, dado el sistema CI original (estudiante), se crea un sistema maestro relajando las restricciones en el codificador del estudiante. Segundo, el maestro se optimiza para resolver una versión menos restringida del problema del estudiante. Tercero, el maestro guía el entrenamiento del estudiante altamente restringido mediante dos funciones de transferencia de conocimiento propuestas, dirigidas tanto a la estructura del codificador como al espacio de características del decodificador. Este enfoque fue validado en tres modalidades representativas de CI: resonancia magnética, imagen de un solo píxel e imagen espectral compresiva. Las simulaciones demuestran que un sistema maestro con una estructura de codificador similar a la del estudiante—con un número comparable de mediciones o una naturaleza similar en la base de codificación—proporciona una guía efectiva. Esto conduce a una mejora significativa en el rendimiento de reconstrucción y en el diseño del codificador del estudiante, superando tanto la optimización E2E como los diseños de codificadores tradicionales no basados en datos.
dc.description.abstractenglish	Computational imaging (CI) systems extend the capabilities of traditional imaging systems by encoding high-dimensional signal information into low-dimensional coded projections, which are subsequently decoded using computational algorithms. The design of the physical encoder is crucial for accurate image reconstruction, as it determines how the scene is sampled and encoded, directly affecting the quality and quantity of the encoded information and its subsequent reconstruction. Currently, CI systems are designed using an end-to-end (E2E) optimization approach, where the encoder is represented as a neural network layer and is jointly optimized with the computational decoder. However, the performance of E2E optimization is significantly reduced by the physical constraints imposed on the encoder, such as binarization, light throughput, and the compression ratio. Moreover, since E2E learns the parameters of the encoder by backpropagating the reconstruction error, it does not promote optimal intermediate outputs and suffers from gradient vanishing. To address these limitations, this research reinterprets the concept of knowledge distillation—traditionally used to train smaller neural networks by transferring knowledge from a larger pretrained model—to design a physically constrained CI system by transferring knowledge from a pretrained, less-constrained CI system. The proposed approach involves three steps: First, given the original CI system (student), a teacher system is created by relaxing the constraints on the student’s encoder. Second, the teacher is optimized to solve a less-constrained version of the student’s problem. Third, the teacher guides the training of the highly constrained student through two proposed knowledge transfer functions, targeting both the encoder's structure and the decoder feature space. This approach was validated on three representative CI modalities: magnetic resonance, single-pixel, and compressive spectral imaging. Simulations demonstrate that a teacher system with an encoder structure similar to the student's—having a comparable number of measurements or similar nature of the codification basis—provides effective guidance. This leads to significantly improved reconstruction performance and encoder design for the student, outperforming both E2E optimization and traditional non-data-driven encoder designs.
dc.description.degreelevel	Maestría
dc.description.degreename	Magíster en Ingeniería de Sistemas e Informática
dc.format.mimetype	application/pdf
dc.identifier.instname	Universidad Industrial de Santander
dc.identifier.reponame	Universidad Industrial de Santander
dc.identifier.repourl	https://noesis.uis.edu.co
dc.identifier.uri	https://noesis.uis.edu.co/handle/20.500.14071/45973
dc.language.iso	eng
dc.publisher	Universidad Industrial de Santander
dc.publisher.faculty	Facultad de Ingeníerias Fisicomecánicas
dc.publisher.program	Maestría en Ingeniería de Sistemas e Informática
dc.publisher.school	Escuela de Ingeniería de Sistemas e Informática
dc.rights	info:eu-repo/semantics/openAccess
dc.rights.accessrights	info:eu-repo/semantics/openAccess
dc.rights.coar	http://purl.org/coar/access_right/c_abf2
dc.rights.creativecommons	Atribución-NoComercial-SinDerivadas 4.0 Internacional (CC BY-NC-ND 4.0)
dc.rights.license	Atribución-NoComercial-SinDerivadas 2.5 Colombia (CC BY-NC-ND 2.5 CO)
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/4.0/
dc.subject	Destilación de conocimiento
dc.subject	Sistemas de imagen computacional
dc.subject	Optimización de extremo a extremo
dc.subject	Imagen por resonancia magnética
dc.subject	Sistemas de apertura codificada
dc.subject.keyword	Knowledge Distillation
dc.subject.keyword	Computational Imaging Systems
dc.subject.keyword	End-To-End Optimization
dc.subject.keyword	Magnetic Resonance Imaging
dc.subject.keyword	Coded Aperture Systems
dc.title	Algoritmo de destilación basado en aprendizaje profundo para el diseño de un sistema de imágenes computacionales con altas restricciones físicas
dc.title.english	Deep Learning based Distillation Algorithm for Designing a Highly Physically Constrained Computational Imaging System
dc.type.coar	http://purl.org/coar/resource_type/c_bdcc
dc.type.hasversion	http://purl.org/coar/version/c_b1a7d7d4d402bcce
dc.type.local	Tesis/Trabajo de grado - Monografía - Maestría