A Deep Distillation Algorithm for Non-linear Gradient Preconditioning in Inverse Problems

Gualdrón Hurtado, Yesid Romario

A Deep Distillation Algorithm for Non-linear Gradient Preconditioning in Inverse Problems

dc.contributor.advisor	Argüello Fuentes, Henry
dc.contributor.author	Gualdrón Hurtado, Yesid Romario
dc.contributor.evaluator	Fajardo Ariza, Carlos Augusto
dc.contributor.evaluator	Monsalve Salazar, Jonathan Arley
dc.date.accessioned	2025-05-22T21:14:39Z
dc.date.available	2025-05-22T21:14:39Z
dc.date.created	2025-05-19
dc.date.embargoEnd	2026-05-19
dc.date.issued	2025-05-19
dc.description.abstract	Los algoritmos de reconstrucción que combinan optimización y regularización permiten la integración de los modelos físicos bien definidos con eliminadores de ruido para resolver problemas inversos en imagenología. Sin embargo, la solución del término de fidelidad de datos plantea desafíos significativos debido a la matriz de adquisición mal condicionada ocasionada por las restricciones físicas en el sistema de adquisición. Los algoritmos han adoptado técnicas de preacondicionamiento para abordar el mal condicionamiento, mejorando así la optimización del término de fidelidad y la velocidad de convergencia. No obstante, los diseños actuales del operador de preacondicionamiento (PO) se basan en la estructura de la matriz de adquisición o en diseños de extremo a extremo, lo que puede limitar el rendimiento, debido a que la estructura puede ser suboptima y por el desvanecimiento del gradiente, respectivamente. Por lo tanto, introducimos la destilación de conocimiento (KD) en algoritmos para diseñar un preacondicionamiento del gradiente no lineal (D2GP) mediante la guía controlada de un algoritmo mejor condicionado. Se construyó un algoritmo maestro (TA) que emplea una matriz de adquisición simulada (virtual) con pocas restricciones físicas —solo factible en simulaciones—, lo que permite un alto rendimiento en la recuperación. El algoritmo estudiante (SA) utiliza una matriz de adquisición físicamente factible, que limita el rendimiento en la recuperación. El PO se diseña de tal manera que, al integrarse en el SA, puede alcanzar un rendimiento similar al del TA. Se diseñaron diferentes funciones de pérdida de destilación para transferir distintas propiedades del TA al SA. Se validó el diseño propuesto del PO en varias modalidades de imagenología, tales como la resonancia magnética, la cámara de un solo píxel y superresolución.
dc.description.abstractenglish	Recovery algorithms that combine optimization and regularization enable the integration of well-defined physical forward models with state-of-the-art denoisers to solve imaging inverse problems. However, solving the data fidelity term poses significant challenges due to the ill-conditioned sensing matrix caused by physical constraints in the acquisition system. Algorithms have adopted preconditioning techniques to address the ill-conditioning, enhancing the data fidelity optimization and the convergence speed. However, current designs for the preconditioning operator (PO) are often based on the structure of the sensing matrix or designed in an end-to-end manner, which may limit performance, due to suboptimal structure or the gradient vanishing, respectively. Thereby, knowledge distillation (KD) is introduced in algorithms to design a nonlinear gradient preconditioning (D2GP) through the controlled guidance of a best-conditioned algorithm. A teacher algorithm (TA) was constructed, it employs a simulated (virtual) sensing matrix with few physical constraints—only feasible in simulations—allowing for high recovery performance. The student algorithm (SA) uses a physically feasible sensing matrix, which typically limits the recovery performance. The PO is designed so that when integrated into the SA, it can have a performance similar to the TA. Different distillation loss functions to transfer different properties of the TA to the SA were designed. The proposed PO design was validated in several imaging modalities such as magnetic resonance imaging, single-pixel camera, and super-resolution imaging.
dc.description.cvlac	https://scienti.minciencias.gov.co/cvlac/visualizador/generarCurriculoCv.do?cod_rh=0002103823
dc.description.degreelevel	Maestría
dc.description.degreename	Magíster en Ingeniería de Sistemas e Informática
dc.description.googlescholar	https://scholar.google.com/citations?user=7m8Jaj4AAAAJ&hl=en
dc.description.orcid	https://orcid.org/my-orcid?orcid=0000-0003-4518-861X
dc.format.mimetype	application/pdf
dc.identifier.instname	Universidad Industrial de Santander
dc.identifier.reponame	Universidad Industrial de Santander
dc.identifier.repourl	https://noesis.uis.edu.co
dc.identifier.uri	https://noesis.uis.edu.co/handle/20.500.14071/45605
dc.language.iso	eng
dc.publisher	Universidad Industrial de Santander
dc.publisher.faculty	Facultad de Ingeníerias Fisicomecánicas
dc.publisher.program	Maestría en Ingeniería de Sistemas e Informática
dc.publisher.school	Escuela de Ingeniería de Sistemas e Informática
dc.rights	info:eu-repo/semantics/embargoedAccess
dc.rights.accessrights	info:eu-repo/semantics/openAccess
dc.rights.coar	http://purl.org/coar/access_right/c_f1cf
dc.rights.creativecommons	Atribución-NoComercial-SinDerivadas 4.0 Internacional (CC BY-NC-ND 4.0)
dc.rights.license	Atribución-NoComercial-SinDerivadas 2.5 Colombia (CC BY-NC-ND 2.5 CO)
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/4.0/
dc.subject	Algoritmos de reconstrucción
dc.subject	Preacondicionamiento del gradiente
dc.subject	Destilación del conocimiento
dc.subject	Problemas inversos
dc.subject.keyword	Recovery Algorithms
dc.subject.keyword	Gradient Preconditioning
dc.subject.keyword	Knowledge Distillation
dc.subject.keyword	Inverse Problems
dc.title	A Deep Distillation Algorithm for Non-linear Gradient Preconditioning in Inverse Problems
dc.title.english	A Deep Distillation Algorithm for Non-linear Gradient Preconditioning in Inverse Problems
dc.type.coar	http://purl.org/coar/resource_type/c_bdcc
dc.type.hasversion	http://purl.org/coar/version/c_b1a7d7d4d402bcce
dc.type.local	Tesis/Trabajo de grado - Monografía - Maestría