Adquisición adaptativa de imágenes espectrales comprimidas en el infrarrojo cercano basada en el sistema de captura de único píxel mediante aprendizaje profundo

Monroy Chaparro, Brayan Esneider

Adquisición adaptativa de imágenes espectrales comprimidas en el infrarrojo cercano basada en el sistema de captura de único píxel mediante aprendizaje profundo

dc.contributor.advisor	Bacca Quintero, Jorge Luis
dc.contributor.advisor	Argüello Fuentes, Henry
dc.contributor.author	Monroy Chaparro, Brayan Esneider
dc.contributor.evaluator	Díaz Díaz, Nelson Eduardo
dc.contributor.evaluator	Giraldo, Jhony H.
dc.date.accessioned	2024-11-18T19:44:47Z
dc.date.available	2024-11-18T19:44:47Z
dc.date.created	2024-11-12
dc.date.issued	2024-11-12
dc.description.abstract	La adquisición de imagenes espectrales comprimidas (CSI, por sus siglas en inglés) son una tecnología eficiente utilizada para obtener información espacial y espectral. A diferencia de las técnicas convencionales de escaneo espectral, CSI captura solo unas pocas imágenes instantáneas, evitando largos tiempos de adquisición y sensores especializados costosos. Este enfoque tiene aplicaciones en la agricultura de precisión y en la teledetección. En el rango del infrarrojo cercano (NIR), más allá del espectro visible, CSI es particularmente valiosa ya que no se dispone de sensores con alta resolución espacial y espectral. Específicamente, la técnica de imagen de un solo píxel basada en Hadamard (HSPI) presenta sistemas de adquisición rentables para capturar imágenes NIR de alta calidad. Sin embargo, la captura de imágenes comprimidas conlleva una pérdida de información, lo que requiere algoritmos de restauración de imágenes para la reconstrucción espectral. En HSPI, la pérdida de información ocurre al utilizar solo un subconjunto de capturas en lugar de todo el conjunto de la matriz Hadamard, lo que afecta directamente la calidad de las imágenes espectrales adquiridas. Por lo tanto, es crucial desarrollar un sistema de adquisición que optimice la extracción de información y minimice el número de capturas necesarias. Mientras que la literatura existente se centra en algoritmos computacionales y modelos de aprendizaje profundo para un sistema de captura fijo, el desafío radica en diseñar un sistema que aborde eficazmente las características únicas de cada imagen espectral para extraer la información más relevante. En consecuencia, este trabajo presenta dos modelos adaptativos de aprendizaje profundo para la selección de patrones de modulación adaptativa en el sistema de imágenes de un solo píxel basado en Hadamard para imágenes espectrales en el infrarrojo cercano. En concreto, los modelos propuestos realizan la selección adaptativa de patrones de modulación en dos modalidades. En los casos en los que se dispone de información previa, se propone la estimación de superpíxeles de imagen para mejorar la información espacial-estructural de las imágenes. Para escenarios sin información previa, se propone una estrategia de ordenación adaptativa, donde se adquiere un subconjunto fijo inicial, y un modelo de aprendizaje profundo guía la estimación del subconjunto subsiguiente. Este enfoque incluye el modelado del proceso de propagación del sistema de detección, el diseño de una arquitectura de aprendizaje profundo adaptativo, definir una función de costes y una estrategia de entrenamiento adecuadas para optimizar conjuntamente los parámetros de la red y el sistema de adquisición de imágenes, y la validación del rendimiento del modelo mediante métricas de calidad espacial y espectral en imágenes espectrales NIR. El conjunto de datos EuroSAT de la misión Sentinel-2 se emplea para la validación. El rendimiento del modelo adaptativo se analizo a partir adquisiciones realizadas en el Laboratorio Óptico HDSP. El resultado de esta investigación es un modelo de aprendizaje profundo capaz de adquirir imágenes espectrales de forma adaptativa y mejorar su calidad espacial y espectral a través de la extracción de información relevante.
dc.description.abstractenglish	Compressed Spectral Imaging (CSI) is an efficient technology used to obtain spatial and spectral information. Unlike conventional spectral scanning techniques, CSI captures only a few snapshots, avoiding long acquisition times and expensive specialized sensors. This approach has applications in precision agriculture and remote sensing. In the near-infrared (NIR) {range}, beyond the visible spectrum, CSI is particularly valuable since sensors with high spatial and spectral resolutions {are not available}. Specifically, the Hadamard Single-Pixel Imaging (HSPI) presents cost-effective acquisition systems to capture high-quality NIR images. However, capturing compressed images leads to information loss, requiring image restoration algorithms for spectral image reconstruction. In the HSPI, information loss occurs when using a subset of snapshots (some rows of the Hadamard matrix) instead of the full Hadamard matrix, directly affecting the quality of acquired spectral images. Therefore, it is crucial to develop a sensing system that optimizes the subset choosed by maximization information while minimizes the required snapshots. While existing literature focuses on computational algorithms and deep learning models for a fixed sensing system, the challenge lies in designing a system that effectively addresses the unique features of each spectral image to extract the most relevant information. Consequently, this work presents two adaptive deep learning models for the selection of adaptive modulation patterns in the Hadamard-based single-pixel imaging system for Near-Infrared Spectral Imaging. Specifically, the proposed models perform adaptive selection of modulation patterns in two modalities. In cases where side information is available, the estimation of image superpixels is proposed to enhance spatial-structural information in images. For scenarios without side information, an adaptive ordering strategy is suggested, where an initial fixed subset is acquired, and a deep learning model guides the estimation of subsequent subset. This involves optimizing information extraction, reducing the number of captures, and improving modulation pattern selection. This approach incorporates modeling the sensing system's propagation process, designing an adaptive deep learning architecture, defining a suitable cost function and training strategy for the jointly optimization of network parameters and the imaging system, and validating the model performance using spatial and spectral quality metrics in NIR spectral images. The EuroSAT dataset from the Sentinel-2 mission serves as the basis for validation. The performance of the adaptive model is analyzed based on acquisitions carried out in the HDSP Optical Laboratory. The outcome of this research is a deep learning model capable of adaptively acquiring spectral images and enhancing their spatial and spectral quality by extracting relevant information.
dc.description.cvlac	https://scienti.minciencias.gov.co/cvlac/visualizador/generarCurriculoCv.do?cod_rh=0001818637
dc.description.degreelevel	Maestría
dc.description.degreename	Magíster en Ingeniería de Sistemas e Informática
dc.description.googlescholar	https://scholar.google.com/citations?user=p9zuZ9EAAAAJ&hl=es
dc.format.mimetype	application/pdf
dc.identifier.instname	Universidad Industrial de Santander
dc.identifier.reponame	Universidad Industrial de Santander
dc.identifier.repourl	https://noesis.uis.edu.co
dc.identifier.uri	https://noesis.uis.edu.co/handle/20.500.14071/44783
dc.language.iso	eng
dc.publisher	Universidad Industrial de Santander
dc.publisher.faculty	Facultad de Ingeníerias Fisicomecánicas
dc.publisher.program	Maestría en Ingeniería de Sistemas e Informática
dc.publisher.school	Escuela de Ingeniería de Sistemas e Informática
dc.rights	info:eu-repo/semantics/openAccess
dc.rights.accessrights	info:eu-repo/semantics/openAccess
dc.rights.coar	http://purl.org/coar/access_right/c_abf2
dc.rights.creativecommons	Atribución-NoComercial-SinDerivadas 4.0 Internacional (CC BY-NC-ND 4.0)
dc.rights.license	Atribución-NoComercial-SinDerivadas 2.5 Colombia (CC BY-NC-ND 2.5 CO)
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/4.0/
dc.subject	Muestreo adaptativo
dc.subject	Cámara de único píxel Hadamard
dc.subject	Aprendizaje profundo
dc.subject.keyword	Adaptive Sensing
dc.subject.keyword	Hadamard Single Pixel
dc.subject.keyword	Deep Learning
dc.title	Adquisición adaptativa de imágenes espectrales comprimidas en el infrarrojo cercano basada en el sistema de captura de único píxel mediante aprendizaje profundo
dc.title.english	Deep Adaptive Hadamard Single Pixel Imaging in Near-Infrared Spectrum
dc.type.coar	http://purl.org/coar/resource_type/c_bdcc
dc.type.hasversion	http://purl.org/coar/version/c_b1a7d7d4d402bcce
dc.type.local	Tesis/Trabajo de grado - Monografía - Maestría