Segmentación de materiales a partir de imágenes RGB usando arquitecturas de transformadores de visión e integración de información multiespectral

Simple item page
dc.contributor.advisorRueda Chacón, Hoover Fabián
dc.contributor.advisorMonroy Chaparro, Brayan Esneider
dc.contributor.authorPerez Perez, Nelson Fabian
dc.contributor.evaluatorBacca Quintero, Jorge Luis
dc.contributor.evaluatorGalvis Carreño, Laura Viviana
dc.date.accessioned2024-11-13T21:29:50Z
dc.date.available2024-11-13T21:29:50Z
dc.date.created2024-11-12
dc.date.issued2024-11-12
dc.description.abstractLa segmentación de materiales en imágenes RGB es una tarea desafiante debido a la complejidad de las texturas y la variabilidad de las condiciones de iluminación de los materiales. Aunque la información espectral puede mejorar significativamente esta tarea, su uso está limitado por la escasez de sensores espectrales en aplicaciones del mundo real. En este trabajo, presentamos un novedoso enfoque que integra eficientemente información espectral en un modelo de segmentación basado en transformers, manteniendo la capacidad de operar solo con imágenes RGB durante la inferencia. Nuestro modulo propuesto, denominado Adaptive Spectral Prompt (ASP), incorpora prompts espectrales adaptativos que se ajustan dinámicamente durante el entrenamiento, permitiendo al modelo aprovechar la riqueza de la información espectral sin depender de ella en la inferencia. Ademas, implementamos una estrategia de modality dropout para mejorar la robustez del modelo ante la ausencia de datos espectrales. Evaluamos exhaustivamente nuestro método en el dataset LIB-HSI, logrando un rendimiento significativo, con una precisión del 88.36% y un IoU promedio por clase de 53.28%, superando significativamente a los métodos existentes. Nuestros experimentos demuestran la eficacia de ASP para integrar información multimodal de manera eficiente, mejorando la segmentación de materiales incluso en escenarios con modalidad faltante.
dc.description.abstractenglishMaterial segmentation in RGB images is a challenging task due to the complexity of textures and the variability of lighting conditions for materiales. Although spectral information can significantly improve this task, its use is limited by the scarcity of spectral sensors in real-world applications. In this work, we present a novel approach that efficiently integrates spectral information into a transformer-based segmentation model, while maintaining the ability to operate with RGB images during inference. Our architecture, called Adaptive Spectral Prompts (ASP), incorporates adaptive spectral prompts that dynamically adjust during training, allowing the model to leverage the richness of spectral information without depending on it during inference. We implement a modality dropout strategy to improve the model robustness in the absence of spectral data. We exhaustively evaluate our method on the LIB-HSI dataset, achieving state-of-the-art performance with an accuracy of 88.36% and an average IoU per class of 53.28%, significantly outperforming existing methods. Our experiments demonstrate the effectiveness of ASP in efficiently integrating multimodal information, improving material segmentation even in scenarios with missing modalities.
dc.description.cvlachttps://scienti.minciencias.gov.co/cvlac/visualizador/generarCurriculoCv.do?cod_rh=0002221234
dc.description.degreelevelPregrado
dc.description.degreenameIngeniero de Sistemas
dc.description.googlescholarhttps://scholar.google.com/citations?user=59gy5p8AAAAJ&hl=en
dc.description.orcidhttps://orcid.org/0009-0005-9655-1708
dc.format.mimetypeapplication/pdf
dc.identifier.instnameUniversidad Industrial de Santander
dc.identifier.reponameUniversidad Industrial de Santander
dc.identifier.repourlhttps://noesis.uis.edu.co
dc.identifier.urihttps://noesis.uis.edu.co/handle/20.500.14071/44669
dc.language.isospa
dc.publisherUniversidad Industrial de Santander
dc.publisher.facultyFacultad de Ingeníerias Fisicomecánicas
dc.publisher.programIngeniería de Sistemas
dc.publisher.schoolEscuela de Ingeniería de Sistemas e Informática
dc.rightsinfo:eu-repo/semantics/openAccess
dc.rights.accessrightsinfo:eu-repo/semantics/openAccess
dc.rights.coarhttp://purl.org/coar/access_right/c_abf2
dc.rights.creativecommonsAtribución-NoComercial-SinDerivadas 4.0 Internacional (CC BY-NC-ND 4.0)
dc.rights.licenseAtribución-NoComercial-SinDerivadas 2.5 Colombia (CC BY-NC-ND 2.5 CO)
dc.rights.urihttp://creativecommons.org/licenses/by-nc-nd/4.0/
dc.subjecttransformers de vision
dc.subjectaprendizaje multimodal
dc.subjectimagenes espectrales
dc.subjectmodalidad faltante
dc.subject.keywordVision transformers
dc.subject.keywordMultimodal learning
dc.subject.keywordSpectral images
dc.subject.keywordMissing modality
dc.titleSegmentación de materiales a partir de imágenes RGB usando arquitecturas de transformadores de visión e integración de información multiespectral
dc.title.englishMaterial Segmentation From Rgb Images Using Vision Transformer Architectures And Multispectral Information
dc.type.coarhttp://purl.org/coar/resource_type/c_7a1f
dc.type.hasversionhttp://purl.org/coar/version/c_b1a7d7d4d402bcce
dc.type.localTesis/Trabajo de grado - Monografía - Pregrado
Files
Original bundle
Now showing 1 - 3 of 3
No Thumbnail Available
Name:
Documento.pdf
Size:
11.33 MB
Format:
Adobe Portable Document Format
Download
No Thumbnail Available
Name:
Carta de autorización.pdf
Size:
86.64 KB
Format:
Adobe Portable Document Format
Download
No Thumbnail Available
Name:
Nota de proyecto.pdf
Size:
394.37 KB
Format:
Adobe Portable Document Format
Download
License bundle
Now showing 1 - 1 of 1
No Thumbnail Available
Name:
license.txt
Size:
2.18 KB
Format:
Item-specific license agreed to upon submission
Description:
Download
Collections
Ingeniería de Sistemas