FUSIÓN DE IMÁGENES DE PROFUNDIDAD OBTENIDAS CON SISTEMAS  LIDAR Y DE ESTEREOVISIÓN POR MEDIO DE TÉCNICAS DE APRENDIZAJE PROFUNDO

Molina Garzón, Miguel Angel; Mantilla Claro, Henry Dario

FUSIÓN DE IMÁGENES DE PROFUNDIDAD OBTENIDAS CON SISTEMAS LIDAR Y DE ESTEREOVISIÓN POR MEDIO DE TÉCNICAS DE APRENDIZAJE PROFUNDO

dc.contributor.advisor	Rueda Chacón, Hoover Fabián
dc.contributor.author	Molina Garzón, Miguel Angel
dc.contributor.author	Mantilla Claro, Henry Dario
dc.contributor.evaluator	Bacca Quintero, Jorge Luis
dc.contributor.evaluator	Rondon Villareal, Nydia Paola
dc.date.accessioned	2025-05-26T20:08:02Z
dc.date.available	2025-05-26T20:08:02Z
dc.date.created	2025-05-26
dc.date.issued	2025-05-26
dc.description.abstract	La fusión de imágenes de profundidad busca combinar imágenes de profundidad obtenidas mediante modalidades complementarias, como LiDAR y estereovisión, para generar imágenes de profundidad densas y confiables, compensando las limitaciones de los datos LiDAR escasos. Esta tarea resulta crucial en aplicaciones que requieren mediciones precisas de distancia, ya que sensores como los LiDAR, proporcionan mediciones exactas, pero con una cobertura espacial limitada. En contraste, la estereovisión ofrece imágenes de profundidad más densas, aunque con menor precisión en regiones de baja textura o a grandes distancias. En este trabajo, proponemos un método basado en aprendizaje profundo que fusiona la precisión de las mediciones LiDAR con la densidad de puntos que aporta la estereovisión. Para ello, se emplea un modelo preentrenado de correspondencia estéreo que genera imágenes de disparidad, las cuales son refinadas posteriormente mediante una arquitectura basada en Vision Transformers, complementada por una red de propagación espacial (SPN). Este enfoque fusiona la información de disparidad con mediciones escasas de profundidad LiDAR, corrigiendo y densificando la imagen de profudidad resultante. Evaluamos nuestro método en el conjunto de datos KITTI, utilizando las métricas RMSE, MAE, iRMSE e iMAE. Nuestro enfoque alcanzó un MAE de 180.88 mm, superando a los algoritmos del estado del arte tomados como referencia y obteniendo resultados competitivos en las demás métricas. Nuestro método evidencia la eficacia de utilizar algoritmos pre-entrenados en correspondencia estéreo para generar mapas de profundidad precisos y densos.
dc.description.abstractenglish	Depth image fusion focuses on combining depth images obtained through complementary modalities, such as LiDAR and stereovision, to generate dense and reliable depth images, compensating for the limitations of sparse LiDAR data. This task is crucial in applications that require accurate distance measurements, since sensors like LiDAR provide precise measurements but have limited spatial coverage. In contrast, stereo vision offers denser maps, though with lower precision in low-texture regions or at long distances. In this work, we propose a deep learning-based method that fuses the precision of LiDAR measurements with the point density provided by stereo vision. To do this, we employ a pretrained stereo matching model that generates disparity maps, which are subsequently refined using a Vision Transformer-based architecture, complemented by a Spatial Propagation Network (SPN). This approach fuses disparity information with sparse LiDAR depth measurements, correcting and densifying the resulting map. We evaluate our method on the KITTI dataset using the RMSE,MAE,iRMSE,andiMAEmetrics. Our approach achieved a MAE of 180.88 mm, outperforming the reference state-of-the-art algorithms and yielding competitive results across the other metrics. Furthermore, our method demonstrates the effectiveness of using pre-trained stereo matching algorithms to produce precise and dense depth maps.
dc.description.degreelevel	Pregrado
dc.description.degreename	Ingeniero de Sistemas
dc.format.mimetype	application/pdf
dc.identifier.instname	Universidad Industrial de Santander
dc.identifier.reponame	Universidad Industrial de Santander
dc.identifier.repourl	https://noesis.uis.edu.co
dc.identifier.uri	https://noesis.uis.edu.co/handle/20.500.14071/45670
dc.language.iso	spa
dc.publisher	Universidad Industrial de Santander
dc.publisher.faculty	Facultad de Ingeníerias Fisicomecánicas
dc.publisher.program	Ingeniería de Sistemas
dc.publisher.school	Escuela de Ingeniería de Sistemas e Informática
dc.rights	info:eu-repo/semantics/openAccess
dc.rights.accessrights	info:eu-repo/semantics/openAccess
dc.rights.coar	http://purl.org/coar/access_right/c_abf2
dc.rights.creativecommons	Atribución-NoComercial-SinDerivadas 4.0 Internacional (CC BY-NC-ND 4.0)
dc.rights.license	Atribución-NoComercial-SinDerivadas 2.5 Colombia (CC BY-NC-ND 2.5 CO)
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/4.0/
dc.subject	Algoritmos de fusión
dc.subject	Aprendizaje profundo
dc.subject	Estimación de la profundidad
dc.subject	LiDAR
dc.subject	Estereovisión
dc.subject.keyword	Fusion algorithms
dc.subject.keyword	deep learning
dc.subject.keyword	depth estimation
dc.subject.keyword	LiDAR
dc.subject.keyword	stereovision
dc.subject.keyword	Vision Transformers
dc.title	FUSIÓN DE IMÁGENES DE PROFUNDIDAD OBTENIDAS CON SISTEMAS LIDAR Y DE ESTEREOVISIÓN POR MEDIO DE TÉCNICAS DE APRENDIZAJE PROFUNDO
dc.title.english	DEEP LEARNING-BASED FUSION OF LIDAR AND STEREO VISION DEPTH IMAGES
dc.type.coar	http://purl.org/coar/resource_type/c_7a1f
dc.type.hasversion	http://purl.org/coar/version/c_b1a7d7d4d402bcce
dc.type.local	Tesis/Trabajo de grado - Monografía - Pregrado