Publicación:

FUSIÓN DE IMÁGENES DE PROFUNDIDAD OBTENIDAS CON SISTEMAS LIDAR Y DE ESTEREOVISIÓN POR MEDIO DE TÉCNICAS DE APRENDIZAJE PROFUNDO

Resumen

La fusión de imágenes de profundidad busca combinar imágenes de profundidad obtenidas mediante modalidades complementarias, como LiDAR y estereovisión, para generar imágenes de profundidad densas y confiables, compensando las limitaciones de los datos LiDAR escasos. Esta tarea resulta crucial en aplicaciones que requieren mediciones precisas de distancia, ya que sensores como los LiDAR, proporcionan mediciones exactas, pero con una cobertura espacial limitada. En contraste, la estereovisión ofrece imágenes de profundidad más densas, aunque con menor precisión en regiones de baja textura o a grandes distancias. En este trabajo, proponemos un método basado en aprendizaje profundo que fusiona la precisión de las mediciones LiDAR con la densidad de puntos que aporta la estereovisión. Para ello, se emplea un modelo preentrenado de correspondencia estéreo que genera imágenes de disparidad, las cuales son refinadas posteriormente mediante una arquitectura basada en Vision Transformers, complementada por una red de propagación espacial (SPN). Este enfoque fusiona la información de disparidad con mediciones escasas de profundidad LiDAR, corrigiendo y densificando la imagen de profudidad resultante. Evaluamos nuestro método en el conjunto de datos KITTI, utilizando las métricas RMSE, MAE, iRMSE e iMAE. Nuestro enfoque alcanzó un MAE de 180.88 mm, superando a los algoritmos del estado del arte tomados como referencia y obteniendo resultados competitivos en las demás métricas. Nuestro método evidencia la eficacia de utilizar algoritmos pre-entrenados en correspondencia estéreo para generar mapas de profundidad precisos y densos.