Publicación:

Reconstrucción temporal mediante codificación pasiva en imágenes térmicas usando modelos de visión y lenguaje.

Resumen

El presente trabajo estudia la reconstrucción temporal de escenas a partir de señales residuales mediante el paradigma de Time-reversed Imaging. Mientras que la visión artificial convencional se centra en interpretar el estado actual de una escena o anticipar eventos futuros a partir de observaciones directas, esta investigación busca inferir interacciones humanas recientes utilizando huellas térmicas que permanecen en proceso de disipación. Desde una perspectiva física, recuperar información sobre un estado pasado a partir de mediciones actuales constituye un problema inverso mal condicionado, ya que las trazas térmicas son incompletas, ruidosas y pueden corresponder a múltiples eventos diferentes. Para abordar esta limitación, se propone un sistema multimodal que combina imágenes térmicas y RGB capturadas en el mismo instante. Ambas modalidades son analizadas por un modelo de visión y lenguaje (VLM), encargado de generar una descripción semántica de la evidencia observada. Esta representación textual se utiliza posteriormente como condición de entrada para un modelo generativo basado en difusión, el cual reconstruye una posible representación visual del estado previo de la escena. El sistema se prueba en interacciones físicas ocurridas desde unos pocos segundos hasta dos minutos antes de la captura. Además, se estudia el efecto que tiene la pérdida gradual de información térmica sobre la reconstrucción de la escena. Los resultados obtenidos muestran que la combinación de imágenes térmicas, visión artificial y modelos generativos permite recuperar información útil sobre eventos recientes. Finalmente, se discuten las limitaciones del método y los retos de aplicarlo en escenarios reales.