Publicación:

Reconocimiento estructurado y continuo de signos en la lengua de señas registrados en video

Resumen

Las lenguas de señas son el principal mecanismo de comunicación en la comunidad sorda. Estas lenguas son muy variables en la comunicación, con divergencias entre la representación de los gestos, la configuración de los signos y múltiples variantes debido a aspectos culturales. Los métodos actuales para la traducción automática y continua de signos incluyen modelos de aprendizaje profundo que codifican la representación visual de los signos. A pesar de los importantes avances, la convergencia de estos modelos requiere enormes cantidades de datos para explotar la representación de las señas, lo que da lugar a modelos muy complejos. Este hecho se asocia a la mayor variabilidad, pero también a la escasa exploración de muchos componentes del lenguaje que sustentan la comunicación. Por ejemplo, el movimiento gestual y la estructura gramatical son componentes fundamentales en la comunicación, que pueden hacer frente a interpretaciones erróneas de los signos visuales y geométricos durante el análisis del vídeo. Este trabajo introduce una arquitectura compacta para la traducción de señas a texto que explora el movimiento como alternativa para apoyar la traducción de signos. Dicha caracterización resulta robusta a la varianza de la apariencia con apoyo a las variaciones geométricas. Además, este trabajo propone dos módulos que aportan robustez al componente estructural reflejado directamente en la traducción. La arquitectura propuesta se evaluó en un conjunto de datos propio de lengua de señas colombiana construido específicamente para esta tarea (CoL-SLTD) dedicado al estudio del movimiento y de la estructura de las oraciones, también en un conjunto de datos del estado del arte llamado RWTH-Phoenix-weather. Del conjunto de datos CoL-SLTD, la mejor configuración reporta una puntuación BLEU-4 de 35.81 en el conjunto de pruebas. En cuanto al RWTH-Phoenix-weather, la estrategia propuesta alcanzó una puntuación BLEU-4 en prueba de 4.65 mejorando los resultados en condiciones reducidas similares.