Reconocimiento continuo y traducción de la lengua de señas empleando una arquitectura Transformer

Abstract

Los sistemas de traducción de la lengua de señas (SLT, por su denominación en inglés) apoyan la comunicación de personas con discapacidad auditiva al encontrar equivalencias entre las lenguas de señas y el lenguaje hablado. Sin embargo, esta tarea es desafiante debido a las múltiples variaciones presentes en las señas, la complejidad del lenguaje y la inherente riqueza de expresiones. Los enfoques computacionales basados en visión por computador han demostrado ser capaces de apoyar la traducción de la lengua de señas. No obstante, estos enfoques todavía presentan limitaciones para abarcar la variabilidad de los gestos y traducir secuencias largas. Este trabajo presenta una arquitectura basada en Transformers que codifica parámetros espacio-temporales presentes en los gestos, preservando información espacial local y de largo plazo mediante el uso de convoluciones y múltiples mecanismos de atención. El enfoque propuesto se validó en el conjunto de datos de Lengua de Señas Colombiana (CoL-SLTD), superando los enfoques base y logrando un puntaje BLEU4 del 51,37 %. Además, el enfoque propuesto se validó en el conjunto de datos RWTH-PHOENIXWeather-2014T (PHOENIX14T), logrando un puntaje BLEU4 de 15,24 %, lo que demuestra su robustez y efectividad para manejar escenarios más realistas.