Publicación: Reconocimiento continuo y traducción de la lengua de señas empleando una arquitectura Transformer
Portada
Citas bibliográficas
Gestores Bibliográficos
Código QR
Autor/a
Director
Autor corporativo
Recolector de datos
Otros/Desconocido
Director audiovisual
Editor
Fecha
Citación
Título de serie/ reporte/ volumen/ colección
Es Parte de
Resumen
Los sistemas de traducción de la lengua de señas (SLT, por su denominación en inglés) apoyan la comunicación de personas con discapacidad auditiva al encontrar equivalencias entre las lenguas de señas y el lenguaje hablado. Sin embargo, esta tarea es desafiante debido a las múltiples variaciones presentes en las señas, la complejidad del lenguaje y la inherente riqueza de expresiones. Los enfoques computacionales basados en visión por computador han demostrado ser capaces de apoyar la traducción de la lengua de señas. No obstante, estos enfoques todavía presentan limitaciones para abarcar la variabilidad de los gestos y traducir secuencias largas. Este trabajo presenta una arquitectura basada en Transformers que codifica parámetros espacio-temporales presentes en los gestos, preservando información espacial local y de largo plazo mediante el uso de convoluciones y múltiples mecanismos de atención. El enfoque propuesto se validó en el conjunto de datos de Lengua de Señas Colombiana (CoL-SLTD), superando los enfoques base y logrando un puntaje BLEU4 del 51,37 %. Además, el enfoque propuesto se validó en el conjunto de datos RWTH-PHOENIXWeather-2014T (PHOENIX14T), logrando un puntaje BLEU4 de 15,24 %, lo que demuestra su robustez y efectividad para manejar escenarios más realistas.

PDF
FLIP 
