Structured and continuous video sign language recognition

Simple item page
dc.contributor.advisorMartínez Carrillo, Fabio
dc.contributor.authorRodríguez Chivatá, Jefferson David
dc.date.accessioned2024-03-04T01:18:02Z
dc.date.available2021
dc.date.available2024-03-04T01:18:02Z
dc.date.created2021
dc.date.issued2021
dc.description.abstractLas lenguas de señas son el principal mecanismo de comunicación en la comunidad sorda. Estas lenguas son muy variables en la comunicación, con divergencias entre la representación de los gestos, la configuración de los signos y múltiples variantes debido a aspectos culturales. Los métodos actuales para la traducción automática y continua de signos incluyen modelos de aprendizaje profundo que codifican la representación visual de los signos. A pesar de los importantes avances, la convergencia de estos modelos requiere enormes cantidades de datos para explotar la representación de las señas, lo que da lugar a modelos muy complejos. Este hecho se asocia a la mayor variabilidad, pero también a la escasa exploración de muchos componentes del lenguaje que sustentan la comunicación. Por ejemplo, el movimiento gestual y la estructura gramatical son componentes fundamentales en la comunicación, que pueden hacer frente a interpretaciones erróneas de los signos visuales y geométricos durante el análisis del vídeo. Este trabajo introduce una arquitectura compacta para la traducción de señas a texto que explora el movimiento como alternativa para apoyar la traducción de signos. Dicha caracterización resulta robusta a la varianza de la apariencia con apoyo a las variaciones geométricas. Además, este trabajo propone dos módulos que aportan robustez al componente estructural reflejado directamente en la traducción. La arquitectura propuesta se evaluó en un conjunto de datos propio de lengua de señas colombiana construido específicamente para esta tarea (CoL-SLTD) dedicado al estudio del movimiento y de la estructura de las oraciones, también en un conjunto de datos del estado del arte llamado RWTH-Phoenixweather. Del conjunto de datos CoL-SLTD, la mejor configuración reporta una puntuación BLEU-4 de 35.81 en el conjunto de pruebas. En cuanto al RWTH-Phoenix-weather, la estrategia propuesta alcanzó una puntuación BLEU-4 en prueba de 4.65 mejorando los resultados en condiciones reducidas similares.
dc.description.abstractenglishSign languages are the main mechanism of communication in the deaf community. These languages are highly variable in communication, with divergence in gesture representation, sign configuration and multiple variants due to cultural aspects. Current methods for automatic and continuous sign translation include deep learning models that encode the visual representation of signs. Despite significant advances, the convergence of these models requires huge amounts of data to exploit the sign representation, resulting in very complex models. This fact is associated with increased variability, but also with the limited exploration of many components of language that support communication. For example, gestural movement and grammatical structure are fundamental components in communication, which can address misinterpretations of visual and geometric signs during video analysis. This paper introduces a compact architecture for sign-to-text translation that explores motion as an alternative to support sign translation. Such a characterization is robust to appearance variance with support for geometric variations. In addition, this work proposes two modules that provide robustness to the structural component directly reflected in the translation. The proposed architecture was evaluated on a own Colombian Sign Language dataset built specifically for this task (CoL-SLTD) dedicated to the study of motion and sentence structure, also on a state-of-the-art dataset called RWTH-Phoenix-weather. From the CoL-SLTD dataset, the best configuration reports a BLEU-4 score of 35.81 on the test set. As for the RWTH-Phoenix-weather, the proposed strategy achieved a BLEU-4 score in test set of 4.65 improving the results in similar reduced conditions.
dc.description.degreelevelMaestría
dc.description.degreenameMagíster en Ingeniería de Sistemas e Informática
dc.format.mimetypeapplication/pdf
dc.identifier.instnameUniversidad Industrial de Santander
dc.identifier.reponameUniversidad Industrial de Santander
dc.identifier.repourlhttps://noesis.uis.edu.co
dc.identifier.urihttps://noesis.uis.edu.co/handle/20.500.14071/41584
dc.language.isospa
dc.publisherUniversidad Industrial de Santander
dc.publisher.facultyFacultad de Ingenierías Fisicomecánicas
dc.publisher.programMaestría en Ingeniería de Sistemas e Informática
dc.publisher.schoolEscuela de Ingeniería de Sistemas e Informática
dc.rightshttp://creativecommons.org/licenses/by/4.0/
dc.rights.accessrightsinfo:eu-repo/semantics/openAccess
dc.rights.creativecommonsAtribución-NoComercial-SinDerivadas 4.0 Internacional (CC BY-NC-ND 4.0)
dc.rights.licenseAttribution-NonCommercial 4.0 International (CC BY-NC 4.0)
dc.rights.urihttp://creativecommons.org/licenses/by-nc/4.0
dc.subjectReconocimiento Continuo De Signos
dc.subjectLengua De Señas
dc.subjectPatrones De Forma Y Movimiento
dc.subjectReconocimiento Estructurado.
dc.subject.keywordSign Language Translation
dc.subject.keywordContinuous Sign Recognition
dc.subject.keywordSign Language
dc.subject.keywordShape And Motion Patterns.
dc.titleStructured and continuous video sign language recognition
dc.title.englishStructured and continuous video sign language recognition
dc.type.coarhttp://purl.org/coar/version/c_b1a7d7d4d402bcce
dc.type.hasversionhttp://purl.org/coar/resource_type/c_bdcc
dc.type.localTesis/Trabajo de grado - Monografía - Maestria
Files
Original bundle
Now showing 1 - 3 of 3
No Thumbnail Available
Name:
Carta de autorización.pdf
Size:
130.29 KB
Format:
Adobe Portable Document Format
Download
No Thumbnail Available
Name:
Documento.pdf
Size:
4.24 MB
Format:
Adobe Portable Document Format
Download
No Thumbnail Available
Name:
Nota de proyecto.pdf
Size:
110.15 KB
Format:
Adobe Portable Document Format
Download
Collections
Maestría en Ingeniería de Sistemas e Informática