Reconocimiento continuo y traducción de la lengua de señas empleando una arquitectura Transformer

Simple item page
dc.contributor.advisorMartínez Carillo, Fabio
dc.contributor.authorRuiz Lagos, Christian Eduardo
dc.contributor.evaluatorGarzón Villamizar, Gustavo Adolfo
dc.contributor.evaluatorRueda Chacón, Hoover Fabián
dc.date.accessioned2023-11-14T17:46:42Z
dc.date.available2023-11-14T17:46:42Z
dc.date.created2023-11-13
dc.date.issued2023-11-13
dc.description.abstractLos sistemas de traducción de la lengua de señas (SLT, por su denominación en inglés) apoyan la comunicación de personas con discapacidad auditiva al encontrar equivalencias entre las lenguas de señas y el lenguaje hablado. Sin embargo, esta tarea es desafiante debido a las múltiples variaciones presentes en las señas, la complejidad del lenguaje y la inherente riqueza de expresiones. Los enfoques computacionales basados en visión por computador han demostrado ser capaces de apoyar la traducción de la lengua de señas. No obstante, estos enfoques todavía presentan limitaciones para abarcar la variabilidad de los gestos y traducir secuencias largas. Este trabajo presenta una arquitectura basada en Transformers que codifica parámetros espacio-temporales presentes en los gestos, preservando información espacial local y de largo plazo mediante el uso de convoluciones y múltiples mecanismos de atención. El enfoque propuesto se validó en el conjunto de datos de Lengua de Señas Colombiana (CoL-SLTD), superando los enfoques base y logrando un puntaje BLEU4 del 51,37 %. Además, el enfoque propuesto se validó en el conjunto de datos RWTH-PHOENIXWeather-2014T (PHOENIX14T), logrando un puntaje BLEU4 de 15,24 %, lo que demuestra su robustez y efectividad para manejar escenarios más realistas.
dc.description.abstractenglishSign Language Translation (SLT) systems support hearing-impaired people communication by finding equivalences between signed and spoken languages. This task is however challenging due to multiple sign variations, complexity in language and inherent richness of expressions. Computational approaches have evidenced capabilities to support SLT. Nonetheless, typical approaches remain limited to cover gestures variability and support long sequence translations. This work introduces a Transformer-based architecture that encodes spatiotemporal motion gestures, preserving both local and long-range spatial information through the use of multiple convolutional and attention mechanisms. The proposed approach was validated on the Colombian Sign Language Translation Dataset (CoL-SLTD) outperforming baseline approaches, and achieving a BLEU4 of 51.37 %. Additionally, the proposed approach was validated on the RWTH-PHOENIX-Weather-2014T (PHOENIX14T), achieving a BLEU4 score of 15,24 %, demonstrating its robustness and effectiveness in handling real-world variations.
dc.description.degreelevelPregrado
dc.description.degreenameIngeniero de Sistemas
dc.format.mimetypeapplication/pdf
dc.identifier.instnameUniversidad Industrial de Santander
dc.identifier.reponameUniversidad Industrial de Santander
dc.identifier.repourlhttps://noesis.uis.edu.co
dc.identifier.urihttps://noesis.uis.edu.co/handle/20.500.14071/15327
dc.language.isospa
dc.publisherUniversidad Industrial de Santander
dc.publisher.facultyFacultad de Ingeníerias Fisicomecánicas
dc.publisher.programIngeniería de Sistemas
dc.publisher.schoolEscuela de Ingeniería de Sistemas e Informática
dc.rightsinfo:eu-repo/semantics/openAccess
dc.rights.accessrightsinfo:eu-repo/semantics/openAccess
dc.rights.coarhttp://purl.org/coar/access_right/c_abf2
dc.rights.creativecommonsAtribución-NoComercial-SinDerivadas 4.0 Internacional (CC BY-NC-ND 4.0)
dc.rights.licenseAtribución-NoComercial-SinDerivadas 2.5 Colombia (CC BY-NC-ND 2.5 CO)
dc.rights.urihttp://creativecommons.org/licenses/by-nc-nd/4.0/
dc.titleReconocimiento continuo y traducción de la lengua de señas empleando una arquitectura Transformer
dc.title.englishTransformer architecture for the continuos recognition and translation of sign language
dc.type.coarhttp://purl.org/coar/resource_type/c_7a1f
dc.type.hasversionhttp://purl.org/coar/version/c_b1a7d7d4d402bcce
dc.type.localTesis/Trabajo de grado - Monografía - Pregrado
Files
Original bundle
Now showing 1 - 3 of 3
No Thumbnail Available
Name:
Documento.pdf
Size:
1.57 MB
Format:
Adobe Portable Document Format
Download
No Thumbnail Available
Name:
Carta de autorización.pdf
Size:
457.69 KB
Format:
Adobe Portable Document Format
Download
No Thumbnail Available
Name:
Nota de proyecto.pdf
Size:
219.26 KB
Format:
Adobe Portable Document Format
Download
License bundle
Now showing 1 - 1 of 1
No Thumbnail Available
Name:
license.txt
Size:
2.18 KB
Format:
Item-specific license agreed to upon submission
Description:
Download
Collections
Ingeniería de Sistemas