Publicación: Sistema basado en inteligencia artificial para la traducción de Braille en fotogramas de video
| dc.contributor.advisor | Galvis Carreño, Laura Viviana | |
| dc.contributor.author | Pedraza Nova, Joan Sebastian | |
| dc.contributor.author | Osma Llanes, Marisol | |
| dc.contributor.evaluator | Arguello Fuentes, Henry | |
| dc.contributor.evaluator | Guayacan Chaparro, Luis Carlos | |
| dc.date.accessioned | 2026-11-19T13:26:51Z | |
| dc.date.issued | 2026-11-19 | |
| dc.description.abstract | El sistema Braille es el medio fundamental de lectura y escritura táctil para personas con discapacidad visual, aunque su exigencia de contacto físico limita su uso en entornos dinámicos. Por ello, este trabajo de grado desarrolló un sistema basado en aprendizaje profundo para detectar y traducir inscripciones Braille en fotogramas de video, incorporando un módulo de síntesis de voz. Se construyeron dos conjuntos de datos: uno de imágenes anotadas en Braille y otro de videos grabados en entornos urbanos. Las imágenes fueron preprocesadas mediante redimensionamiento, orientación automática, rotación y adición de ruido. Posteriormente, se implementaron y compararon seis modelos de detección: YOLOv8, YOLO26, RT-DETR, Faster R-CNN, RetinaNet y SSDLite, utilizando Ultralytics y PyTorch. En imágenes, RT-DETR obtuvo los mejores resultados, con un mAP50 de 0.878 y un mAP50:95 de 0.636, seguido de YOLOv8, con 0.847 y 0.604, respectivamente. Asimismo, mediante el algoritmo propio de organización espacial, YOLOv8 alcanzó una coincidencia textual de 0.787. En la evaluación de los sintetizadores de voz, gTTS obtuvo las mayores puntuaciones MOS en calidad, naturalidad y pronunciación, con valores entre 9.05 y 8.72, entre 6.13 y 7.01, y entre 8.37 y 8.24, respectivamente. Además, registró un WER de 11.1% en la evaluación completa del pipeline con imágenes. En videos, RT-DETR alcanzó un mAP50 de 0.582, mientras que YOLOv8 obtuvo 0.430. No obstante, YOLOv8 presentó un menor tiempo promedio de inferencia por fotograma, de 8.162 ms, frente a 41.7625 ms de RT-DETR. Los resultados evidencian la viabilidad de integrar detección de Braille y síntesis de voz para traducir inscripciones a partir de video. La combinación de YOLOv8 y gTTS permitió obtener un equilibrio entre precisión de procesamiento, coincidencia textual e inteligibilidad del audio, aunque persisten desafíos asociados a las condiciones reales de captura. | |
| dc.description.abstractenglish | The Braille system is the fundamental means of tactile reading and writing for people with visual impairments, although its requirement for physical contact limits its use in dynamic environments. Therefore, this undergraduate thesis developed a deep learning-based system to detect and translate Braille inscriptions in video frames, incorporating a speech synthesis module. Two datasets were constructed: one consisting of annotated Braille images and another of videos recorded in urban environments. The images were preprocessed through resizing, automatic orientation, rotation, and noise addition. Subsequently, six detection models were implemented and compared: YOLOv8, YOLO26, RT-DETR, Faster R-CNN, RetinaNet, and SSDLite, using the Ultralytics and PyTorch libraries. On the image dataset, RT-DETR achieved the best results, with an mAP50 of 0.878 and an mAP50:95 of 0.636, followed by YOLOv8, with 0.847 and 0.604, respectively. Additionally, using the custom spatial organization algorithm, YOLOv8 achieved a text matching score of 0.787. In the evaluation of speech synthesizers, gTTS obtained the highest MOS scores for quality, naturalness, and pronunciation, with values ranging from 9.05 to 8.72, from 6.13 to 7.01, and from 8.37 to 8.24, respectively. Furthermore, it recorded a WER of 11.1% in the complete image-based pipeline evaluation. On the video dataset, RT-DETR achieved an mAP50 of 0.582, while YOLOv8 obtained 0.430. However, YOLOv8 presented a lower average inference time per frame, at 8.162 ms, compared to 41.7625 ms for RT-DETR. The results demonstrate the feasibility of integrating Braille detection and speech synthesis to translate inscriptions automatically from video. The combination of YOLOv8 and gTTS provided a balance between processing accuracy, text matching, and audio intelligibility, although challenges associated with real-world recording conditions remain. | |
| dc.description.degreelevel | Pregrado | |
| dc.description.degreename | Ingeniero de Sistemas | |
| dc.format.mimetype | application/pdf | |
| dc.identifier.instname | Universidad Industrial de Santander | |
| dc.identifier.reponame | Universidad Industrial de Santander | |
| dc.identifier.repourl | https://noesis.uis.edu.co | |
| dc.identifier.uri | https://noesis.uis.edu.co/handle/20.500.14071/48808 | |
| dc.language.iso | spa | |
| dc.publisher | Universidad Industrial de Santander | |
| dc.publisher.faculty | Facultad de Ingeníerias Fisicomecánicas | |
| dc.publisher.program | Ingeniería de Sistemas | |
| dc.publisher.school | Escuela de Ingeniería de Sistemas e Informática | |
| dc.rights | info:eu-repo/semantics/openAccess | |
| dc.rights.coar | http://purl.org/coar/access_right/c_abf2 | |
| dc.rights.license | Atribución-NoComercial-SinDerivadas 2.5 Colombia (CC BY-NC-ND 2.5 CO) | |
| dc.rights.uri | https://creativecommons.org/licenses/by-nc-nd/4.0/ | |
| dc.subject | Reconocimiento óptico de Braille | |
| dc.subject | Aprendizaje profundo | |
| dc.subject | Síntesis de voz | |
| dc.subject | Detección de objetos | |
| dc.subject.keyword | Optical Braille Recognition | |
| dc.subject.keyword | Deep Learning | |
| dc.subject.keyword | Speech Synthesis | |
| dc.subject.keyword | Object Detection | |
| dc.title | Sistema basado en inteligencia artificial para la traducción de Braille en fotogramas de video | |
| dc.title.english | Artificial intelligence-based system for Braille transcription from video frames | |
| dc.type.coar | http://purl.org/coar/resource_type/c_7a1f | |
| dc.type.hasversion | http://purl.org/coar/version/c_b1a7d7d4d402bcce | |
| dc.type.local | Tesis/Trabajo de grado - Monografía - Pregrado | |
| dspace.entity.type | Publication | |
| local.degreee.modality | Trabajo de Investigación |
Archivos
Bloque original
1 - 3 de 3
Cargando...
- Nombre:
- Carta Autorización de Uso.pdf
- Tamaño:
- 180.95 KB
- Formato:
- Adobe Portable Document Format
Cargando...
- Nombre:
- Nota de Proyecto.pdf
- Tamaño:
- 202.4 KB
- Formato:
- Adobe Portable Document Format
Bloque de licencias
1 - 1 de 1
Cargando...
- Nombre:
- license.txt
- Tamaño:
- 2.17 KB
- Formato:
- Item-specific license agreed to upon submission
- Descripción:
