Logotipo del repositorio

Publicación:
Sistema basado en inteligencia artificial para la traducción de Braille en fotogramas de video

dc.contributor.advisorGalvis Carreño, Laura Viviana
dc.contributor.authorPedraza Nova, Joan Sebastian
dc.contributor.authorOsma Llanes, Marisol
dc.contributor.evaluatorArguello Fuentes, Henry
dc.contributor.evaluatorGuayacan Chaparro, Luis Carlos
dc.date.accessioned2026-11-19T13:26:51Z
dc.date.issued2026-11-19
dc.description.abstractEl sistema Braille es el medio fundamental de lectura y escritura táctil para personas con discapacidad visual, aunque su exigencia de contacto físico limita su uso en entornos dinámicos. Por ello, este trabajo de grado desarrolló un sistema basado en aprendizaje profundo para detectar y traducir inscripciones Braille en fotogramas de video, incorporando un módulo de síntesis de voz. Se construyeron dos conjuntos de datos: uno de imágenes anotadas en Braille y otro de videos grabados en entornos urbanos. Las imágenes fueron preprocesadas mediante redimensionamiento, orientación automática, rotación y adición de ruido. Posteriormente, se implementaron y compararon seis modelos de detección: YOLOv8, YOLO26, RT-DETR, Faster R-CNN, RetinaNet y SSDLite, utilizando Ultralytics y PyTorch. En imágenes, RT-DETR obtuvo los mejores resultados, con un mAP50 de 0.878 y un mAP50:95 de 0.636, seguido de YOLOv8, con 0.847 y 0.604, respectivamente. Asimismo, mediante el algoritmo propio de organización espacial, YOLOv8 alcanzó una coincidencia textual de 0.787. En la evaluación de los sintetizadores de voz, gTTS obtuvo las mayores puntuaciones MOS en calidad, naturalidad y pronunciación, con valores entre 9.05 y 8.72, entre 6.13 y 7.01, y entre 8.37 y 8.24, respectivamente. Además, registró un WER de 11.1% en la evaluación completa del pipeline con imágenes. En videos, RT-DETR alcanzó un mAP50 de 0.582, mientras que YOLOv8 obtuvo 0.430. No obstante, YOLOv8 presentó un menor tiempo promedio de inferencia por fotograma, de 8.162 ms, frente a 41.7625 ms de RT-DETR. Los resultados evidencian la viabilidad de integrar detección de Braille y síntesis de voz para traducir inscripciones a partir de video. La combinación de YOLOv8 y gTTS permitió obtener un equilibrio entre precisión de procesamiento, coincidencia textual e inteligibilidad del audio, aunque persisten desafíos asociados a las condiciones reales de captura.
dc.description.abstractenglishThe Braille system is the fundamental means of tactile reading and writing for people with visual impairments, although its requirement for physical contact limits its use in dynamic environments. Therefore, this undergraduate thesis developed a deep learning-based system to detect and translate Braille inscriptions in video frames, incorporating a speech synthesis module. Two datasets were constructed: one consisting of annotated Braille images and another of videos recorded in urban environments. The images were preprocessed through resizing, automatic orientation, rotation, and noise addition. Subsequently, six detection models were implemented and compared: YOLOv8, YOLO26, RT-DETR, Faster R-CNN, RetinaNet, and SSDLite, using the Ultralytics and PyTorch libraries. On the image dataset, RT-DETR achieved the best results, with an mAP50 of 0.878 and an mAP50:95 of 0.636, followed by YOLOv8, with 0.847 and 0.604, respectively. Additionally, using the custom spatial organization algorithm, YOLOv8 achieved a text matching score of 0.787. In the evaluation of speech synthesizers, gTTS obtained the highest MOS scores for quality, naturalness, and pronunciation, with values ranging from 9.05 to 8.72, from 6.13 to 7.01, and from 8.37 to 8.24, respectively. Furthermore, it recorded a WER of 11.1% in the complete image-based pipeline evaluation. On the video dataset, RT-DETR achieved an mAP50 of 0.582, while YOLOv8 obtained 0.430. However, YOLOv8 presented a lower average inference time per frame, at 8.162 ms, compared to 41.7625 ms for RT-DETR. The results demonstrate the feasibility of integrating Braille detection and speech synthesis to translate inscriptions automatically from video. The combination of YOLOv8 and gTTS provided a balance between processing accuracy, text matching, and audio intelligibility, although challenges associated with real-world recording conditions remain.
dc.description.degreelevelPregrado
dc.description.degreenameIngeniero de Sistemas
dc.format.mimetypeapplication/pdf
dc.identifier.instnameUniversidad Industrial de Santander
dc.identifier.reponameUniversidad Industrial de Santander
dc.identifier.repourlhttps://noesis.uis.edu.co
dc.identifier.urihttps://noesis.uis.edu.co/handle/20.500.14071/48808
dc.language.isospa
dc.publisherUniversidad Industrial de Santander
dc.publisher.facultyFacultad de Ingeníerias Fisicomecánicas
dc.publisher.programIngeniería de Sistemas
dc.publisher.schoolEscuela de Ingeniería de Sistemas e Informática
dc.rightsinfo:eu-repo/semantics/openAccess
dc.rights.coarhttp://purl.org/coar/access_right/c_abf2
dc.rights.licenseAtribución-NoComercial-SinDerivadas 2.5 Colombia (CC BY-NC-ND 2.5 CO)
dc.rights.urihttps://creativecommons.org/licenses/by-nc-nd/4.0/
dc.subjectReconocimiento óptico de Braille
dc.subjectAprendizaje profundo
dc.subjectSíntesis de voz
dc.subjectDetección de objetos
dc.subject.keywordOptical Braille Recognition
dc.subject.keywordDeep Learning
dc.subject.keywordSpeech Synthesis
dc.subject.keywordObject Detection
dc.titleSistema basado en inteligencia artificial para la traducción de Braille en fotogramas de video
dc.title.englishArtificial intelligence-based system for Braille transcription from video frames
dc.type.coarhttp://purl.org/coar/resource_type/c_7a1f
dc.type.hasversionhttp://purl.org/coar/version/c_b1a7d7d4d402bcce
dc.type.localTesis/Trabajo de grado - Monografía - Pregrado
dspace.entity.typePublication
local.degreee.modalityTrabajo de Investigación

Archivos

Bloque original

Mostrando 1 - 3 de 3
Cargando...
Miniatura
Nombre:
Carta Autorización de Uso.pdf
Tamaño:
180.95 KB
Formato:
Adobe Portable Document Format
Cargando...
Miniatura
Nombre:
Nota de Proyecto.pdf
Tamaño:
202.4 KB
Formato:
Adobe Portable Document Format
Cargando...
Miniatura
Nombre:
Documento.pdf
Tamaño:
10.5 MB
Formato:
Adobe Portable Document Format

Bloque de licencias

Mostrando 1 - 1 de 1
Cargando...
Miniatura
Nombre:
license.txt
Tamaño:
2.17 KB
Formato:
Item-specific license agreed to upon submission
Descripción:

VIGILADA MINEDUCACIÓN

Ordenanza No. 83 de 1.944 (junio 22)

Carácter académico: Universidad

Notificaciones judiciales: notjudiciales@uis.edu.co 

.

Código SNIES: 1204   Nit: 890.201.213-4

Línea Anticorrupción:  +57 (601) 562 9300 EXT: 3633

Línea transparente: +57 (607) 630 3031