Maestría en Ingeniería de Sistemas e Informática

Permanent URI for this collection

https://noesis.uis.edu.co/handle/20.500.14071/9010

Browse

Browsing Maestría en Ingeniería de Sistemas e Informática by browse.metadata.evaluator "Cruz Roa, Ángel Alfonso"

Now showing 1 - 2 of 2
  • Thumbnail Image
    Item
    Algoritmo Semisupervisado para el etiquetado de imágenes basado en métodos de aprendizaje profundo
    (Universidad Industrial de Santander, 2022-03-30) Plazas Wadynski, Miguel Alberto; Ramos-Pollán, Raúl; Martínez Carrillo, Fabio; Pedraza Ferreira, Gabriel Rodrigo; Cruz Roa, Ángel Alfonso
    Las técnicas de aprendizaje semi-supervisado (SSL) exploran estrategias para el descubrimiento progresivo de la estructura oculta y latente de los datos. Para ello, estas estrategias hacen propagación de información supervisada sobre datos no etiquetados, que se utilizan posteriormente para reforzar el aprendizaje. Estos esquemas son beneficiosos en la teledetección, donde se agregan miles de imágenes nuevas todos los días y los resultados del etiquetado manual son prohibitivos. Este trabajo presenta un enfoque novedoso de aprendizaje profundo semi-supervisado basado en conjuntos que inicialmente toma un subconjunto de datos etiquetados 𝒟ℓ, que representa la estructura latente de los datos, y propaga etiquetas de forma progresiva y automática desde un conjunto de datos de expansión sin etiquetar 𝒟𝓊. La estrategia de ensamble es un conjunto de clasificadores cuyas predicciones se recopilan para derivar una predicción consolidada. Solo aquellos datos que tienen una predicción de alta confianza se consideran etiquetas recién generadas. El enfoque propuesto se validó exhaustivamente en cuatro conjuntos de datos públicos, logrando resultados apreciables en comparación con los métodos de última generación en la mayoría de las configuraciones evaluadas. Para todos los conjuntos de datos, el enfoque propuesto logró una puntuación de F1-score y un Recall de hasta un 90%, en promedio. El esquema SSL y recursivo también demostró una ganancia promedio de ~2% en la última etapa de entrenamiento en conjuntos de datos grandes.
  • Thumbnail Image
    Item
    Reconocimiento estructurado y continuo de signos en la lengua de señas registrados en video
    (Universidad Industrial de Santander, 2021) Rodríguez Chivatá, Jefferson David; Martínez Carrillo, Fabio; Cruz Roa, Ángel Alfonso; Arévalo Ovalle, John Edilson
    Las lenguas de señas son el principal mecanismo de comunicación en la comunidad sorda. Estas lenguas son muy variables en la comunicación, con divergencias entre la representación de los gestos, la configuración de los signos y múltiples variantes debido a aspectos culturales. Los métodos actuales para la traducción automática y continua de signos incluyen modelos de aprendizaje profundo que codifican la representación visual de los signos. A pesar de los importantes avances, la convergencia de estos modelos requiere enormes cantidades de datos para explotar la representación de las señas, lo que da lugar a modelos muy complejos. Este hecho se asocia a la mayor variabilidad, pero también a la escasa exploración de muchos componentes del lenguaje que sustentan la comunicación. Por ejemplo, el movimiento gestual y la estructura gramatical son componentes fundamentales en la comunicación, que pueden hacer frente a interpretaciones erróneas de los signos visuales y geométricos durante el análisis del vídeo. Este trabajo introduce una arquitectura compacta para la traducción de señas a texto que explora el movimiento como alternativa para apoyar la traducción de signos. Dicha caracterización resulta robusta a la varianza de la apariencia con apoyo a las variaciones geométricas. Además, este trabajo propone dos módulos que aportan robustez al componente estructural reflejado directamente en la traducción. La arquitectura propuesta se evaluó en un conjunto de datos propio de lengua de señas colombiana construido específicamente para esta tarea (CoL-SLTD) dedicado al estudio del movimiento y de la estructura de las oraciones, también en un conjunto de datos del estado del arte llamado RWTH-Phoenix-weather. Del conjunto de datos CoL-SLTD, la mejor configuración reporta una puntuación BLEU-4 de 35.81 en el conjunto de pruebas. En cuanto al RWTH-Phoenix-weather, la estrategia propuesta alcanzó una puntuación BLEU-4 en prueba de 4.65 mejorando los resultados en condiciones reducidas similares.