Attribution-NonCommercial 4.0 International (CC BY-NC 4.0)Martínez Carrillo, FabioArévalo Ovalle, John EdilsonValenzuela Rincón, Brayan Camilo2023-10-172023-10-172023-07-282023-07-28https://noesis.uis.edu.co/handle/20.500.14071/15045La enfermedad de Parkinson es un trastorno neurodegenerativo que afecta a un gran número de personas en todo el mundo. Desordenes del habla y las alteraciones del movimiento facial son síntomas representativos de la enfermedad, estudiados manualmente por neurólogos expertos. En este contexto, se han desarrollado redes neuronales especializadas para el análisis de audio (voz) y vídeo (rostro), con el fin de apoyar el diagnóstico de la enfermedad. En este trabajo, proponemos la integración de representaciones profundas audiovisuales, aprendidas por dos redes neuronales independientes especializadas en el análisis de alteraciones faciales y auditivas. Para ello, se definió un protocolo de captura para adquirir secuencias audiovisuales totalmente sincronizadas en una población de pacientes diagnosticados de enfermedad de Parkinson y sujetos control. Los resultados obtenidos demostraron que la integración de fuentes de información neurológicamente sincronizadas, juega un factor fundamental en la detección de patrones relacionados con la enfermedad de Parkinson, consiguiendo una mejora en el diagnóstico de hasta el 10,22\% del Área bajo la curva ROC (AUC). En particular, los resultados sugieren que la información aprendida por la red de audio actúa de forma complementaria a la información procedente del vídeo, sugiriendo que la simple integración lineal a partir de diferentes modalidades sensoriales, es suficiente para mejorar la detección y diagnóstico de la enfermedad de Parkinson. Este trabajo representa un esfuerzo preliminar hacia el análisis multimodal de estos síntomas, con el objetivo de mejorar tanto la comprensión como el diagnóstico de la enfermedad.application/pdfenginfo:eu-repo/semantics/openAccessBradicinesia facialEnfermedad de Parkinson (PD)HipomimiaTrastornos del hablaAprendizaje multimodalUniversidad Industrial de SantanderTesis/Trabajo de grado - Monografía - MaestríaUniversidad Industrial de Santanderhttps://noesis.uis.edu.coFacial BradykinesiaParkinson’s Disease (PD)HypomimiaSpeech DisordersMultimodal Learninghttp://purl.org/coar/access_right/c_abf2info:eu-repo/semantics/openAccessAtribución-NoComercial-SinDerivadas 4.0 Internacional (CC BY-NC-ND 4.0)