Diseño de un controlador para el puntero del ratón mediante la vista usando inteligencia artificial
No Thumbnail Available
Date
2024-11-05
Advisors
Journal Title
Journal ISSN
Volume Title
Publisher
Universidad Industrial de Santander
Abstract
El desarrollo de un aplicativo basado en inteligencia artificial, específicamente utilizando técnicas de Deep Learning para el reconocimiento del movimiento ocular con el objetivo de controlar el puntero del computador. El sistema se fundamenta en el uso de redes neuronales convolucionales (CNN) y se ha diseñado a través de un enfoque en cuatro pasos.
En primer lugar, se usó Transfer Learning de la red pre entrenada Resnet18 la cúal trabaja para clasificar 1.000 clases diferentes, ajustando este modelo, se suplió la necesidad de una base de datos amplia. En el segundo paso, se creó una base de datos con el fin de ajustar el modelo pre entrenado a nuestro caso. También, se empleó una red neuronal convolucional multicapa la cual cuenta con dos entradas (una imagen de cada ojo) y una salida de 4 clases con el fin de comparar los resultados obtenidos con la red Resnet18.
En el tercer paso, se obtuvo la respuesta al movimiento ocular mediante el modelo entrenado con un hardware específico (GPU 3060TI). La red neuronal, ahora capacitada, es capaz de interpretar el movimiento ocular y generar un movimiento hacía la coordenada que el usuario desee.
Finalmente, en el cuarto paso, se implementaron dos algoritmos (EYEIA y EyeRes) que mueven el puntero 50 píxeles en la dirección deseada cada 5 segundos para garantizar una experiencia de uso fluida y cómoda. Además, se añadieron dos funcionalidades: el control del clic mediante una sonrisa y la dirección “abajo”, brindando al usuario una mayor comodidad y control sobre la interfaz. Para este último paso, se utilizaron librerías con modelos pre entrenados por lo que no haría falta modificar la base de datos, la cual se centra en la mirada.
Description
Keywords
Inteligencia artificial, Software, Discapacidad, Python, imágenes, Computador, Vista, Aprendizaje Profundo