Diseño de un controlador para el puntero del ratón mediante la vista usando inteligencia artificial

Gamboa Ortiz, Juan José; Rodríguez Rodríguez, Johan Andrés

Diseño de un controlador para el puntero del ratón mediante la vista usando inteligencia artificial

dc.contributor.advisor	Barrero Pérez, Jaime Guillermo
dc.contributor.author	Gamboa Ortiz, Juan José
dc.contributor.author	Rodríguez Rodríguez, Johan Andrés
dc.contributor.evaluator	Fajardo Ariza, Carlos Augusto
dc.contributor.evaluator	Santos Ortiz, Camilo Andres
dc.date.accessioned	2024-11-12T19:49:59Z
dc.date.available	2024-11-12T19:49:59Z
dc.date.created	2024-11-05
dc.date.issued	2024-11-05
dc.description.abstract	El desarrollo de un aplicativo basado en inteligencia artificial, específicamente utilizando técnicas de Deep Learning para el reconocimiento del movimiento ocular con el objetivo de controlar el puntero del computador. El sistema se fundamenta en el uso de redes neuronales convolucionales (CNN) y se ha diseñado a través de un enfoque en cuatro pasos. En primer lugar, se usó Transfer Learning de la red pre entrenada Resnet18 la cúal trabaja para clasificar 1.000 clases diferentes, ajustando este modelo, se suplió la necesidad de una base de datos amplia. En el segundo paso, se creó una base de datos con el fin de ajustar el modelo pre entrenado a nuestro caso. También, se empleó una red neuronal convolucional multicapa la cual cuenta con dos entradas (una imagen de cada ojo) y una salida de 4 clases con el fin de comparar los resultados obtenidos con la red Resnet18. En el tercer paso, se obtuvo la respuesta al movimiento ocular mediante el modelo entrenado con un hardware específico (GPU 3060TI). La red neuronal, ahora capacitada, es capaz de interpretar el movimiento ocular y generar un movimiento hacía la coordenada que el usuario desee. Finalmente, en el cuarto paso, se implementaron dos algoritmos (EYEIA y EyeRes) que mueven el puntero 50 píxeles en la dirección deseada cada 5 segundos para garantizar una experiencia de uso fluida y cómoda. Además, se añadieron dos funcionalidades: el control del clic mediante una sonrisa y la dirección “abajo”, brindando al usuario una mayor comodidad y control sobre la interfaz. Para este último paso, se utilizaron librerías con modelos pre entrenados por lo que no haría falta modificar la base de datos, la cual se centra en la mirada.
dc.description.abstractenglish	The development of an application based on artificial intelligence, specifically using Deep Learning techniques for eye movement recognition, aims to control the computer pointer. The system is based on the use of convolutional neural networks (CNN) and has been designed through a four-step approach. First, Transfer Learning was applied using the pre-trained ResNet18 network, which is capable of classifying 1,000 different classes. By fine-tuning this model, the need for a large dataset was addressed. In the second step, a custom dataset was created to further adapt the pre-trained model to our specific case. Additionally, a multi-layer convolutional neural network was employed, featuring two inputs (one image of each eye) and a four-class output, allowing for comparison with the results obtained from the ResNet18 network. In the third step, the eye movement response was obtained using the trained model on specific hardware (3060TI GPU). The now-trained neural network can interpret eye movements and generate a motion toward the user's desired coordinates. Finally, in the fourth step, two algorithms (EYEIA and EyeRes) were implemented to move the pointer 50 pixels in the desired direction every 5 seconds, ensuring a smooth and comfortable user experience. Additionally, two functionalities were added: click control through a smile and the "down" direction, providing the user with greater comfort and control over the interface. For this last step, libraries with pre-trained models were used, making it unnecessary to modify the dataset, which is focused on eye gaze.
dc.description.degreelevel	Pregrado
dc.description.degreename	Ingeniero Electrónico
dc.format.mimetype	application/pdf
dc.identifier.instname	Universidad Industrial de Santander
dc.identifier.reponame	Universidad Industrial de Santander
dc.identifier.repourl	https://noesis.uis.edu.co
dc.identifier.uri	https://noesis.uis.edu.co/handle/20.500.14071/44611
dc.language.iso	spa
dc.publisher	Universidad Industrial de Santander
dc.publisher.faculty	Facultad de Ingeníerias Fisicomecánicas
dc.publisher.program	Ingeniería Electrónica
dc.publisher.school	Escuela de Ingenierías Eléctrica, Electrónica y Telecomunicaciones
dc.rights	info:eu-repo/semantics/openAccess
dc.rights.accessrights	info:eu-repo/semantics/openAccess
dc.rights.coar	http://purl.org/coar/access_right/c_f1cf
dc.rights.creativecommons	Atribución-NoComercial-SinDerivadas 4.0 Internacional (CC BY-NC-ND 4.0)
dc.rights.license	Atribución-NoComercial-SinDerivadas 2.5 Colombia (CC BY-NC-ND 2.5 CO)
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/4.0/
dc.subject	Inteligencia artificial
dc.subject	Software
dc.subject	Discapacidad
dc.subject	Python
dc.subject	imágenes
dc.subject	Computador
dc.subject	Vista
dc.subject	Aprendizaje Profundo
dc.subject.keyword	Artificial intelligence
dc.subject.keyword	Software
dc.subject.keyword	Disability
dc.subject.keyword	Python
dc.subject.keyword	Images
dc.subject.keyword	Computer
dc.subject.keyword	Sight
dc.subject.keyword	Deep Learning
dc.title	Diseño de un controlador para el puntero del ratón mediante la vista usando inteligencia artificial
dc.title.english	Design of a controller to the mouse's pointer through the sight utilizing artificial intelligence
dc.type.coar	http://purl.org/coar/resource_type/c_7a1f
dc.type.hasversion	http://purl.org/coar/version/c_b1a7d7d4d402bcce
dc.type.local	Tesis/Trabajo de grado - Monografía - Pregrado