Optimización de Hiperparámetros en Algoritmos de Aprendizaje Automático

Acero Lozada, July Andrea; Rojas Ramirez, Kevin Stiveen

Optimización de Hiperparámetros en Algoritmos de Aprendizaje Automático

dc.contributor.advisor	Lamos Díaz, Henry
dc.contributor.author	Acero Lozada, July Andrea
dc.contributor.author	Rojas Ramirez, Kevin Stiveen
dc.contributor.evaluator	Ortiz Pimiento, Nestor Raul
dc.contributor.evaluator	Escobar Rodriguez, Laura Yeraldin
dc.date.accessioned	2023-08-09T15:40:37Z
dc.date.available	2023-08-09T15:40:37Z
dc.date.created	2023-08-08
dc.date.issued	2023-08-08
dc.description.abstract	En la actualidad, el Automated Machine Learning (AutoML) ha sido ampliamente aplicado debido al alto potencial benéfico que aporta a los distintos sectores de la industria, particularmente en la mejora de los flujos de trabajo, el rendimiento de los procesos y la efectividad empresarial. Dentro del AutoML es importante la adecuada elección de los valores de hiperparámetros mediante técnicas de optimización, ya que los algoritmos de ML dependen de los valores de hiperparámetros (HPs) elegidos debido a que estos influyen en el rendimiento de la máquina. Por ello, en esta investigación se diseña metodológicamente el proceso de construcción de los espacios de búsqueda y se propone una técnica para la optimización hiperparámetros de una máquina de Random Forest (RF) mediante la adaptación de la metaheurística de Particle Swarm Optimization (PSO). Esta técnica se utiliza para el análisis de conjunto de datos equilibrados y desequilibrados, mediante un proceso de benchmarking. Para validar el rendimiento del método, inicialmente se ejecutó el algoritmo de Random Forest sin aplicar la técnica de optimización, en donde se encontró la existencia de sobreajuste. Para reducir este comportamiento se establece una comparación entre PSO y técnicas de mayor usabilidad como Grid Search y Random Search a fin de analizar el comportamiento del modelo e identificar la técnica más efectiva en términos de funcionalidad y rendimiento. Los resultados demuestran que el modelo de clasificación Random Forest junto con la técnica de optimización de hiperparámetros Particle Swarm Optimization (PSO) mejoró la eficacia general del modelo, posibilitando obtener valores óptimos de hiperparámetros que mejoraron el rendimiento y el sobreajuste del modelo.
dc.description.abstractenglish	Nowadays, Automated Machine Learning (AutoML) has been widely applied due to the high beneficial potential it brings to different industry sectors, particularly in the improvement of workflows, process performance and business effectiveness. Within AutoML, the proper choice of hyperparameter values through optimization techniques is important, since ML algorithms depend on the chosen hyperparameter values (HPs) due to the fact that they influence machine performance. Therefore, in this research we methodologically design the process of constructing the search spaces and propose a technique for hyperparameter optimization of a Random Forest machine by adapting the particle swarm metaheuristic (PSO). This technique is used for the analysis of balanced and unbalanced dataset through a benchmarking process. To validate the performance of the method, the Random Forest algorithm was initially run without applying the optimization technique, where the existence of overfitting was found. To reduce this behavior, a comparison between PSO and more usable techniques such as Grid Search and Random Search is established in order to analyze the behavior of the model and identify the most effective technique in terms of functionality and performance. The results show that the Random Forest classification model together with the hyperparameter optimization technique Particle Swarm Optimization (PSO) improved the overall efficiency of the model, making it possible to obtain optimal hyperparameter values that improved the performance and overfitting of the model.
dc.description.degreelevel	Pregrado
dc.description.degreename	Ingeniero Industrial
dc.format.mimetype	application/pdf
dc.identifier.instname	Universidad Industrial de Santander
dc.identifier.reponame	Universidad Industrial de Santander
dc.identifier.repourl	https://noesis.uis.edu.co
dc.identifier.uri	https://noesis.uis.edu.co/handle/20.500.14071/14755
dc.language.iso	spa
dc.publisher	Universidad Industrial de Santander
dc.publisher.faculty	Facultad de Ingeníerias Fisicomecánicas
dc.publisher.program	Ingeniería Industrial
dc.publisher.school	Escuela de Estudios Industriales y Empresariales
dc.rights	info:eu-repo/semantics/openAccess
dc.rights.accessrights	info:eu-repo/semantics/openAccess
dc.rights.coar	http://purl.org/coar/access_right/c_abf2
dc.rights.creativecommons	Atribución-NoComercial-SinDerivadas 4.0 Internacional (CC BY-NC-ND 4.0)
dc.rights.license	Attribution-NonCommercial 4.0 International (CC BY-NC 4.0)
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/4.0/
dc.subject	AutoML
dc.subject	HPO
dc.subject	espacios de búsqueda
dc.subject	hiperparámetros
dc.subject	estrategia de espacios de búsqueda
dc.subject	Ingeniería de características
dc.subject.keyword	AutoML
dc.subject.keyword	HPO
dc.subject.keyword	search spaces
dc.subject.keyword	hyperparameters
dc.subject.keyword	search space strategy
dc.subject.keyword	feature engineering
dc.title	Optimización de Hiperparámetros en Algoritmos de Aprendizaje Automático
dc.title.english	Hyperparameter Optimization in Machine Learning Algorithms
dc.type.coar	http://purl.org/coar/resource_type/c_7a1f
dc.type.hasversion	http://purl.org/coar/version/c_b1a7d7d4d402bcce
dc.type.local	Tesis/Trabajo de grado - Monografía - Pregrado