Publicación:

Tres técnicas de regresión con aprendizaje de máquina: Regresiones Lineal, Ridge y Lasso

Resumen

En la actualidad el aprendizaje automático sirve para analizar grandes bases de datos almacenados en los avances tecnológicos y empresas. Normalmente, existen muchas variables predictoras en el modelo de regresión lineal. No obstante, el método de mínimos cuadrados ordinarios hace varias suposiciones sobre los datos lo que genera que no sea ciertas en datos reales. Frecuentemente, ocasiona problemas al ajustar el modelo mediante mínimos cuadrados. La dificultad más común es que el modelo se ajuste demasiado a los datos, esto pasa cuando el estimador es insesgado pero tiene una alta variabilidad. Para este problema las regresiones Ridge y Lasso son dos técnicas de regularización utilizadas para crear un modelo mejor y más preciso. Las cuales se basan en reducir el número de variables imponiendo una penalización sobre los coeficientes de regresión que obliga a que los coeficientes tiendan a cero o incluso sean cero. Por último, se realiza una implementación con dos conjuntos de datos donde se comparan los tres modelos y se elige el que mejor tenga ajuste con el criterio del menor error cuadrático medio (ECM).