la regresión lineal es la familia de algoritmos empleados en tareas de aprendizaje automático supervisado (para obtener más información sobre el aprendizaje supervisado, puede leer mi artículo anterior aquí). Sabiendo que las tareas de ML supervisadas normalmente se dividen en clasificación y regresión, podemos colocar algoritmos de regresión lineal en esta última categoría., Difiere de la clasificación debido a la naturaleza de la variable objetivo: en la clasificación, el objetivo es un valor categórico (‘sí/no’, ‘Rojo/Azul/Verde’, ‘spam/no spam’…); por otro lado, la regresión implica valores numéricos y continuos como objetivo, por lo que se le pedirá al algoritmo que prediga un número continuo en lugar de una clase o categoría. Es decir, imagine que desea predecir el precio de una casa en función de algunas características relativas: la salida de su modelo será el precio, por lo tanto, un número continuo.,
Las tareas de regresión se pueden dividir en dos grupos principales: aquellas que usan solo una característica para predecir el destino, y aquellas que usan más de una característica para ese propósito. Para darle un ejemplo, consideremos la tarea de la casa anterior: si desea predecir su precio solo basado en sus metros cuadrados, caerá en la primera situación (una característica); si va a predecir el precio basado en, digamos, sus metros cuadrados, su posición y la habitabilidad del entorno circundante, caerá en la segunda situación (múltiples características, en ese caso, tres).,
En el primer caso, el algoritmo que se puedan emplear será el de Regresión Lineal Simple, que es el que vamos a hablar en este artículo. Por otro lado, cuando se enfrenta a más de una entidad capaz de explicar la variable objetivo, es probable que emplee una regresión lineal múltiple.,
la regresión lineal Simple es un modelo estadístico, ampliamente utilizado en tareas de regresión ML, basado en la idea de que la relación entre dos variables se puede explicar mediante la siguiente fórmula:
donde ei es el término de error, y α, β son los parámetros verdaderos (pero no observados) de la regresión., El parámetro β representa la variación de la variable dependiente cuando la variable independiente tiene una variación unitaria: a saber, si mi parámetro es igual a 0.75, cuando mi x aumenta en 1, mi variable dependiente aumentará en 0.75. Por otro lado, el parámetro α representa el valor de nuestra variable dependiente cuando la independiente es igual a cero.,
Vamos a visualizar gráficamente:
Ahora, la idea de la Regresión Lineal Simple es encontrar los parámetros de α y β, para que el término de error es mínimo. Para ser más precisos, el modelo minimizará los errores al cuadrado: de hecho, no queremos que nuestros errores positivos sean compensados por los negativos, ya que son igualmente penalizantes para nuestro modelo.,
This procedure is called Ordinary Least Squared error — OLS.
Let’s demonstrate those optimization problems step by step.,r α:
Una vez obtenidos los valores de α y β, con lo que se minimiza el cuadrado de los errores, nuestro modelo de la ecuación se verá así:
en resumen, se puede considerar la OPERACIÓN como una estrategia para obtener, a partir de su modelo, una ‘línea recta’ que está tan cerca como sea posible a los puntos de datos., Aunque OLS no es la única estrategia de optimización, es la más popular para este tipo de tareas, ya que los resultados de la regresión (es decir, coeficientes) son estimadores imparciales de los valores reales de alfa y beta. De hecho, según el Teorema de Gauss-Markov, bajo algunas suposiciones del modelo de regresión lineal (linealidad en parámetros, muestreo aleatorio de observaciones, Media condicional igual a cero, ausencia de multicolinealidad, homoskedasticidad de errores), los estimadores OLS α y β son los mejores estimadores lineales no sesgados (azul) de los valores reales de α y β.,
si te ha parecido interesante este tema y quieres ver una aplicación práctica con Python de lo que has estado leyendo hasta ahora, puedes leer mi artículo aquí.
