Objetivo
- El impulso es una técnica de aprendizaje conjunto en la que cada modelo intenta corregir los errores del modelo anterior.
- Aprenda sobre el algoritmo de aumento de gradiente y las matemáticas detrás de él.
Introducción
En este artículo, vamos a discutir un algoritmo que funciona en la técnica de impulso, el algoritmo de aumento de gradiente. Es más conocido como Gradient Boosting Machine o GBM.
Nota: Si está más interesado en aprender conceptos en un formato audiovisual, tenemos este artículo completo explicado en el video a continuación. Si no es así, puede seguir leyendo.
Los modelos en Gradient Boosting Machine se están construyendo secuencialmente y cada uno de estos modelos posteriores intenta reducir el error del modelo anterior. Pero la pregunta es ¿cómo cada modelo reduce el error del modelo anterior? Se hace construyendo el nuevo modelo sobre errores o residuales de las predicciones anteriores.
Esto se hace para determinar si hay algún patrón en el error que el modelo anterior pasa por alto. Entendamos esto con un ejemplo.
Aquí tenemos los datos con dos características: edad y ciudad, y la variable objetivo es el ingreso. Entonces, según la ciudad y la edad de la persona, tenemos que predecir los ingresos. Tenga en cuenta que a lo largo del proceso de aumento de gradiente, actualizaremos lo siguiente: el objetivo del modelo, el residuo del modelo y la predicción.
Pasos para construir el modelo de máquina de aumento de gradiente
Para simplificar la comprensión de la máquina de aumento de gradiente, hemos dividido el proceso en cinco pasos simples.
Paso 1
El primer paso es construir un modelo y hacer predicciones sobre los datos dados. Volvamos a nuestros datos, para el primer modelo, el objetivo será el valor de Ingresos dado en los datos. Entonces, he establecido el objetivo como valores originales de Ingresos.
Ahora construiremos el modelo usando las características edad y ciudad con el ingreso objetivo. Este modelo entrenado podrá generar un conjunto de predicciones. Los cuales se suponen como sigue.
Ahora almacenaré estas predicciones con mis datos. Aquí es donde completo el primer paso.
Paso 2
El siguiente paso es utilizar estas predicciones para obtener el error, que se utilizará más adelante como objetivo. Por el momento tenemos los valores de Ingresos reales y las predicciones del modelo1. Usando estas columnas, calcularemos el error simplemente restando los ingresos reales y las predicciones de ingresos. A se muestra a continuación.
Como mencionamos anteriormente, los modelos sucesivos se centran en el error. Entonces, los errores aquí serán nuestro nuevo objetivo. Eso cubre el paso dos.
Paso 3
En el siguiente paso, crearemos un modelo sobre estos errores y realizaremos las predicciones. Aquí la idea es determinar si hay algún patrón oculto en el error.
Entonces, usando el error como objetivo y las características originales Edad y Ciudad, generaremos nuevas predicciones. Tenga en cuenta que las predicciones, en este caso, serán los valores de error, no los valores de ingresos previstos, ya que nuestro objetivo es el error. Digamos que el modelo da las siguientes predicciones
Paso 4
Ahora tenemos que actualizar las predicciones de model1. Agregaremos la predicción del paso anterior y la agregaremos a la predicción de model1 y la llamaremos Model2 Income.
Como puede ver, mis nuevas predicciones se acercan más a los valores reales de mis ingresos.
Finalmente, repetiremos los pasos 2 a 4, lo que significa que estaremos calculando nuevos errores y estableciendo este nuevo error como objetivo. Repetiremos este proceso hasta que el error sea cero o hayamos alcanzado el criterio de detención, que dice la cantidad de modelos que queremos construir. Ese es el proceso paso a paso de construir un modelo de aumento de gradiente.
En pocas palabras, construimos nuestro primer modelo que tiene características xy objetivo y, llamémosle a este modelo H0 que es una función de xey. Luego construimos el siguiente modelo sobre los errores del último modelo y un tercer modelo sobre los errores del modelo anterior y así sucesivamente. Hasta que construyamos n modelos.
Cada modelo sucesivo trabaja sobre los errores de todos los modelos anteriores para intentar identificar cualquier patrón en el error. Efectivamente, puedo decir que cada uno de estos modelos son funciones individuales que tienen la variable independiente x como característica y el objetivo es el error del modelo combinado anterior.
Entonces, para determinar la ecuación final de nuestro modelo, construimos nuestro primer modelo H0, que me dio algunas predicciones y generó algunos errores. Llamemos a este resultado combinado F0 (X).
Ahora creamos nuestro segundo modelo y agregamos nuevos errores predichos a F0 (X), esta nueva función será F1 (X). De manera similar, construiremos el siguiente modelo y así sucesivamente, hasta que tengamos n modelos como se muestra a continuación.
Entonces, en cada paso, intentamos modelar los errores, lo que nos ayuda a reducir el error general. Idealmente, queremos que este ‘en’ sea cero. Como puede ver, cada modelo aquí está tratando de aumentar el rendimiento del modelo, por lo tanto, usamos el término impulso.
Pero por qué usamos el término gradiente, aquí está el truco. En lugar de agregar directamente estos modelos, los agregamos con peso o coeficiente, y el valor correcto de este coeficiente se decide utilizando la técnica de aumento de gradiente.
Por tanto, una forma más generalizada de nuestra ecuación será la siguiente.
Las matemáticas detrás de Gradient Boosting Machine
Espero que ahora tengas una idea amplia de cómo funciona el aumento de gradiente. De aquí en adelante, nos centraremos en cómo se calcula el valor de Yn.
Usaremos la técnica de descenso de gradiente para obtener los valores de estos coeficientes gamma (Y), de manera que minimicemos la función de pérdida. Ahora profundicemos en esta ecuación y comprendamos el papel de la función de pérdida y gamma.
Aquí, la función de pérdida que estamos usando es (y-y ‘) 2. y es el valor real e y ‘es el valor final predicho por el último modelo. Entonces, podemos reemplazar y ‘con Fn (X) que representa el objetivo real menos las predicciones actualizadas de todos los modelos que hemos construido hasta ahora.
Diferenciación parcial
Creo que estará familiarizado con el proceso de descenso de gradientes, ya que vamos a utilizar el mismo concepto. Diferenciaremos la ecuación de L con respecto a Fn (X), obtendrás la siguiente ecuación, que también se conoce como pseudo residual. Cuál es el gradiente negativo de la función de pérdida.
Para simplificar esto, multiplicaremos ambos lados por -1. El resultado será algo como esto.
Ahora, sabemos que el error en nuestra ecuación de Fn + 1 (X) es el valor real menos las predicciones actualizadas de todos los modelos. Por lo tanto, podemos reemplazar el en en nuestra ecuación final con estos pseudo residuos como se muestra en la imagen a continuación.
Entonces esta es nuestra ecuación final. La mejor parte de este algoritmo es que le da la libertad de decidir la función de pérdida. La única condición es que la función de pérdida sea diferenciable. Para facilitar la comprensión, usamos una función de pérdida muy simple (y-y ‘) 2 pero puede cambiarla a una pérdida de bisagra o una pérdida logit o cualquier cosa.
El objetivo es minimizar la pérdida total. Veamos cuál sería la pérdida total aquí, será la pérdida hasta el modelo n más la pérdida del modelo actual que estamos construyendo. Aquí está la ecuación.
En esta ecuación, la primera parte es fija, pero la segunda parte es la pérdida del modelo en el que estamos trabajando actualmente. La pérdida de este modelo aún no se puede cambiar, pero podemos cambiar el valor de gamma. Ahora tenemos que seleccionar el valor de gamma de modo que la pérdida total se minimice y este valor se seleccione mediante el proceso de descenso de gradiente.
Entonces, la idea es reducir la pérdida general al decidir el valor óptimo de gamma para cada modelo que construimos.
Árbol de decisión de aumento de gradiente
Hablo de un caso especial de aumento de gradiente, es decir, árbol de decisión de aumento de gradiente (GBDT). Aquí, cada modelo sería un árbol y el valor de gamma se decidirá en cada nivel de hoja, no en el nivel general del modelo. Entonces, como se muestra en la siguiente imagen, cada hoja tendría un valor gamma.
Así es como funciona Gradient Boosting Decision Tree.
Notas finales
Impulsar es un tipo de aprendizaje conjunto. Es un proceso secuencial donde cada modelo intenta corregir los errores del modelo anterior. Esto significa que cada modelo sucesivo depende de sus predecesores. En este artículo, vimos el algoritmo de aumento de gradiente y las matemáticas detrás de él.
Como tenemos una idea clara del algoritmo, intente construir los modelos y obtenga algo de experiencia práctica con él.
Si está buscando comenzar su viaje de ciencia de datos y desea todos los temas bajo un mismo techo, su búsqueda se detiene aquí. Eche un vistazo a la IA y ML BlackBelt certificadas de DataPeaker Más Programa
¡Si tienes alguna duda, házmelo saber en la sección de comentarios!
Si tiene alguna pregunta, hágamelo saber en los comentarios a continuación.
