Vue d'ensemble
- Comment diviser un arbre de décision? Quels sont les différents critères de division lorsque l'on travaille avec des arbres de décision?
- Apprenez tout sur les méthodes de fractionnement d'arbre de décision ici et maîtrisez un algorithme d'apprentissage automatique populaire
introduction
Les arbres de décision sont simples à mettre en œuvre et tout aussi faciles à interpréter. Je m'appuie souvent sur des arbres de décision comme mon algorithme d'apprentissage automatique, que vous commenciez un nouveau projet ou que vous participiez à un hackathon.
Et les arbres de décision sont aussi une idée pour les débutants en apprentissage automatique !! Mais les questions à se poser (et connais la réponse) fils:
- Comment diviser un arbre de décision?
- Quels sont les différents critères de partage?
- Quelle est la différence entre Gini et Information Gain?
Si vous n'êtes pas sûr, même une de ces questions, Vous êtes au bon endroit! Decision Tree est un puissant algorithme d'apprentissage automatique qui sert également de base à d'autres algorithmes d'apprentissage automatique complexes et largement utilisés tels que Forêt aléatoire, XGBoost, Oui LightGBM. Vous pouvez imaginer pourquoi il est important de se renseigner sur ce sujet !!
Les bibliothèques de programmation d'aujourd'hui ont facilité l'utilisation de tout algorithme d'apprentissage automatique, mais cela se fait au prix d'une implémentation cachée, ce qui est impératif pour bien comprendre un algorithme. Une autre raison de cette lutte sans fin est la disponibilité de plusieurs façons de diviser les nœuds de l'arbre de décision, ce qui augmente la confusion.
Avez-vous déjà rencontré ce combat? Impossible de trouver une solution? Dans cet article, Je vais expliquer 4 Méthodes simples pour diviser un nœudNodo est une plateforme digitale qui facilite la mise en relation entre les professionnels et les entreprises à la recherche de talents. Grâce à un système intuitif, Permet aux utilisateurs de créer des profils, Partager des expériences et accéder à des opportunités d’emploi. L’accent mis sur la collaboration et le réseautage fait de Nodo un outil précieux pour ceux qui souhaitent élargir leur réseau professionnel et trouver des projets qui correspondent à leurs compétences et à leurs objectifs.... dans un arbre de décision.
Je suppose que je connais les bases de la régression et des arbres de décision. Voici deux cours gratuits populaires pour apprendre ou réviser rapidement les concepts clés:
Terminologies de base des arbres de décision
Passons en revue rapidement les terminologies clés liées aux arbres de décision que j'utiliserai tout au long de l'article..
- Nœud parent-enfant: Un nœud divisé en sous-nœuds est appelé nœud principal, et ces sous-nœuds sont appelés nœuds enfants. Puisqu'un nœud peut être divisé en plusieurs sous-nœuds, un nœud peut agir comme le nœud parent de plusieurs nœuds enfants
- Noeud principal: Le nœud le plus élevé dans un arbre de décision. Il n'a pas de nœud parent. Représente l'ensemble de la population ou de l'échantillon
- Nœuds feuilles / Terminal: Les nœuds qui n'ont pas de nœuds enfants sont appelés nœuds terminaux / feuille
Qu'est-ce que la division de nœuds dans un arbre de décision et pourquoi est-elle effectuée ??
Avant d'apprendre un sujet, Je pense qu'il est essentiel de comprendre pourquoi vous l'apprenez. Cela aide à comprendre le but de l'apprentissage d'un concept. Ensuite, Comprenons pourquoi en apprendre davantage sur la division des nœuds dans les arbres de décision.
Puisque tout le monde sait à quel point les arbres de décision sont utilisés, il est indéniable que l'apprentissage des arbres de décision est un must. Un arbre de décision prend des décisions en divisant les nœuds en sous-nœuds. Ce processus est effectué plusieurs fois au cours du processus d'apprentissage jusqu'à ce qu'il ne reste que des nœuds homogènes.. Et c'est la seule raison pour laquelle un arbre de décision peut si bien fonctionner. Donc, la division des nœuds est un concept clé que tout le monde devrait connaître.
La division des nœuds, ou juste la division, est le processus de division d'un nœud en plusieurs sous-nœuds pour créer des nœuds relativement purs. Il y a plusieurs moyens de le faire, qui peut être divisé en deux catégories en fonction du type de variable cible:
- Variable cible continue
- Variable objective catégorique
- Gini impureté
- Gain d'informations
- Chi au carré
Dans les sections suivantes, nous verrons chaque méthode de division en détail. Commençons par la première méthode de division: réduction des écarts.
Méthode de division de l'arbre de décision n. ° 1: réduction des écarts
La réduction de la variance est une méthode de division du nœud qui est utilisée lorsque la variable cible est continue, c'est-à-dire, problèmes de régression. Il est ainsi appelé car il utilise la variance comme mesure pour décider de la caractéristique à laquelle le nœud est divisé en nœuds enfants.
La variance est utilisée pour calculer l'homogénéité d'un nœud. Si un nœud est complètement homogène, alors la variance est nulle.
Voici les étapes pour diviser un arbre de décision en réduisant la variance:
- Pour chaque division, calculer individuellement la variance de chaque nœud enfant
- Calculer la variance de chaque division comme la variance moyenne pondérée des nœuds enfants
- Sélectionnez la division avec la plus faible variance
- Effectuez les étapes de 1 Al 3 jusqu'à ce que des nœuds complètement homogènes soient obtenus.
La vidéo suivante explique parfaitement la réduction de la variance à l'aide d'un exemple:
Méthode de division de l'arbre de décision n. ° 2: obtenir des informations
À présent, Que se passe-t-il si nous avons un variableEn statistique et en mathématiques, ongle "variable" est un symbole qui représente une valeur qui peut changer ou varier. Il existe différents types de variables, et qualitatif, qui décrivent des caractéristiques non numériques, et quantitatif, représentation de grandeurs numériques. Les variables sont fondamentales dans les expériences et les études, puisqu’ils permettent l’analyse des relations et des modèles entre différents éléments, faciliter la compréhension de phénomènes complexes.... Objectif catégorique? Réduire la variance ne suffira pas.
Bon, la réponse est le gain d'informations. Le gain d'information est utilisé pour diviser les nœuds lorsque la variable cible est catégorielle. Il fonctionne sur le concept d'entropie et est donné par:
L'entropie est utilisée pour calculer la pureté d'un nœud. Plus la valeur d'entropie est petite, plus la pureté du nœud est grande. L'entropie d'un nœud homogène est nulle. Comment on soustrait l'entropie de 1, le gain d'information est plus important pour les nœuds les plus purs avec une valeur maximale de 1. À présent, Regardons la formule de calcul de l'entropie:
Étapes pour diviser un arbre de décision en utilisant le gain d'informations:
- Pour chaque division, calculer individuellement l'entropie de chaque nœud enfant
- Calculer l'entropie de chaque division comme l'entropie moyenne pondérée des nœuds secondaires
- Sélectionnez la division avec la plus faible entropie ou le plus grand gain d'informations
- Jusqu'à ce que vous obteniez des nœuds homogènes, répéter les étapes 1-3
Voici une vidéo sur la façon d'utiliser le gain d'informations pour diviser un arbre de décision:
Méthode de division de l'arbre de décision # 3: Gini impureté
L'impureté de Gini est une méthode pour diviser les nœuds lorsque la variable cible est catégorielle. C'est le moyen le plus populaire et le plus simple de diviser un arbre de décision. La valeur de l'impureté de Gini est:
Attendre, Qu'est-ce que gini?
Gini est la probabilité d'étiqueter correctement un élément choisi au hasard s'il a été étiqueté au hasard selon la distribution d'étiquettes au nœud. La formule de Gini est:
Et l'impureté Gini est:
Plus l'impureté de Gini est faible, plus l'homogénéité du nœud est grande. L'impureté de Gini d'un nœud pur est nulle. À présent, vous pensez peut-être que nous connaissons déjà le gain d'informations, ensuite, Pourquoi avons-nous besoin d'impureté Gini?
L'impureté de Gini est préférée au gain d'informations car elle ne contient pas de logarithmes qui nécessitent beaucoup de calculs.
Voici les étapes pour diviser un arbre de décision à l'aide de Gini Impurity:
- Semblable à ce que nous avons fait pour obtenir des informations. Pour chaque division, calculer individuellement l'impureté de Gini de chaque nœud enfant
- CCalculer l'impureté de Gini de chaque division en tant qu'impureté de Gini moyenne pondérée des nœuds enfants.
- Sélectionnez la division avec la plus faible valeur d'impureté Gini
- Jusqu'à ce que vous obteniez des nœuds homogènes, répéter les étapes 1-3
Et voici Gini Impurity en vidéo:
Méthode de division de l'arbre de décision # 4: Chi au carré
Le chi carré est une autre méthode de division des nœuds dans un arbre de décision pour les ensembles de données qui ont des valeurs cibles catégorielles.. Peut faire deux ou plus de deux divisions. Fonctionne sur la signification statistique des différences entre le nœud parent et les nœuds secondaires.
La valeur du chi carré est:
Ici le Attendu est la valeur attendue pour une classe sur un nœud enfant en fonction de la distribution des classes sur le nœud parent, Oui Réel est la valeur réelle d'une classe dans un nœud enfant.
La formule ci-dessus nous donne la valeur du Khi carré pour une classe. Prenez la somme des valeurs du Khi-deux pour toutes les classes d'un nœud pour calculer le Khi-deux pour ce nœud. Plus la valeur est élevée, plus les différences entre les nœuds parent et enfant sont grandes, c'est-à-dire, plus l'homogénéité est grande.
Ce sont les étapes pour diviser un arbre de décision en utilisant le Chi-Square:
- Pour chaque division, Calculer individuellement la valeur du Khi-deux de chaque nœud enfant en prenant la somme des valeurs du Khi-deux pour chaque classe dans un nœud.
- Calculez la valeur du Khi-deux de chaque division comme la somme des valeurs du Khi-deux pour tous les nœuds enfants
- Sélectionnez la division avec la valeur de chi carré la plus élevée
- Jusqu'à ce que vous obteniez des nœuds homogènes, répéter les étapes 1-3
Bien sûr, il y a une vidéo expliquant Chi-Cuadrado dans le contexte d'un arbre de décision:
Remarques finales
À présent, connaître les différentes méthodes de division d'un arbre de décision. Dans les prochaines étapes, vous pouvez voir notre playlist complète sur les arbres de décision sur youtube. Ou vous pouvez prendre notre gratuite cours sur les arbres de décision ici.
J'ai également rassemblé ci-dessous une liste d'excellents articles sur les arbres de décision.:
Si vous avez trouvé cet article informatif, Partagez-le avec vos amis et commentez ci-dessous avec vos questions ou réflexions.
