Methoden zur Aufteilung von Entscheidungsbäumen | Entscheidungsbaum maschinelles Lernen

Überblick

• Wie teilt man einen Entscheidungsbaum?? Welche unterschiedlichen Aufteilungskriterien gibt es bei der Arbeit mit Entscheidungsbäumen??
• Erfahren Sie hier alles über Methoden zur Aufteilung von Entscheidungsbäumen und beherrschen Sie einen beliebten Algorithmus für maschinelles Lernen

Einführung

Entscheidungsbäume sind einfach zu implementieren und ebenso leicht zu interpretieren. Ich verlasse mich oft auf Entscheidungsbäume wie meinen Machine-Learning-Algorithmus, egal ob du ein neues Projekt startest oder an einem Hackathon teilnimmst.

Und Entscheidungsbäume sind auch für Einsteiger ins maschinelle Lernen eine Idee!! Aber die Fragen zu stellen (und kenne die Antwort) Sohn:

• Wie teilt man einen Entscheidungsbaum??
• Was sind die verschiedenen Aufteilungskriterien?
• Was ist der Unterschied zwischen Gini und Informationsgewinn??

Wenn Sie sich bei einer dieser Fragen nicht sicher sind, Sie sind an der richtigen Stelle! Decision Tree ist ein leistungsstarker Algorithmus für maschinelles Lernen, der auch als Grundlage für andere komplexe und weit verbreitete Algorithmen für maschinelles Lernen dient, wie z Zufälliger Wald, XGBoost, Ja LichtGBM. Sie können sich vorstellen, warum es wichtig ist, sich mit diesem Thema zu befassen!!

Die heutigen Programmierbibliotheken haben es einfach gemacht, jeden maschinellen Lernalgorithmus zu verwenden, aber das geht auf Kosten einer versteckten Implementierung, was unabdingbar ist, um einen Algorithmus vollständig zu verstehen. Ein weiterer Grund für diesen endlosen Kampf ist die Verfügbarkeit mehrerer Möglichkeiten zum Aufteilen der Entscheidungsbaumknoten, was die Verwirrung verstärkt.

Sind Sie jemals auf diesen Kampf gestoßen?? Konnte keine Lösung finden? In diesem Artikel, Ich werde erklären 4 Einfache Methoden zum Teilen eines KnotenNodo ist eine digitale Plattform, die die Verbindung zwischen Fachleuten und Unternehmen auf der Suche nach Talenten erleichtert. Durch ein intuitives System, Ermöglicht Benutzern das Erstellen von Profilen, Erfahrungen austauschen und Zugang zu Stellenangeboten erhalten. Der Fokus auf Zusammenarbeit und Networking macht Nodo zu einem wertvollen Werkzeug für diejenigen, die ihr berufliches Netzwerk erweitern und Projekte finden möchten, die mit ihren Fähigkeiten und Zielen übereinstimmen.... in einem Entscheidungsbaum.

Ich gehe davon aus, dass ich mit den Grundlagen von Regression und Entscheidungsbäumen vertraut bin. Hier sind zwei beliebte kostenlose Kurse, um schnell zu lernen oder wichtige Konzepte aufzufrischen:

Grundlegende Terminologien des Entscheidungsbaums

Sehen wir uns kurz die wichtigsten Terminologien im Zusammenhang mit Entscheidungsbäumen an, die ich im gesamten Artikel verwenden werde..

• Eltern-Kind-Knoten: Ein Knoten, der in Unterknoten unterteilt ist, wird als Hauptknoten bezeichnet, und diese Unterknoten werden als untergeordnete Knoten bezeichnet. Da ein Knoten in mehrere Unterknoten unterteilt werden kann, ein Knoten kann als Elternknoten vieler untergeordneter Knoten fungieren
• Wurzelknoten: Der höchste Knoten in einem Entscheidungsbaum. Es hat keinen übergeordneten Knoten. Stellt die gesamte Population oder Stichprobe dar
• Blattknoten / Terminal: Knoten, die keine untergeordneten Knoten haben, werden als Endknoten bezeichnet / Blatt

Was ist Node Splitting in einem Entscheidungsbaum und warum wird es gemacht??

Bevor Sie ein Thema lernen, Ich denke, es ist wichtig zu verstehen, warum du es lernst. Das hilft, das Ziel des Erlernens eines Konzepts zu verstehen. Dann, Lassen Sie uns verstehen, warum Sie mehr über die Aufteilung von Knoten in Entscheidungsbäumen erfahren.

Da jeder weiß, wie häufig Entscheidungsbäume verwendet werden, Es ist nicht zu leugnen, dass das Erlernen von Entscheidungsbäumen ein Muss ist. Ein Entscheidungsbaum trifft Entscheidungen, indem er Knoten in Unterknoten aufteilt. Dieser Vorgang wird während des Trainingsprozesses mehrmals durchgeführt, bis nur noch homogene Knoten übrig bleiben.. Und nur deshalb kann ein Entscheidungsbaum so gut funktionieren. Deswegen, Knotenaufteilung ist ein Schlüsselkonzept, das jeder kennen sollte.

Die Aufteilung der Knoten, oder nur die Teilung, ist der Prozess des Aufteilens eines Knotens in mehrere Unterknoten, um relativ reine Knoten zu erstellen. Es gibt mehrere Möglichkeiten, dies zu tun, die sich je nach Art der Zielvariablen in zwei Kategorien einteilen lassen:

1. Kontinuierliche Zielgröße
3. Kategoriale Zielvariable
   • Gini-Verunreinigung
   • Informationsgewinn
   • Chi im Quadrat

In den nächsten Abschnitten, wir werden jede Divisionsmethode im Detail sehen. Beginnen wir mit der ersten Divisionsmethode: Abweichungsreduzierung.

Entscheidungsbaum-Divisionsmethode n. ° 1: Abweichungsreduzierung

Die Varianzreduktion ist eine Methode zum Teilen des Knotens, die verwendet wird, wenn die Zielvariable stetig ist, nämlich, Regressionsprobleme. Es wird so genannt, weil es die Varianz als Maß verwendet, um zu entscheiden, an welchem ​​Merkmal welcher Knoten in untergeordnete Knoten unterteilt ist.

Die Varianz wird verwendet, um die Homogenität eines Knotens zu berechnen. Wenn ein Knoten vollständig homogen ist, dann ist die Varianz null.

Hier sind die Schritte zum Aufteilen eines Entscheidungsbaums durch Reduzierung der Varianz:

1. Für jede Abteilung, Berechnen Sie individuell die Varianz jedes untergeordneten Knotens
2. Berechnen Sie die Varianz jeder Division als gewichtete durchschnittliche Varianz der untergeordneten Knoten
3. Wählen Sie die Division mit der niedrigsten Varianz
4. Führen Sie die Schritte in 1 al 3 bis vollständig homogene Knoten erreicht sind.

Das folgende Video erklärt die Varianzreduzierung hervorragend an einem Beispiel:

Entscheidungsbaum-Divisionsmethode n. ° 2: Informationsgewinn

Jetzt, Was ist, wenn wir eine VariableIn Statistik und Mathematik, ein "Variable" ist ein Symbol, das einen Wert darstellt, der sich ändern oder variieren kann. Es gibt verschiedene Arten von Variablen, und qualitativ, die nicht-numerische Eigenschaften beschreiben, und quantitative, numerische Größen darstellen. Variablen sind grundlegend in Experimenten und Studien, da sie die Analyse von Beziehungen und Mustern zwischen verschiedenen Elementen ermöglichen, das Verständnis komplexer Phänomene zu erleichtern.... Kategoriale Zielsetzung? Die Reduzierung der Varianz wird nicht ausreichen.

Gut, die antwort ist informationsgewinn. Der Informationsgewinn wird verwendet, um die Knoten zu unterteilen, wenn die Zielvariable kategorial ist. Es arbeitet nach dem Konzept der Entropie und ist gegeben durch:

Entropie wird verwendet, um die Reinheit eines Knotens zu berechnen. Je kleiner der Entropiewert, je größer die Reinheit des Knotens. Die Entropie eines homogenen Knotens ist null. Wie wir die Entropie von subtrahieren 1, der Informationsgewinn ist für die reinsten Knoten mit einem Maximalwert von größer 1. Jetzt, Schauen wir uns die Formel zur Berechnung der Entropie an:

Schritte zum Aufteilen eines Entscheidungsbaums mithilfe von Informationsgewinnen:

1. Für jede Abteilung, Berechnen Sie individuell die Entropie jedes Kindknotens
2. Berechnen Sie die Entropie jeder Division als gewichtete mittlere Entropie der sekundären Knoten
3. Wählen Sie die Division mit der niedrigsten Entropie oder dem höchsten Informationsgewinn
4. Bis Sie homogene Knoten erreichen, Wiederhole die Schritte 1-3
   

Hier ist ein Video, wie man Informationsgewinne nutzt, um einen Entscheidungsbaum aufzuteilen:

Entscheidungsbaum-Aufteilungsmethode # 3: Gini-Verunreinigung

Gini Impurity ist eine Methode zum Unterteilen von Knoten, wenn die Zielvariable kategorial ist. Es ist die beliebteste und einfachste Methode, einen Entscheidungsbaum zu unterteilen. Der Wert der Gini-Verunreinigung ist:

Warten, Was ist Gini?

Gini ist die Wahrscheinlichkeit, ein zufällig ausgewähltes Element korrekt zu beschriften, wenn es gemäß der Etikettenverteilung am Knoten zufällig beschriftet wurde. Ginis Formel ist:

Und Gini-Unreinheit ist:

Je geringer die Unreinheit von Gini, desto größer die Homogenität des Knotens. Die Gini-Verunreinigung eines reinen Knotens ist null. Jetzt, Sie denken vielleicht, dass wir bereits über Informationsgewinn Bescheid wissen, dann, Warum brauchen wir Gini-Unreinheit?

Gini-Verunreinigung wird dem Informationsgewinn vorgezogen, da sie keine rechenintensiven Logarithmen enthält.

Hier sind die Schritte zum Aufteilen eines Entscheidungsbaums mit Gini Impurity:

1. Ähnlich wie bei der Informationsbeschaffung. Für jede Abteilung, Berechnen Sie individuell die Gini-Verunreinigung jedes Kindknotens
2. CBerechnen Sie die Gini-Verunreinigung jeder Division als den gewichteten Durchschnitt der Gini-Verunreinigung der untergeordneten Knoten.
3. Wählen Sie die Division mit dem niedrigsten Gini-Verunreinigungswert
4. Bis Sie homogene Knoten erreichen, Wiederhole die Schritte 1-3

Und hier ist Gini Impurity in Videoform:

Entscheidungsbaum-Aufteilungsmethode # 4: Chi im Quadrat

Das Chi-Quadrat ist eine weitere Methode zum Aufteilen von Knoten in einem Entscheidungsbaum für Datensätze mit kategorialen Zielwerten.. Kann zwei oder mehr als zwei Divisionen machen. Arbeitet an der statistischen Signifikanz der Unterschiede zwischen dem Elternknoten und den Sekundärknoten.

Der Chi-Quadrat-Wert ist:

Hier das Erwartet ist der erwartete Wert für eine Klasse auf einem untergeordneten Knoten basierend auf der Verteilung der Klassen auf dem übergeordneten Knoten, Ja Real ist der reelle Wert einer Klasse in einem Kindknoten.

Die obige Formel gibt uns den Chi-Quadrat-Wert für eine Klasse. Nehmen Sie die Summe der Chi-Quadrat-Werte für alle Klassen in einem Knoten, um das Chi-Quadrat für diesen Knoten zu berechnen. Je höher der Wert, desto größer sind die Unterschiede zwischen den Eltern- und Kindknoten, nämlich, desto größer die Homogenität.

Dies sind die Schritte zum Aufteilen eines Entscheidungsbaums mit Chi-Quadrat:

1. Für jede Abteilung, Berechnen Sie den Chi-Quadrat-Wert jedes untergeordneten Knotens einzeln, indem Sie die Summe der Chi-Quadrat-Werte für jede Klasse in einem Knoten nehmen.
2. Berechnen Sie den Chi-Quadrat-Wert jeder Division als Summe der Chi-Quadrat-Werte für alle untergeordneten Knoten
3. Wählen Sie die Division mit dem höchsten Chi-Quadrat-Wert
4. Bis Sie homogene Knoten erreichen, Wiederhole die Schritte 1-3

Natürlich, es gibt ein Video, das Chi-Cuarado im Kontext eines Entscheidungsbaums erklärt:

Abschließende Anmerkungen

Jetzt, kennen die verschiedenen Methoden zur Aufteilung eines Entscheidungsbaums. In den nächsten Schritten, Sie können unsere sehen komplette Playlist zu Entscheidungsbäumen auf Youtube. Oder Sie nehmen unsere kostenlos Entscheidungsbäume Kurs hier.

Ich habe unten auch eine Liste mit großartigen Artikeln zu Entscheidungsbäumen zusammengestellt.:

Wenn Sie diesen Artikel informativ fanden, Teile es mit deinen Freunden und kommentiere unten mit deinen Fragen oder Gedanken.

Verwandt