Präzision, denk an die Rettung

Dieser Artikel wurde im Rahmen der Data Science Blogathon.

Einführung

Diese Situationen können angegangen werden, indem der Anwendungsfall jeder Metrik verstanden wird.

Jeder kennt die Grundlagen aller häufig verwendeten Ranking-Metriken, aber wenn es darum geht zu wissen, welches das richtige ist, um die Leistung Ihres Klassifizierungsmodells zu bewerten, Nur wenige vertrauen dem nächsten Schritt.

Beaufsichtigtes Lernen erfolgt normalerweise in Regression (kontinuierliche Ziele haben) oder in der Klassifizierung (diskrete Ziele haben). Aber trotzdem, In diesem Artikel, Ich werde versuchen, mich auf einen sehr kleinen, aber sehr wichtigen Teil des maschinellen Lernens zu konzentrieren, das ist das Lieblingsthema der Interviewer, “wer weiß was”, es kann Ihnen auch helfen, Ihre Konzepte in Klassifizierungsmodellen zu korrigieren und, Schließlich, über jedes geschäftliche Problem. Dieser Artikel wird Ihnen helfen zu wissen, dass, wenn Ihnen jemand sagt, dass ein ml-Modell ein 94% Präzision, Welche Fragen sollten Sie stellen, um herauszufinden, ob das Modell tatsächlich wie gewünscht funktioniert?.

Dann, Wie man die Fragen entscheidet, die helfen werden?

Jetzt, das ist ein Gedanke für die Seele.

Wir werden darauf reagieren, indem wir wissen, wie man ein Klassifikationsmodell auswertet, der richtige Weg.

Wir werden die folgenden Themen in diesem Artikel besprechen:

1. Präzision

2. Mängel

3. Verwirrung Matrix

4. Metriken basierend auf der Konfusionsmatrix

5. Zusammenfassung

Nach dem Lesen dieses Artikels, wird das Wissen darüber haben:

• Was ist eine Verwirrungsmatrix und warum müssen Sie sie verwenden??

• So berechnen Sie eine Verwirrungsmatrix für ein Klassifikationsproblem 2 Lektionen

• Metriken basierend auf der Konfusionsmatrix und wie man sie verwendet

Genauigkeit und ihre Mängel:

Präzision (ACC) misst den Anteil der richtigen Vorhersagen. ist definiert als “die Beziehung zwischen korrekten Vorhersagen und den Gesamtvorhersagen”.

Problem mit der Genauigkeit:

Verbergen Sie die Details, die Sie benötigen, um die Leistung Ihres Ranking-Modells besser zu verstehen. Sie können den folgenden Beispielen folgen, um das Problem zu verstehen:

1. Zielvariable mit mehreren Klassen: wenn Ihre Daten mehr als 2 Lektionen. Mit 3 oder mehr Klassen, Sie können eine Art Genauigkeit der 80%, aber Sie wissen nicht, ob das daran liegt, dass alle Klassen gleich gut vorhersagen oder ob das Modell eine oder zwei Klassen vernachlässigt.

2. von unausgeglichen

Ein typisches Beispiel von unausgeglichenen Daten liegt in einem E-Mail-Klassifizierungsproblem, bei dem E-Mails als Spam oder nicht als Spam klassifiziert werden. Hier, Spam-Anzahl ist sehr gering (weniger als 10%) als die Anzahl der relevanten E-Mails (kein Spam) (mehr als 90%). Dann, die ursprüngliche Zweiklassenverteilung führt zu einem unausgeglichenen Datensatz.

Wenn wir zwei Kurse belegen, dann würden die ausgeglichenen Daten bedeuten, dass wir 50% Punkte für jede der Klassen. Was ist mehr, Ja gibt es 60-65% Punkte für eine Klasse und 40% F

Die Klassifizierungsgenauigkeit hebt nicht die Details hervor, die Sie zur Diagnose der Leistung Ihres Modells benötigen. Dies kann mit einer Konfusionsmatrix hervorgehoben werden.

Verwirrung Matrix:

Wikipedia definiert den Begriff als „eine Konfusionsmatrix“, auch als Fehlermatrix bekannt, es ist ein spezifisches Tabellendesign, das die Visualisierung der Leistung eines Algorithmus ermöglicht..

Unten ist eine Verwirrungsmatrix für zwei Klassen (+, -).

Es gibt vier Quadranten in der Konfusionsmatrix, die unten symbolisiert sind.

Verwirrung Matrix

• : Die Anzahl der in
  • Vorausgesagt, dass eine E-Mail Spam ist und ist es tatsächlich.

• Falsch negativ (FN): Die Anzahl der Instanzen, die positiv waren (+) und wurden fälschlicherweise als negativ eingestuft (-). Es ist auch bekannt als Tippfehler 2.
  • Vorausgesagt, dass eine E-Mail kein Spam ist und es tatsächlich ist.

• Richtig negativ (TN): Die Anzahl der Instanzen, die negativ waren (-) und wurden korrekt klassifiziert als (-).
  • Vorausgesagt, dass eine E-Mail kein Spam ist und tatsächlich ist sie es nicht.

• Falsch positiv (FP): Die Anzahl der Instanzen, die negativ waren (-) und wurden fälschlicherweise klassifiziert als (+). Dies ist auch bekannt als Tippfehler 1.
  • Vorausgesagt, dass eine E-Mail kein Spam ist und es tatsächlich ist.

Um ein wenig Klarheit zu schaffen:

Bis nach links: wahre positive für korrekt vorhergesagte Ereigniswerte.
Oben rechts: Fehlalarm für falsch vorhergesagte Ereigniswerte.
Links unten: falsch negativ für korrekt vorhergesagte Nicht-Ereigniswerte.
Unten rechts: Wahre Negative für Werte ohne falsch vorhergesagte Ereignisse.

Metriken basierend auf Konfusionsmatrix:

• Präzision

• Erinnern

• F1-Ergebnis

Präzision

Präzision berechnet die Fähigkeit eines Klassifikators, eine echte negative Beobachtung nicht als positiv zu kennzeichnen.

                  Präzision=TP/(TP+FP)

Präzision nutzen

Wir verwenden Präzision, wenn wir an einem Modell arbeiten, das dem Datensatz zur Spam-Erkennung ähnelt, da Recall tatsächlich berechnet, wie viele der tatsächlichen positiven Ergebnisse unser Modell erfasst, indem es als positiv bezeichnet wird.

Erinnern (Empfindlichkeit)

Recall berechnet die Fähigkeit eines Klassifikators, positive Beobachtungen im Datensatz zu finden. Wenn Sie sicher sein wollten, dass Sie alle positiven Kommentare finden, könnte den Speicher maximieren.

                    Rückruf=TP/(TP+FN)

Wir neigen immer dazu, Auszahlungen zu verwenden, wenn wir positive Szenarien richtig identifizieren müssen, B. in einem Krebserkennungsdatensatz oder einem Betrugserkennungsfall. Genauigkeit oder Präzision werden hier nicht so hilfreich sein.

F messen

Um zwei beliebige Modelle zu vergleichen, wir verwenden F1-Score. Es ist schwierig, zwei Modelle mit geringer Präzision und hoher Rückgewinnung zu vergleichen oder umgekehrt. Der F1-Score hilft dabei, Erholung und Genauigkeit gleichzeitig zu messen. Verwenden Sie das harmonische Mittel anstelle des arithmetischen Mittels, wenn Sie Extremwerte mehr bestrafen.

Die Verwirrungsmatrix verstehen

Nehmen wir an, wir haben ein binäres Klassifizierungsproblem, bei dem wir vorhersagen wollen, ob ein Patient Krebs hat oder nicht., je nach Symptomen (Die Eigenschaften) im Modell des maschinellen Lernens eingeführt (Sorter).

Wie zuvor studiert, die linke Seite der Konfusionsmatrix zeigt die vom Klassifikator vorhergesagte Klasse. in der Zwischenzeit, die obere Reihe des Arrays zeigt die tatsächlichen Klassenlabels aus den Beispielen.

Wenn das Problemset mehr als zwei Klassen hat, die Konfusionsmatrix wächst einfach um die jeweilige Klassenanzahl. Zum Beispiel, wenn es vier klassen gibt, wäre ein Array von 4 x 4.

In einfachen Worten, die anzahl der klassen ist egal, das haupt bleibt gleich: die linke Seite der Matrix sind die vorhergesagten Werte und oben die tatsächlichen Werte. Was wir überprüfen müssen, ist, wo sie sich schneiden, um die Anzahl der vorhergesagten Beispiele für eine bestimmte Klasse im Vergleich zur tatsächlichen Anzahl der Beispiele für diese Klasse zu sehen.

Während Sie Metriken wie die Konfusionsmatrix manuell berechnen können, Präzision und Erholung, die meisten Bibliotheken für maschinelles Lernen, wie man Scikit für Python lernt, über integrierte Methoden verfügen, um diese Metriken zu erhalten.

Erstellen einer Konfusionsmatrix in Scikit Learn

Wir haben bereits die Theorie zur Funktionsweise der Konfusionsmatrix behandelt, Hier werden wir Python-Befehle teilen, um die Ausgabe eines Klassifikators als Array zu erhalten.

Um die Konfusionsmatrix für unseren Klassifikator zu erhalten, wir müssen die Konfusionsmatrix, die wir aus Sklearn importiert haben, instanziieren und ihr die relevanten Argumente übergeben: die wahren Werte und unsere Vorhersagen.

de sklearn.metrics importar equation_matrix

c_matrix = verwirrt_matrx (gereizt, Vorhersagen)

zu drucken (c_matrix)

Zusammenfassung

In einer kurzen Zusammenfassung, wir analysieren:

• Präzision

• Probleme, die es auf den Tisch bringen kann

• Verwirrungsmatrix zum besseren Verständnis des Klassifikationsmodells

• Genauigkeit und Wiederherstellung und Szenario, wo sie verwendet werden sollen

Wir neigen zur Präzision, weil jeder eine Vorstellung davon hat, was es bedeutet. Es ist notwendig, die Verwendung geeigneterer Metriken zu erhöhen, wie Erholung und Präzision, das mag seltsam klingen. Jetzt haben Sie eine intuitive Idee, warum sie bei einigen Problemen besser funktionieren, wie unausgewogene Sortieraufgaben.

Statistiken liefern uns formale Definitionen, um diese Maßnahmen zu bewerten.. Unsere Aufgabe als Data Scientist ist es, die richtigen Tools für den richtigen Job zu kennen, und dies bringt die Notwendigkeit mit sich, bei der Arbeit mit Klassifikationsmodellen über die Präzision hinauszugehen.

Wiederherstellung verwenden, Präzision und F1-Score (harmonische Mittelwertgenauigkeit und Wiederfindung) ermöglicht es uns, Klassifikationsmodelle zu bewerten und lässt uns auch darüber nachdenken, nur die Präzision eines Modells zu verwenden, speziell bei unausgeglichenen Problemen. Wie wir erfahren haben, Genauigkeit ist bei verschiedenen Problemen kein nützliches Bewertungsinstrument, Lassen Sie uns also andere Maßnahmen implementieren, die unserem Arsenal hinzugefügt wurden, um das Modell zu evaluieren.

Rohit-Hose

Github

Verwandt