Als der Tag zu Ende ging, Ich dachte darüber nach, mich in ein anderes Meeting einzufügen. Zwei Analysten in meinem Team hatten daran gearbeitet, einen Datensatz für eines der Vorhersagemodelle zu erstellen, die wir erstellen wollten.. Kombinierte Berufserfahrung (in Vorhersagemodellen) unter Analysten war es ~ 5 Jahre. Ich hatte gehofft, das Meeting zu überstehen und für den Tag auszugehen.
Dann, das Treffen hat begonnen. Fünf Minuten nach dem Meeting und ich wusste, dass das Meeting viel länger dauern wird, als ich zunächst dachte!!
Der Grund? Lassen Sie uns die Diskussion noch einmal Revue passieren lassen:
Kunal: Wie viele Zeilen haben Sie im Dataset??
Analytiker 1: (Nach der Überprüfung des Datensatzes) X Reihen
Kunal: Auf wie viele Schlangen wartest du??
Analytiker 1 Ja 2: Leerer Blick in ihren Gesichtern
Kunal: Wie viele Veranstaltungen / Datenpunkte im Zeitraum erwartet / jeden Monat?
Analytiker 1 Ja 2: …. (Keiner von ihnen hatte eine Ahnung)
Die Anzahl der Zeilen im Datensatz erschien mir höher. Analysten hatten es eindeutig übersehen, weil sie es nicht mit kommerziellen Erwartungen verglichen haben (oder sie hatten es gar nicht). Beim Vertiefen, Wir haben festgestellt, dass einige Ereignisse mehrere Zeilen in den Datensätzen hatten und, deshalb, eine größere Anzahl von Zeilen.
Ein hoher Prozentsatz der Analysten hätte irgendwann in ihrer Karriere eine ähnliche Erfahrung gemacht..
Manchmal, entweder aus Zeitdruck oder aus anderen Gründen, Wir übersehen die grundlegenden Überprüfungen der Gesundheit des Datensatzes, an dem wir arbeiten. Trotz dieses, Das Übersehen der Datengenauigkeit in den frühen Phasen des Projekts kann sehr kostspielig sein und, deshalb, Im Allgemeinen ist es wichtig hervorzuheben, dass man bezüglich der Genauigkeit der Daten paranoid ist.
Wie gewöhnlich, Ich folge einem einfachen Rahmen, um die Genauigkeit der Datenpunkte zu überprüfen. In diesem Beitrag, Ich werde das Verfahren teilen, das ich normalerweise verwende, um die Richtigkeit der Daten zu überprüfen. Der Rahmen geht von oben nach unten, was passt gut. Wenn Sie offensichtliche Fehler in Ihren Datensätzen haben, wird zu Beginn des Verfahrens ersichtlich.
Beachten Sie, dass der verbleibende Beitrag davon ausgeht, dass Sie an einem strukturierten Datensatz arbeiten. Für unstrukturierte Datensätze, obwohl die Grundsätze noch gelten würden, das Verfahren würde sich ändern.
Paso 1: Überprüfen Sie die Anzahl der Spalten und Zeilen mit Erwartungen
Der erste Schritt, sobald Sie einen Datensatz erhalten, besteht darin, zu überprüfen, ob Sie alle erforderlichen Zeilen und Spalten haben. Die Anzahl der Spalten hängt von der Anzahl der Hypothesen ab, die Sie haben, und den Variablen, die Sie testen müssen / widerlegen Sie diese Hypothesen.
Außerdem, die Anzahl der Zeilen würde durch die Anzahl der Ereignisse bestimmt, die im ausgewählten Zeitraum erwartet werden. Der einfachste Benchmark würde auf Ihrem Geschäftsverständnis basieren.
Paso 2: Auf Dubletten prüfen auf Identifikationsebene (und nicht für die ganze reihe)
Sobald Sie sicher sind, dass alle Spalten vorhanden sind und die Anzahl der Zeilen im erwarteten Bereich liegt, schnell auf Duplikate auf Ihrer ID-Ebene prüfen (oder die Ebene, auf der die Zeilen eindeutig sein müssen; könnte eine Kombination von Variablen sein)
Paso 3: nach leeren Spalten suchen, großer Prozentsatz leerer Daten, hoch% der gleichen Daten
Jetzt wissen Sie, dass alle Spalten vorhanden sind und keine Duplikate vorhanden sind, Suchen Sie nach Spalten, die vollständig leer sind. Dies kann passieren, wenn ein Join fehlschlägt oder ein Fehler bei der Datenextraktion auftritt. Wenn keine der Spalten leer ist, Sehen Sie sich den Prozentsatz der leeren Fälle für jede Spalte und die Häufigkeitsverteilungen an, um herauszufinden, ob sich die gleichen Daten in mehr Fällen als erwartet wiederholen.
Paso 4: Beobachten Sie die Verteilung in verschiedenen Segmenten; Geschäftsverständnis prüfen und Pivot-Tabellen verwenden
Dieser Schritt geht dort weiter, wo er endet 3. Anstatt die Frequenzen der Datenpunkte einzeln zu betrachten, schau dir deine Verteilungen an. Erwartest du eine Normalverteilung, bipolar die Uniform? Sieht das Layout so aus, wie Sie es erwartet haben??
Paso 5. Auf Ausreißer in allen Schlüsselvariablen prüfen, besonders kalkulierte
Sobald die Verteilungen gut aussehen, Ausreißer suchen. Insbesondere in Fällen, in denen Sie Spalten berechnet haben. Sind die Werte von Extreme nahe an dem, was Sie wollten?? Stellen Sie sicher, dass es keine Divisionen durch Null gibt, Sie haben die gewünschten Werte begrenzt.
Paso 6: Überprüfen Sie, ob die Werte einiger Testfälle synchron sind
Nachdem Sie alle Spalten einzeln überprüft haben, Überprüfen Sie, ob sie miteinander synchronisiert sind. Überprüfen Sie, ob die verschiedenen Daten der Fälle in chronologischer Reihenfolge sind (P. Nicht., Machen Sie die Bilanzen, Ausgaben und Kreditlimit sind für Ihre Kreditkartenkunden synchron?
Paso 7: Wählen Sie einige Zeilen aus und überprüfen Sie deren Werte auf den zugrunde liegenden Systemen
Sobald alle oben genannten Schritte durchgeführt wurden, Es ist an der Zeit, einige Beispiele zu überprüfen, indem Sie die zugrunde liegenden Systeme oder Datenbanken abfragen. Wenn ein Fehler in den Daten aufgetreten ist, idealerweise hätte ich es schon erkennen sollen. Dieser Schritt stellt nur sicher, dass die Daten so sind, wie sie auf den zugrunde liegenden Systemen waren.
Bitte beachten Sie, dass einige dieser Fehler durch die Verwendung der von Ihrem Tool bereitgestellten Protokolle erkannt werden können. Eine allgemeine Betrachtung der Protokolle liefert viele Informationen zu Fehlern und Warnungen.
Dies waren die Schritte, die ich verwendet habe, um die Richtigkeit der Daten zu überprüfen und, wie gewöhnlich, Helfen Sie mir, offensichtliche Fehler in den Daten zu erkennen. Anscheinend, sie sind nicht die Lösung für alle möglichen Fehler, aber sie sollten dir einen guten ausgangspunkt und eine gute richtung geben. Was haltet ihr von diesem Rahmen? Gibt es andere Rahmen? / Methoden, mit denen Sie die Richtigkeit der Daten überprüfen? Wenn ja, füge sie in den Kommentaren unten hinzu.
