Datenprofilierung, der erste Schritt zur Datenqualität

Datenprofile ist der Akt der Analyse des Inhalts Ihrer Daten. Zusammen mit der Datenprofilerstellung, Wir haben zwei weitere Komponenten, die Datenqualität integrieren würden. Alles dreht sich um Datenkorrektur und Datenüberwachung.

Bildnachweis: Umriss

Datenkorrektur Es ist der Akt der Korrektur Ihrer Daten, wenn sie unter den Standards liegen. Zweitens, Datenüberwachung ist der kontinuierliche Akt der Bestimmung Datenqualitätsstandards auf einer Reihe von geschäftssignifikanten Metriken, Überprüfen Sie die Ergebnisse regelmäßig und ergreifen Sie Korrekturmaßnahmen, die akzeptable Qualitätsschwellenwerte überschreiten können.

Aber heute konzentrieren wir uns nur auf Datenprofil. Institutionen in die Lage versetzen, große Datenmengen schnell in einem systematischen und wiederholbaren Verfahren zu analysieren.

Die von der Datenprofilerstellung durchgeführte Analyse

Ein Datenprofilierungstool ermöglicht die Durchführung verschiedener Arten von Analysen, deren Kombination es ermöglicht, eine viel vollständigere Perspektive dieses Vermögenswerts zu erhalten. Darunter sind:

• Umfassendkeitsanalyse: Im Hinblick auf seine Ergebnisse, Finden Sie heraus, wie oft ein bestimmtes Attribut abgeschlossen wird und wie oft es leer oder null gelassen wird.

• Analyse der Wertverteilung: ermöglicht es Ihnen, anhand verschiedener Werte für ein bestimmtes Attribut herauszufinden, wie die Verteilung von Datensätzen ist.

• Eindeutigkeitsanalyse: ist der schnellste Weg, um zu wissen, wie viele einzigartige Werte (Verschieden) werden für ein bestimmtes Attribut in allen Datensätzen gefunden. Durch diese Analyse, Einfache Identifizierung von Duplikaten.

• Musteranalyse: ist das Mittel, durch das Datenprofil ermöglicht es zu wissen, welche Formate für ein bestimmtes Attribut gefunden wurden und wie die Verteilung von Datensätzen über dieses oder andere Formate ist.

• Reichweitenanalyse: wird verwendet, um herauszufinden, was die Mindestwerte sind, Maximum und Durchschnitt für ein bestimmtes Attribut.

In der Praxis, das Datenprofilerstellung kann in einer Vielzahl von Situationen einen Mehrwert schaffen., etwas, das Sie wahrscheinlich bereits wissen, wenn Sie es regelmäßig in Ihrer Organisation verwenden. Einige der die Szenarien, in denen Ihr Beitrag am bereicherndsten ist Sohn:

ein) Initiativen zur Datenqualität im Quellsystem. Eines der Ziele eines solchen Projekts ist es, bestehende Probleme zu beheben und zu verhindern, dass andere in der Zukunft auftreten.. Datenprofilerstellung kann dazu beitragen, den Projekt-ROI zu maximieren. Durch die Erstellung von Datenprofilen, Sie können die Bereiche innerhalb des Systems identifizieren, die unter den schwerwiegendsten Datenqualitätsproblemen leiden, und / oder zahlreiche. Die Profilerstellung würde es auch einfacher machen, Qualitätsprobleme im Zusammenhang mit falschen manuellen Eingaben oder fehlerhaften Systemschnittstellen zu erkennen..

B) Datenmigrationsprojekte. Das Erstellen von Datenprofilen kann dazu beitragen, das Risiko des Verschiebens von Daten von einem Altsystem an das neue Ziel zu minimieren. Hier, Die Datenprofilerstellung würde bestehende Qualitätsprobleme vor der Datenmigration aufdecken.. Deswegen, Sie können auf den Code reagieren oder die erforderlichen Änderungen am Zielsystem vornehmen.

C) Data Warehousing- und Business Intelligence-Initiativen. Der gemeinsame Hinweis für beide Arten von Projekten ist die Notwendigkeit, Daten aus unterschiedlichen Systemen zu kompilieren.. Für diesen Fall, Die Profilerstellung kann dazu beitragen, den Projekterfolg sicherzustellen, indem drei Arten von Problemen identifiziert werden.:

• Diejenigen, die sich auf die Qualität der Daten an der Quelle beziehen, dort zu korrigieren.

• Diejenigen durch Qualitätsattribute, die in der ETL-Verarbeitung korrigiert werden können.

• Diejenigen, die mit der Entdeckung von Regeln zu tun haben handeln was zum Widerruf des Projekts führen könnte.

Trotzdem, All diese Vorteile werden multipliziert, wenn die Datenprofilerstellung automatisch durchgeführt wird, anstatt es manuell zu tun. Das Tools für die Datenprofilerstellung Sie werden Ihnen helfen, Geschwindigkeit zu gewinnen, Vollständigkeit der Analyse, zulassen, wiederholt, Genießen Sie auch ein zentrales Repository für das Daten- und Metadaten-Warehouse, das den Informationsaustausch durch verschiedene Geschäftsbenutzer erleichtert.