ETL-Prozesse: Extraktion, Transformation, Belastung

Wie wir euch letzte Woche gesagt haben, das ETL-Prozesse Sie bestehen aus drei Phasen: Extraktion, Transformation und Laden. Für jeden dieser Prozesse ist es notwendig, die Bedienung und ihre Tasten, aber noch entscheidender ist es, das zu verstehen Sicherheitsmaßnahmen und Vorsichtsmaßnahmen, die bei der Durchführung zu beachten sind, um zu vermeiden, dass die Folgen das System und seinen normalen Betrieb beeinträchtigen.

Die wichtigsten Aspekte jedes dieser Prozesse sind im Folgenden zusammengefasst.

1. Extraktionsverfahren

Um die richtig auszuführen Extraktionsverfahren, ETL erste Stufe, Sie müssen die folgenden Schritte befolgen:

• Daten aus Quellsystemen extrahieren.
• Analysieren Sie die extrahierten Daten und erhalten Sie einen Scheck.
• Interpretieren Sie diese Prüfung, um zu überprüfen, ob die extrahierten Daten dem erwarteten Muster oder der erwarteten Struktur entsprechen. Gegenteiliger Fall, Daten sollten abgelehnt werden.
• Konvertieren Sie die Daten in ein Format, das bereit ist, den Transformationsvorgang zu starten.

Worauf Sie während des Entfernungsverfahrens achten sollten

Hierbei sind extreme Vorsichtsmaßnahmen zu treffen Stufe des ETL-Verfahrens, die die Extraktion ist, also solltest du darauf achten:

• Im Moment von Extraktion, Analyse und Interpretation: die Formate, in denen Daten oder die Art und Weise, in der sie organisiert sind, kann in jedem System separat unterschiedlich sein, da die meisten Data-Warehousing-Projekte Daten aus verschiedenen Quellsystemen zusammenführen.
• Im Moment von Datenkonvertierung: Es sei daran erinnert, dass Quellformate regelmäßig in relationalen Datenbanken oder Flatfiles zu finden sind., aber sie können nicht-relationale Datenbanken oder andere unterschiedliche Strukturen enthalten.

Trotz dieses, Die wichtigste zu berücksichtigende Maßnahme wäre, immer zu verlangen, dass die Extraktionsaufgabe minimale Auswirkungen auf das Quellsystem hat. Diese Anforderung basiert auf der Praxis, Angenommen, wenn die zu extrahierenden Daten groß sind, das Quellsystem könnte sich verlangsamen und sogar zusammenbrechen, was dazu führt, dass es nicht mehr regelmäßig für den täglichen Gebrauch verwendet wird.

Um diese Auswirkungen und ihre Folgen zu vermeiden, In großen Systemen werden Extraktionsvorgänge normalerweise zu Zeiten oder Tagen geplant, an denen die Eingriff in das System und seine Verwendung ist null oder minimal.

2. Umwandlungsverfahren

Das Transformationsstufe eines ETL-Verfahrens wendet eine Reihe von Geschäftsregeln oder Funktionen auf die extrahierten Daten an, um sie in zu ladende Daten umzuwandeln. Diese Richtlinien können deklarativ sein, kann auf Ausnahmen oder Einschränkungen beruhen, sondern um seinen Pragmatismus und seine Wirksamkeit zu steigern, stellen Sie sicher, dass sie es sind:

• Deklarativ.
• Unabhängig
• Natürlich.
• Verständlich.
• Mit einem nützlichen Geschäftszweck.

Die praktischere Seite des Transformationsverfahrens

Manchmal wird es notwendig sein, eine kleine Datenmanipulation, Trotz dieses, und immer abhängig von den Datenquellen, manchmal ist es notwendig, eine der folgenden Transformationen anzuwenden::

• Wählen Sie nur bestimmte Spalten zum Laden aus (als Beispiel, Spalten mit Nullwerten werden nicht geladen).
• Codes übersetzen (als Beispiel, wenn die Quelle a . speichert „h“ für Mann und a „m“ für Frauen, aber das schicksal muss speichern „1“ für Mann und „2“ für Frauen).
• Freie Werte verschlüsseln (als Beispiel, Konvertieren „Männlich“ In „h“ Ö „Sr“ In „1“).
• Holen Sie sich neue berechnete Werte (als Beispiel, total_sale = Betrag * Preis).
• Daten aus mehreren Quellen zusammenführen (als Beispiel, sucht, Gewerkschaften, etc.).
• Berechnen Sie Summen für mehrere Datenzeilen (als Beispiel, Gesamtumsatz für jede Region).
• Generieren Sie Schlüsselfelder in der Destination.
• Transponieren oder schwenken (mehrere Spalten in Zeilen drehen oder umgekehrt).
• Teilen Sie eine Spalte in mehrere auf (als Beispiel, Säule „Name: Garcia, Miguel“; in zwei Spalten verschieben „Name: Miguel“ Ja „Familienname, Nachname: Garcia“).
• Anfrage für einfache oder komplexe Formen, die jeweils erforderliche Aktion, als Beispiel:
• Daten OK: Daten an die nächste Stufe liefern (Ladestufe).
• Falsche Daten: Ausnahmebehandlungsrichtlinien ausführen.

3. Ladevorgang

In dieser Phase, die Daten aus der vorherigen Phase (Transformationsphase) werden auf das Zielsystem hochgeladen. Abhängig von den Anforderungen der Organisation, Dieses Verfahren kann eine Vielzahl von verschiedenen Aktionen abdecken. Als Beispiel, in einigen Datenbanken ist es notwendig, die alten Informationen mit neuen Daten zu überschreiben, während es in anderen ausreicht, die Transaktionen zusammenzufassen und einen Durchschnitt der betrachteten Größenordnung zu speichern.

Das Data Warehouse eine Geschichte der Aufzeichnungen führen, damit sie jederzeit auditierbar sind. Auf diese Weise können Sie den vollständigen Verlauf eines Wertpapiers im Zeitverlauf verfolgen..

Entwicklung des Datenladeverfahrens

Zwei existieren Grundlegende Möglichkeiten zur Entwicklung des Ladeverfahrens:

• Einfache Akkumulation: esta forma de cargar los datos se trata de hacer un resumen de todas las transacciones comprendidas en el período de tiempo seleccionado y transportar el resultado como una única TransaktionDas "Transaktion" bezieht sich auf den Prozess, durch den ein Austausch von Waren stattfindet, Dienstleistungen oder Geld zwischen zwei oder mehr Parteien. Dieses Konzept ist im wirtschaftlichen und rechtlichen Bereich von grundlegender Bedeutung, da es sich um eine gegenseitige Vereinbarung und die Berücksichtigung spezifischer Bedingungen handelt. Transaktionen können formell sein, als Verträge, oder informell, und sind für das Funktionieren der Märkte und Unternehmen von wesentlicher Bedeutung.... al Data Warehouse, Speichern eines berechneten Wertes, der regelmäßig aus einer Summe oder einem Durchschnitt der betrachteten Größe besteht. Es ist die einfachste und häufigste Methode, um die Ladevorgang.
• Laminierung: Dieses Verfahren wird am meisten empfohlen, wenn verschiedene Granularitätsstufen beibehalten werden sollen. Dafür, zusammenfassende Informationen werden auf verschiedenen Ebenen gespeichert, entsprechend unterschiedlichen Gruppierungen der Zeiteinheit oder unterschiedlichen Hierarchieebenen in einer oder mehreren Dimensionen der gespeicherten Menge (als Beispiel, Tagessummen, wöchentliche Summen, monatliche Summen, etc.) .

Welcher Entwicklungsweg dieses Verfahrens auch immer gewählt wird, se debe prestar atención que esta etapa interactúa de forma directa con la DatenbankEine Datenbank ist ein organisierter Satz von Informationen, mit dem Sie, Effizientes Verwalten und Abrufen von Daten. Einsatz in verschiedenen Anwendungen, Von Unternehmenssystemen bis hin zu Online-Plattformen, Datenbanken können relational oder nicht-relational sein. Das richtige Design ist entscheidend für die Optimierung der Leistung und die Gewährleistung der Informationsintegrität, und erleichtert so eine fundierte Entscheidungsfindung in verschiedenen Kontexten.... de destino y, deshalb, Bei der Durchführung dieses Verfahrens werden alle darin definierten Einschränkungen angewendet. Wenn sie gut definiert sind, das Datenqualität im ETL-Verfahren wird garantiert.

Beispiele für diese Einschränkungen können sein::

• Einzigartige Werte.
• Referenzielle Integrität.
• Benötigte Felder.
• Wertebereiche.

zusammenhängende Posts: