Alle ETL-Prozesse Sie bestehen aus drei verschiedenen Phasen:
1) Extraktion.
2) Transformation.
3) Belastung.
Zu diesen drei Teilen muss die Stufe von . hinzugefügt werden Reinigung das, wie wir kommentiert haben, wird zu diesem Zeitpunkt als separater Teil des Verfahrens selbst verstanden.
Dann, Wir werden die Hauptaspekte des Betriebs jeder der Phasen erklären, sowie deren Schlüssel und Probleme, die bei der Herangehensweise und Umsetzung zu berücksichtigen sind.
Die verschiedenen Schritte des Extraktionsverfahrens.
Der erste Teil des ETL-Verfahrens besteht darin, die Daten aus dem Quellsystem zu extrahieren. Diese Phase besteht aus drei Schritten:
-
Vorherige Bedarfsanalyse. Regelmäßig, Es gibt eine erste Analysephase, in der die spezifischen Bedürfnisse der Organisation in Bezug auf Datenbewegung und -transformation bewertet werden. Allgemein, Sie beginnen nicht damit, alle Informationen zu extrahieren, Stattdessen beginnen Sie mit der Behandlung bestimmter Daten nach einem bestimmten Bedarf und nehmen dann Erweiterungen nach Bedarf vor.
-
Dateiidentifikation. Vor dem Extrahieren der Daten, welchen Typ und in welchem Format werden die Quellsysteme identifiziert. Als Beispiel, ob es sich um relationale oder nicht-relationale Datenbanken handelt, flache Dateien, komplexe Dateien, VSAM-Dateien, Internetdienste, Hauptrahmen, Excel-Dateien, etc. Regelmäßig, Daten aus Quellsystemen stammen aus verschiedenen Formaten, zusammengeführt werden.
-
Datenextraktion. Je nach erkanntem Bedarf, die Daten selbst werden extrahiert.
Extraktionsmodi
Einfach, Es gibt drei verschiedene Extraktionsmodi. Die Art des Bedarfs der Organisation ist was, regelmäßig, wird die Wahl so oder so bestimmen.
Vollständiger Auszug oder Gesamtextraktion
Bei dieser Methode geht es darum, alle Daten zu extrahieren. Unter diesen Umständen, ganze Tabellen, die Millionen von Datensätzen enthalten können, werden gefegt.
Inkrementelle Angabe oder inkrementelle Extraktion
Nur was geändert oder hinzugefügt wurde, wird in Stapeln verarbeitet. Darüber hinaus kann es vorkommen, dass Zeilen entfernt werden, weil sie dupliziert sind, falsche Daten, etc.
Update-Benachrichtigung oder Benachrichtigung aktualisieren
Unter diesen Umständen, Daten werden nur extrahiert, wenn ein Update auftritt (als Beispiel, ein Einsatz).
Diese drei Extraktionsarten werden von einem Modul namens Erfassung geänderter Daten (ZENTREN FÜR KRANKHEITSKONTROLLE UND -PRÄVENTION).
Schlüssel zum Extraktionsverfahren
Das ideale Extraktionsverfahren ist das, das kaum wahrnehmbar ist.
Jede Organisation, Unternehmen oder Unternehmen sollten verlangen, dass das Verfahren zum Extrahieren von Daten aus seiner Quelle oder seinen Herkunftsquellen die geringstmöglichen Auswirkungen hat. Mit anderen Worten, Kein Problem für Mitarbeiter, die täglich mit Daten und Aufzeichnungen arbeiten.
Das gleichzeitige Extrahieren einer zu großen Datenmenge kann das System verlangsamen und sogar zum Absturz bringen. Daher, Es ist wichtig, den Bedarf und den Umfang der durchzuführenden Operation sehr gut einzuschätzen und, in deinem Fall, die Operation gestaffelt in kleineren Blöcken durchführen und / oder zu den am besten geeigneten Daten und Uhrzeiten, um diese minimale Wirkung zu erzielen.
