Data Warehouse

Schlüssel zur Dokumentation von ETL-Prozessen

Wir können ETL-Prozesse dokumentieren, Mit anderen Worten, diejenigen, die mit einem Extraktionswerkzeug durchgeführt werden, Transformation und Laden (ETL) nach dem Design und der Implementierung oder gleichzeitig, Entweder durch die Entscheidung für das native Tool, da jedes Projekt selbstdokumentierend ist, oder mit einem anderen. .

Sei es wie es mag, Bei der Dokumentation von ETL-Prozessen, Es ist wichtig, den Kern des Projekts widerzuspiegeln, Was es bedeutet durchzuführen ein klarer und gut strukturierter Bericht, die an den Kunden geliefert werden, damit er einen Nachweis über die ausgeführten Endarbeiten hat, Ja, Außerdem, Es wird auch sehr nützlich sein, seine Wartung zu unterstützen und eine kontinuierliche Verbesserung durchzuführen.

Wachswachs

So dokumentieren Sie ETL-Prozesse?

Es gibt keinen allgemein anerkannten Standard oder keine allgemein anerkannte Methodik, der wir folgen können, um das ETL-Verfahren und seine Logik in der Praxis zu dokumentieren.. Ja, in Wirklichkeit, Immer wieder ist diese Arbeit noch nicht einmal erledigt. Trotz dieses, Es ist notwendig, es durchzuführen, wenn wir eine Dokumentation haben wollen, die die Entwicklung und das Ergebnis des Projekts widerspiegelt, illustrativ hergestellt, und Ergänzung des gleichen Verfahrens.

Einfach, Es gibt eine Reihe von Schlüsselthemen dass wir bei der Dokumentation von ETL-Prozessen auf die bestmögliche Weise achten müssen. Das sind die folgenden:

Flexible Methodik. Das oben erwähnte Fehlen eines Standards oder einer Methodik ermöglicht es uns, unseren eigenen Weg finden, ETL-Prozesse zu dokumentieren. Zur gleichen Zeit der Dienstprogramme, die von dem verwendeten Tool bereitgestellt werden, Es gibt verschiedene Methoden, die uns helfen können, die implementierte ETL zu visualisieren, wie das Konzept des Value Chain Mappings oder VSM (VAbbildung von Alu-Strömen), so dass die gleiche Visualisierung als Dokumentation oder als Teil davon verwendet werden kann, innerhalb eines vollständigeren Berichts.

Metadaten, eine gute Hilfe. Wenn man bedenkt, dass die Dokumentation irgendwie implizit in den Metadaten der ETL selbst enthalten ist, Wir müssen darauf achten, dass eine gute Implementierung es ermöglicht, die Prozesse sofort zu visualisieren. EIN) Und, Am Ende des Projekts, Es sollte möglich sein, den Datenfluss grafisch zu visualisieren und als Hintergrundinformation zu verwenden, um die Bewegung der Daten zu dokumentieren., Hinzufügen einer Eingabe und Angabe der Eingabe- und Ausgabeflüsse in einer ETL-Prozedur.
Dokumentieren Sie den Kern des Verfahrens. Die Dokumentation spiegelt den wichtigen Teil wider, Der Kern des Verfahrens. Daher, Sie können eine Einführung nicht verpassen, eine Überprüfung der Anforderungen, eine Zusammenfassung der angewandten Geschäftsregeln oder Informationen über die durchgeführten Tests, um zum Ergebnis zu gelangen. Vergiss das nicht Die Dokumentation von ETL-Prozessen bezieht sich auf die wesentlichen Aspekte im Zusammenhang mit so unterschiedlichen Themen wie dem Design, Ursprünge und Reiseziele, die angewendete Antwort oder die angewandten Lösungen oder die vorgenommenen Transformationen, unter anderen. Aber, gleichzeitig mit diesen Aspekten, und ob die Dokumentation manuell oder automatisch erfolgt, Nutzen des nativen Tools oder nicht, Diese Dokumentation muss auch dazu dienen, die zu Beginn des Projekts erhobenen Anforderungen und die erzielten Ergebnisse gegenüberzustellen..

Schließlich, Dokumentieren Sie ETL-Prozesse unter Berücksichtigung der Tatsache, dass der Zweck dieser Aufgabe darin bestehen sollte, ein vielseitiges Dokument zu erstellen. Gleichzeitig nützlich für Informationszwecke und auch als Memorandum, Die Dokumentation der ETL-Prozesse muss eine visuelle Darstellung dieser Prozesse durch die Schaltpläne und Angaben erreichen, die für die Arbeit von Programmierern und Wartungspersonal unerlässlich sind, die Mittel einsetzen, an Ihren Fingerspitzen. Beseitigung. Wetter, ein nachfolgendes Verfahren der kontinuierlichen Verbesserung als ultimatives Ziel durchzuführen.