Was Sie über die Architektur eines Datawarehouse wissen müssen

Das Architektur eines Data Warehouse kann in verschiedenen Implementierungen unterschiedliche Strukturen haben. Einige haben möglicherweise ein ODS (operatives Data Warehouse), während andere möglicherweise mehrere Datenspeicher haben. Einige haben möglicherweise eine kleine Anzahl von Datenquellen, während andere Dutzende von Datenquellen haben können. Angesichts dieser, es ist viel sinnvoller, die verschiedenen Schichten einer Data Warehouse-Architektur vorzustellen, als ein bestimmtes System zu diskutieren.

Allgemein, Jede Architektur eines Datawarehouse hat die folgenden Schichten:

• Datenextraktionsschicht

• Datenspeicherschicht

• Datenpräsentationsschicht

• Systembetriebsschicht

Architektureigenschaften eines Datawarehouses

Folgende Eigenschaften sind für die Architektur eines Datawarehouses essenziell:

• Trennung– Das analytische und transaktionale Verfahren sollten so getrennt wie möglich gehalten werden.

• Skalierbarkeit: die Architektur eines Datawarehouses, sowohl hardware als auch software, sollte einfach zu aktualisieren sein, wenn das zu verwaltende und zu verarbeitende Datenvolumen wächst, sowie die Anzahl der Benutzeranforderungen, die erfüllt werden müssen.

• Erweiterbarkeit: Die Architektur muss sich an neue Anwendungen und Technologien anpassen können, ohne das gesamte System überprüfen zu müssen.

• Sicherheit: Die Überwachung des Zugriffs ist aufgrund der strategischen Daten, die im Datawarehouse gespeichert sind, unerlässlich.

• Verwaltbarkeit: Die Verwaltung des Datenspeichers sollte nicht allzu schwierig sein.

Schichten der gesamten Data Warehouse-Architektur

Sehen wir uns unten jede der Schichten der Architektur eines Datawarehouses an:

• Datenquellenschicht: Stellt die verschiedenen Datenquellen dar, die die Daten in das Data Warehouse einspeisen. Die Datenquelle kann ein beliebiges Format haben: reine Textdatei, relationale Datenbank, andere Arten von Datenbanken, Excel-Datei, etc. All dies kann als Datenquelle dienen. Zur selben Zeit, Datentypen können sehr unterschiedlich sein:

• Betriebsdatenals Verkaufsdaten, Personaldaten, Produktdaten, Inventurdaten, Marketingdaten und Systemdaten.
• Protokolle von einem Webserver, mit Benutzer-Browsing-Daten.
• Interne Marktforschungsdaten.
• Daten von Drittanbietern, als Volkszählungsdaten, demografische Daten oder Umfragedaten.
• Datenextraktionsschicht: Die Daten werden aus den Datenquellen extrahiert und in das Datenspeichersystem übertragen. Auf dieser Ebene werden wahrscheinlich einige minimale Daten bereinigt, aber keine große Datentransformation erwartet.

• Testbereich: Hier werden die Daten gereinigt und in einen Datamart und ein Datawarehouse umgewandelt. Ein gemeinsamer Bereich erleichtert das Vorgehen und die spätere Integration der Daten.

• ETL-Schicht: Hier erhalten Daten ihre Intelligenz, wenn Logik angewendet wird, um Daten von einem transaktionalen Charakter in einen analytischen Charakter zu transformieren.. Auf dieser Ebene werden auch die Daten bereinigt. Die ETL-Designphase ist oft die zeitaufwändigste Phase eines Data Warehouse-Projekts, und in dieser Ebene wird häufig ein ETL-Tool verwendet.

• Datenspeicherschicht: Hier werden die sauber transformierten Daten platziert. Je nach Umfang und Funktionalität, drei Arten von Entitäten können gefunden werden: Data Warehouse, Data Mart und operatives Data Warehouse (ODS). In jedem System, kann nur einen finden 3, 2 des 3 oder alle drei Jungs zusammen.

• Logische Datenschicht: Hier werden die Handelsregeln gespeichert. Diese Geschäftsregeln haben keinen Einfluss auf die Datentransformationsregeln, aber sie wirken sich auf das aus, was Sie später in den Berichten sehen können.

• Datenpräsentationsschicht: Es bezieht sich auf die Daten, die Benutzer erreichen. Dies kann in Form eines tabellarischen oder grafischen Berichts über einen Browser erfolgen., ein per E-Mail gesendeter Bericht, der täglich automatisch generiert und gesendet wird, eine Warnung, die Benutzer vor Ausnahmen warnt, etc. Wie gewöhnlich, in dieser Schicht werden ein OLAP-Tool und ein Reporting-Tool verwendet.

• Metadatenschicht: Hier werden Informationen zu den im Data Warehouse gespeicherten Daten gespeichert. Ein logisches Datenmodell wäre ein Beispiel für etwas, das in dieser Metadatenschicht zu finden ist. Ein Metadaten-Tool wird häufig verwendet, um Metadaten zu verwalten.

• Systembetriebsschicht: Diese Schicht enthält Informationen über die Funktionsweise des Datenspeichersystems., Wie ist der Arbeitsstatus von ETL, Wie ist die Leistung des Systems und die Zugriffshistorie der Benutzer?.