Ce qu'il faut savoir sur l'architecture d'un datawarehouse

Le architecture d'un entrepôt de données peut avoir différentes structures dans différentes implémentations. Certains peuvent avoir un ODS (entrepôt de données opérationnel), tandis que d'autres peuvent avoir plusieurs magasins de données. Certains peuvent avoir un petit nombre de sources de données, tandis que d'autres peuvent avoir des dizaines de sources de données. Compte tenu de cela, il est beaucoup plus raisonnable de présenter les différentes couches d'une architecture d'entrepôt de données plutôt que de discuter d'un système spécifique.

En général, Chaque architecture d'un entrepôt de données comporte les couches suivantes:

• Couche d'extraction de données

• Couche de stockage de données

• Couche de présentation des données

• Couche d'opérations système

Propriétés de l'architecture d'un datawarehouse

Les propriétés suivantes sont essentielles pour l'architecture d'un entrepôt de données:

• Séparation– La procédure analytique et transactionnelle doit être aussi séparée que possible.

• Évolutivité: l'architecture d'un datawarehouse, à la fois matériel et logiciel, doit être facile à mettre à jour à mesure que le volume de données à gérer et à traiter augmente, ainsi que la quantité d'exigences des utilisateurs qui doivent être satisfaites.

• Extensibilité: L'architecture doit pouvoir s'adapter aux nouvelles applications et technologies sans avoir à revoir l'ensemble du système.

• Sécurité: la surveillance des accès est essentielle en raison des données stratégiques stockées dans le datawarehouse.

• Administrabilité: la gestion des magasins de données ne devrait pas être trop difficile.

Couches de l'ensemble de l'architecture de l'entrepôt de données

Voyons ci-dessous chacune des couches de l'architecture d'un entrepôt de données:

• Couche source de données: Représente les différentes sources de données qui alimentent les données dans l'entrepôt de données. La source de données peut être dans n'importe quel format: fichier texte brut, base de données relationnelle, autres types de bases de données, fichier Excel, etc. Tous ces éléments peuvent servir de source de données. En même temps, les types de données peuvent être très variés:

• Données d'exploitationcomme données de vente, Données RH, données du produit, données d'inventaire, données marketing et données système.
• Journaux d'un serveur Web, avec les données de navigation de l'utilisateur.
• Données d'études de marché internes.
• Données de tiers, comme données de recensement, données démographiques ou données d'enquête.
• Couche d'extraction de données: Les données sont extraites des sources de données et transportées vers le système de stockage de données. Certaines données minimales sont susceptibles d'être nettoyées sur cette couche, mais pas de transformation majeure des données attendue.

• Zone d'essai: c'est là que les données sont purifiées et transformées en datamart et datawarehouse. Avoir un espace commun facilite la procédure et l'intégration ultérieure des données.

• Couche ETL: C'est là que les données tirent leur intelligence lorsque la logique est appliquée pour transformer les données d'une nature transactionnelle à une nature analytique.. Cette couche est également l'endroit où les données sont nettoyées. L'étape de conception ETL est souvent l'étape la plus chronophage d'un projet d'entrepôt de données et un outil ETL est couramment utilisé dans cette couche.

• Couche de stockage de données: C'est là que les données transformées propres sont placées. Selon la portée et la fonctionnalité, trois types d'entités peuvent être trouvés: entrepôt de données, data mart et entrepôt de données opérationnel (SACO). Dans n'importe quel système, ne peut trouver qu'un seul des 3, 2 des 3 ou les trois gars ensemble.

• Couche de données logique: C'est là que les règles de trading sont stockées. Ces règles métier n'impactent pas les règles de transformation des données, mais ils ont un impact sur ce que vous pouvez voir plus tard dans les rapports.

• Couche de présentation des données: Il s'agit des données qui parviennent aux utilisateurs. Celui-ci peut prendre la forme d'un rapport tabulaire ou graphique via un navigateur., un rapport envoyé par email qui est généré automatiquement et envoyé quotidiennement, une alerte qui avertit les utilisateurs des exceptions, etc. Comme d'habitude, dans cette couche un outil OLAP et un outil de reporting sont utilisés.

• Couche de métadonnées: C'est là que les informations sur les données stockées dans l'entrepôt de données sont stockées. Un modèle de données logique serait un exemple de quelque chose trouvé dans cette couche de métadonnées. Un outil de métadonnées est souvent utilisé pour gérer les métadonnées.

• Couche d'opérations système: Cette couche comprend des informations sur le fonctionnement du système de stockage de données., quel est le statut de travail d'ETL, quelle est la performance du système et l'historique d'accès des utilisateurs.