Tous Processus ETL Ils se composent de trois phases différentes:
1) Extraction.
2) Transformation.
3) Charge.
A ces trois parties, il faut ajouter l'étape de nettoyage Quoi, comme nous l'avons commenté, est compris à ce stade comme une partie distincte de la procédure elle-même.
Ensuite, nous allons expliquer les principaux aspects du fonctionnement de chacune des phases, ainsi que ses clés et enjeux à prendre en compte dans sa démarche et sa mise en œuvre.
Les différentes étapes de la procédure d'extraction.
La première partie de la procédure ETL consiste à extraire les données du système source. Cette étape se compose de trois étapes:
-
Analyse des besoins préalables. Régulièrement, il y a une première étape d'analyse où les besoins spécifiques de l'organisation sont évalués en termes de mouvement et de transformation des données. En général, vous ne commencez pas par extraire toutes les informations, Au lieu de cela, vous commencez par le traitement de données spécifiques en fonction d'un besoin spécifique, puis effectuez des extensions au fur et à mesure des besoins..
-
Identification du fichier. Avant d'extraire les données, quel type et dans quel format les systèmes sources sont-ils identifiés. Par exemple, qu'il s'agisse de bases de données relationnelles ou non relationnelles, fichiers plats, fichiers complexes, Fichiers VSAM, Services Web, Cadre principal, Fichiers Excel, etc. Régulièrement, les données des systèmes sources proviennent de différents formats, être fusionné.
-
Extraction de données. En fonction des besoins détectés, les données elles-mêmes sont extraites.
Modes d'extraction
Simplement, il existe trois modes d'extraction différents. Le type de besoin de l'organisation est ce qui, régulièrement, déterminera le choix d'une manière ou d'une autre.
Extrait complet ou extraction totale
Cette méthode consiste à extraire toutes les données. Dans cette circonstance, des tables entières pouvant contenir des millions d'enregistrements sont balayées.
Déclaration incrémentielle ou extraction incrémentale
Seul ce qui a été modifié ou ajouté est traité par lots. De plus, il peut y avoir des lignes qui sont éliminées car elles sont dupliquées, données incorrectes, etc.
Notification de mise à jour ou notification de mise à jour
Dans cette circonstance, les données ne sont extraites qu'en cas de mise à jour (par exemple, un insert).
Ces trois types d'extraction sont gérés par un module appelé Capture des données modifiées (CENTRES POUR LE CONTRÔLE ET LA PRÉVENTION DES CATASTROPHES).
Clés de la procédure d'extraction
La procédure d'extraction idéale est celle qui est à peine perceptible.
Toute organisation, l'entreprise ou l'entreprise devrait exiger que la procédure d'extraction des données de sa ou de ses sources d'origine ait le moins d'impact possible. En d'autres termes, aucun problème pour les travailleurs qui travaillent quotidiennement avec des données et des enregistrements.
Extraire une trop grande quantité de données en même temps peut ralentir et même faire planter le système. Pour lui, Il est essentiel de bien évaluer les besoins et la portée de l'opération à réaliser et, dans son cas, effectuer l'opération de manière échelonnée dans des blocs plus petits et / ou aux dates et heures les plus appropriées pour obtenir cet impact minimal.
