Processus ETL avec parallélisme: fonctionnement et types

La majorité de outils procéduraux ETL modernes Ils permettent de fonctionner en mode parallèle, En d'autres termes, le chargement ne se fait pas data par data mais par blocs.

Types de parallèles

• Partition de données. Dans cette circonstance, chaque nœud traite un nombre spécifique de données (par exemple, 1000 Lignes). L'opportunité et le type spécifique de partition dépendent du type de base de données à laquelle j'accède. Dans le cas d'un Verser, tout est généralement partitionné, car sur les disques on trouve des morceaux de tableaux avec des données.

• Canalisation. Ce type de parallélisme permet, une fois les données divisées, également partitionner les opérations effectuées avec eux, comment ajouter un champ “Oui” à chaque rangée. En d'autres termes, permet d'effectuer des modifications au niveau structurel.

• Composants (modifier) (Éditer). Les composants sont définis qui attribuent une référence à un champ, comme exemple une lettre, et ils sont réutilisés chaque fois que ce même champ doit être modifié à nouveau dans le reste des lignes. En d'autres termes, ce type de procédure de parallélisme permet de créer une logique et de la réutiliser.

Avantages du parallélisme

• Raccourcir les délais de traitement.

• Impact positif sur l'entreprise.

• Meilleure utilisation des ressources.

Parfois, il n'est pas possible de l'utiliser.

Il est toujours souhaitable, et encore plus lorsque vous travaillez avec de gros volumes de données, concevoir des processus ELT afin qu'ils puissent fonctionner en mode parallèle. Ce qui se passe, c'est que certains processus ne permettent pas, car ils nécessitent nécessairement une exécution séquentielle (par exemple, Une procédure “UNE” qui dépend de l'achèvement d'une procédure “B”).