Processi ETL con parallelismo: funzionamento e tipi

Contenuti

la maggior parte moderni strumenti procedurali ETL Consentono di funzionare in modalità parallela, In altre parole, il caricamento non avviene dati per dati ma per blocchi.

Tipi di paralleli

  • Partizione dati. In questa circostanza, ogni nodo elabora un numero specifico di dati (come esempio, 1000 righe). L'opportunità e il tipo specifico di partizione dipendono dal tipo di database a cui accedo. Nel caso di a Depositare, tutto è di solito partizionato, perché nei dischi troviamo pezzi di tabelle con dati.

  • Canalizzazione. Questo tipo di parallelismo consente, una volta divisi i dati, partizionare anche le operazioni effettuate con essi, come aggiungere un campo “E” ad ogni riga. In altre parole, permette di effettuare modifiche a livello strutturale.

  • Componenti (modifica) (Modificare). Si definiscono componenti che assegnano un riferimento ad un campo, ad esempio una lettera, e vengono riutilizzati ogni volta che lo stesso campo deve essere cambiato di nuovo nel resto delle righe. In altre parole, questo tipo di procedura di parallelismo permette di creare logica e riutilizzarla.

Vantaggi del parallelismo

  • Ridurre i tempi di elaborazione.

  • Impatto positivo sul business.

  • Miglior uso delle risorse.

A volte non è possibile usarlo.

È sempre desiderabile, e ancora di più quando si lavora con grandi volumi di dati, progettare processi ELT in modo che possano essere eseguiti in modalità parallela. Quello che succede è che alcuni processi non lo rendono possibile, poiché richiedono necessariamente l'esecuzione sequenziale (come esempio, Una procedura “UN” che dipende dal completamento di una procedura “B”).

(funzione(D, S, ID) {
var js, fjs = d.getElementsByTagName(S)[0];
Se (d.getElementById(ID)) Restituzione;
js = d.createElement(S); js.id = id;
js.src = “//connect.facebook.net/es_ES/all.js#xfbml=1&stato=0”;
fjs.parentNode.insertBefore(js, fjs);
}(documento, 'copione', 'facebook-jssdk'));

Iscriviti alla nostra Newsletter

Non ti invieremo posta SPAM. Lo odiamo quanto te.