ETL-Prozesse mit Parallelität: Bedienung und Typen

Inhalt

die meisten moderne ETL-Verfahrenswerkzeuge Sie ermöglichen den Parallelbetrieb, Mit anderen Worten, das Laden erfolgt nicht datenweise, sondern blockweise.

Arten von Parallelen

  • Datenpartition. Unter diesen Umständen, jeder Knoten verarbeitet eine bestimmte Anzahl von Daten (als Beispiel, 1000 Reihen). Die Möglichkeit und der spezifische Partitionstyp hängen von der Art der Datenbank ab, auf die ich zugreife. Im Fall von a Anzahlung, alles ist normalerweise partitioniert, denn auf den Festplatten finden wir Tabellen mit Daten.

  • Kanalisation. Diese Art der Parallelität ermöglicht, Sobald die Daten geteilt sind, auch die mit ihnen durchgeführten Operationen unterteilen, So fügen Sie ein Feld hinzu “Ja” zu jeder Reihe. Mit anderen Worten, ermöglicht Modifikationen auf struktureller Ebene.

  • Komponenten (Bearbeiten) (Bearbeiten). Es werden Komponenten definiert, die einem Feld eine Referenz zuweisen, als beispiel ein brief, und sie werden jedes Mal wiederverwendet, wenn das gleiche Feld in den restlichen Zeilen erneut geändert werden muss. Mit anderen Worten, Diese Art von Parallelitätsverfahren ermöglicht es Ihnen, Logik zu erstellen und wiederzuverwenden.

Vorteile der Parallelität

  • Bearbeitungszeiten verkürzen.

  • Positive Auswirkungen auf das Geschäft.

  • Bessere Ressourcennutzung.

Manchmal ist es nicht machbar, es zu verwenden.

Es ist immer wünschenswert, und erst recht bei der Arbeit mit großen Datenmengen, ELT-Prozesse so gestalten, dass sie im Parallelmodus ausgeführt werden können. Was passiert ist, dass bestimmte Prozesse es nicht möglich machen, da sie notwendigerweise eine sequentielle Ausführung erfordern (als Beispiel, Eine Prozedur “EIN” was vom Abschluss eines Verfahrens abhängt “B”).

(Funktion(D, S, Ich würde) {
var js, fjs = d.getElementsByTagName(S)[0];
Wenn (d.getElementById(Ich würde)) Rückkehr;
js = d.createElement(S); js.id = id;
js.src = “//connect.facebook.net/es_ES/all.js#xfbml=1&Status=0”;
fjs.parentNode.insertBefore(js, fjs);
}(dokumentieren, 'Skript', 'facebook-jssdk'));

Abonniere unseren Newsletter

Wir senden Ihnen keine SPAM-Mail. Wir hassen es genauso wie du.