Procesos ETL con paralelismo: operación y tipos

Share on facebook
Share on twitter
Share on linkedin
Share on telegram
Share on whatsapp

Contenidos

La mayoría de herramientas de procedimiento ETL modernas Posibilitan la ejecución en modo paralelo, dicho de otra forma, la carga no se realiza datos por datos sino por bloques.

Tipos de paralelos

  • Partición de datos. En esta circunstancia, cada nodo procesa un número específico de datos (a modo de ejemplo, 1000 filas). La oportunidad y el tipo específico de partición depende del tipo de base de datos a la que accedo. En el caso de un depósito, todo suele estar particionado, debido a que en los discos encontramos trozos de tablas con datos.

  • Canalización. Este tipo de paralelismo posibilita, una vez divididos los datos, particionar además las operaciones que se realizan con ellos, como añadir un campo «Y» a cada fila. Dicho de otra forma, posibilita realizar modificaciones a nivel estructural.

  • Componentes (editar). Se definen componentes que asignan una referencia a un campo, a modo de ejemplo una letra, y se reutilizan cada vez que ese mismo campo tiene que volver a cambiarse en el resto de filas. Dicho de otra forma, este tipo de procedimiento de paralelismo te posibilita crear lógica y reutilizarla.

Ventajas del paralelismo

  • Acorta los tiempos de procesamiento.

  • Impacto positivo en el negocio.

  • Mejor uso de recursos.

A veces no es factible usarlo.

Siempre es deseable, y más aún cuando se trabaja con grandes volúmenes de datos, diseñar procesos ELT para que puedan ejecutarse en modo paralelo. Lo que pasa es que ciertos procesos no lo posibilitan, puesto que necesariamente requieren ejecución secuencial (a modo de ejemplo, un procedimiento «A» que depende de la finalización de un procedimiento «B»).

(function(d, s, id) {
var js, fjs = d.getElementsByTagName(s)[0];
if (d.getElementById(id)) return;
js = d.createElement(s); js.id = id;
js.src = «//connect.facebook.net/es_ES/all.js#xfbml=1&status=0»;
fjs.parentNode.insertBefore(js, fjs);
}(document, ‘script’, ‘facebook-jssdk’));

Suscribite a nuestro Newsletter

No te enviaremos correo SPAM. Lo odiamos tanto como tú.