ETL processes: Load. What does it consist of?

Share on facebook
Share on twitter
Share on linkedin
Share on telegram
Share on whatsapp

Contents

La última parte del ETL processes es la etapa de carga, el momento en el que los datos de la etapa de transformación are uploaded to the target system.

Hay que prestar atención que así como puede haber varios sistemas fuente o fuentes (como ya hemos comentado en puntos anteriores) además puede haber varios sistemas destino diferentes.

Tipos de sistemas de carga

Simply, existen dos tipos de carga:

  • Inserta. Es un sistema de acumulación simple que se trata de el transporte de información en grandes bloques de datos, previamente calculados en función, generally, de un valor sumatorio o promedio de la magnitud considerada. Es la forma más sencilla y frecuente de realizar un procedimiento de carga, pero tiene el inconveniente de que en caso de accidente o problema (un corte de luz, un fallo de disco, etc.) se pierde la consistencia de los datos, y puede darse el caso de que deba repetirse toda la carga.

  • Cargas. In this circumstance, la carga se realiza de forma más escalonada y segura. For this, el sistema agrupa la información automáticamente y transparente según diferentes variables :, dates, por un número determinado de registros, etc. Este modo posibilita procesar el punto exacto hasta el que se ha realizado la carga, lo que significa que si se produce un fallo ocurre, solo debes de reanudar el procedimiento de carga desde ese punto específico, sin tener que repetir todo de nuevo.

Principales diferencias entre inserts Y cargas

Las diferencias entre los dos modos de carga principales (aún cuando no los únicos dado que además hay sistemas mixtos) están en el nivel de consistencia de los datos y el tiempo de carga.

Al utilizar un sistema insert el nivel de consistencia se reduce, dado que una falla puede obligar a una repetición completa del procedimiento. Despite this, la duración del tiempo de carga es más corta.

The system cargas Ralentiza el procedimiento como consecuencia del procesamiento automático del estado de la carga, pero a cambio gana en consistencia de datos y registros.

Claves para garantizar que la carga se realiza correctamente

  • Utilice la menor cantidad de recursos disponibles.

  • Asegúrese tanto como sea factible de la coherencia de los datos que se cargan.

  • Priorice la calidad de la carga sobre la velocidad.

  • Trate de no interferir con otros procesos en curso.

La elección del tipo de carga ideal depende de cada caso

La elección del tipo de procedimiento de carga, cuya decisión final regularmente corresponde al propietario del procedimiento ETL, debe hacerse después de examinar una serie de parámetros: cantidad de datos a cargar, velocidad que verdaderamente se necesita, etc.

La recomendación general es que si el volumen de datos a cargar es esencial, es recomendable decantarse por un sistema que asegure una mayor consistencia de los datos, evitando así tener que repetir todo el procedimiento ante cualquier eventualidad.

Subscribe to our Newsletter

We will not send you SPAM mail. We hate it as much as you.