La última parte del ETL processes es la etapa de carga, el momento en el que los datos de la etapa de transformación are uploaded to the target system.
Hay que prestar atención que así como puede haber varios sistemas fuente o fuentes (como ya hemos comentado en puntos anteriores) además puede haber varios sistemas destino diferentes.
Tipos de sistemas de carga
Simply, existen dos tipos de carga:
-
Inserta. Es un sistema de acumulación simple que se trata de el transporte de información en grandes bloques de datos, previamente calculados en función, generally, de un valor sumatorio o promedio de la magnitud considerada. Es la forma más sencilla y frecuente de realizar un procedimiento de carga, pero tiene el inconveniente de que en caso de accidente o problema (un corte de luz, un fallo de disco, etc.) se pierde la consistencia de los datos, and it may happen that the entire load needs to be repeated.
-
Loads. In this circumstance, the load is carried out in a more staggered and safe manner. For this, the system automatically and transparently groups the information according to different variables :, dates, for a certain number of records, etc. This mode allows processing up to the exact point where the load has been carried out, which means that if a failure occurs, you only need to resume the loading process from that specific point, without having to repeat everything again.
Main differences between inserts Y loads
The differences between the two main loading modes (even though they are not the only ones, as there are also mixed systems) lie in the level of data consistency and loading time.
When using a system insert el nivel de consistencia se reduce, dado que una falla puede obligar a una repetición completa del procedimiento. Despite this, la duración del tiempo de carga es más corta.
The system loads Ralentiza el procedimiento como consecuencia del procesamiento automático del estado de la carga, pero a cambio gana en consistencia de datos y registros.
Claves para garantizar que la carga se realiza correctamente
-
Utilice la menor cantidad de recursos disponibles.
-
Asegúrese tanto como sea factible de la coherencia de los datos que se cargan.
-
Priorice la calidad de la carga sobre la velocidad.
-
Trate de no interferir con otros procesos en curso.
La elección del tipo de carga ideal depende de cada caso
La elección del tipo de procedimiento de carga, cuya decisión final regularmente corresponde al propietario del procedimiento ETL, debe hacerse después de examinar una serie de parámetros: cantidad de datos a cargar, velocidad que verdaderamente se necesita, etc.
La recomendación general es que si el volumen de datos a cargar es esencial, es recomendable decantarse por un sistema que asegure una mayor consistencia de los datos, evitando así tener que repetir todo el procedimiento ante cualquier eventualidad.
