What are ETL processes?

Share on facebook
Share on twitter
Share on linkedin
Share on telegram
Share on whatsapp

Contents

ETL processes forman parte de la integración de datos, pero es un elemento importante cuya función completa el resultado de todo el desarrollo de la cohesión de aplicaciones y sistemas.

ETL processes

stevanovicigor

La palabra ETL significa:

• Extraer: extract.
• Transformar: to transform.
• Y cargar: load.

With this, queremos decir que todo procedimiento ETL consta exactamente de estas tres fases: extraction, transformation and loading. Vamos a establecer en qué consiste cada una de estas fases.

Etapa de extracción en procesos ETL

To correctly perform the extraction procedure, primera etapa de los procesos ETL, Uno tiene que
follow the steps below:

● Extraer datos de los sistemas de origen.
● Analizar los datos extraídos obteniendo un cheque.
● Interprete esta verificación para verificar que los datos extraídos cumplan con la directriz o
estructura esperada. Opposite case, data should be rejected.
● Convierta los datos a un formato listo para comenzar el procedimiento de transformación.

At the same time, una de las prevenciones más importantes que se debe prestar atención a lo largo del procedimiento de extracción sería la Siempre requiera que esta tarea cause un impacto mínimo en el sistema de origen.. This requirement is based on practice, since, if the data to be extracted is large, el sistema fuente podría ralentizarse e inclusive colapsar, causing it to no longer be used regularly for daily use.

ETL processes: transformation stage

La etapa de transformación de los procesos ETL aplica una serie de reglas de negocio o funciones sobre los datos extraídos para convertirlos en datos que serán cargados.. These guidelines can be declarative, may be based on exceptions or restrictions, but to boost its pragmatism and effectiveness, make sure they are:

● Declarativo.
● Independiente.
● Claro.
● Inteligible.
● Con un propósito útil para el negocio.

Loading procedure: la culminación de los procesos ETL

In this stage, the data from the previous stage (transformation stage) are uploaded to the target system. Depending on the requirements of the organization, this procedure can cover a wide variety of different actions.

Tool_ETL_Informatica.jpg

exists dos formas básicas de desarrollar el procedimiento de carga:

Simple accumulation: esta forma de cargar los datos se trata de hacer un resumen de todas las transacciones comprendidas en el período de tiempo seleccionado y transportar el resultado como una única transacción al data warehouse, almacenando un valor calculado que típicamente consistirá en una suma o un promedio de la magnitud considerada. Es la forma más sencilla y usual de realizar el procedimiento de carga.

Lamination: This procedure would be the most recommended in cases in which it is sought to maintain various levels of granularity. For this, la información de resumen se almacena en diferentes niveles, corresponding to different groupings of the time unit or different hierarchical levels in one or more of the dimensions of the stored quantity (as an example, daily totals, weekly totals, monthly totals, etc.) .

Sin tener en cuenta la forma seleccionada de desarrollar este procedimiento, it should be paid attention that this stage interacts directly with the target database and, therefore, When this procedure is carried out, all the restrictions that have been defined in it will be applied. If they are well defined, la calidad de los datos en el procedimiento ETL estará garantizada.

Aplicaciones de los procesos ETL

Gracias a los procesos ETL, cualquier organización puede:

• Mueva datos de una o varias fuentes.
• Vuelva a formatear esos datos y límpielos, when necessary.
• Cárguelos en otro lugar, como una base de datos, una despensa de datos o un almacén de datos.
• Una vez alojado en el destino, se analizan estos datos.
• O, cuando ya están cargados en su ubicación final, se usan en otro sistema operativo para respaldar un procedimiento empresarial.

Despite this, las herramientas ETL no disponen que usarse solo en entornos de almacenamiento de datos o en la construcción de un almacén de datos, sino que pueden ser útiles para muchos propósitos, such as:

• Tareas de base de datos: que además se usan para consolidar, migrar y sincronizar bases de datos operativas.
• Migración de datos entre diferentes aplicaciones debido a cambios de versión o cambios de aplicación.
• Sincronización entre diferentes sistemas operativos (as an example, entre nuestro entorno ERP y el portal web de ventas).
• Unificación de datos: sistemas con grandes volúmenes de datos que se consolidan en sistemas paralelos, ya sea para mantener datos históricos o para realizar procesos de borrado en los sistemas originales.
• Interfaces de datos con sistemas externos: como enviar información a clientes o proveedores. Además servirían para la recepción, procesamiento e integración de la información recibida.
• Interfaces con los sistemas de Frontoffice: serían interfaces ascendentes / descendentes con los sistemas de ventas.
• Otras tareas: como actualizar usuarios a sistemas paralelos o preparar procesos masivos (como mailings o newsletters).

Otros usos de los procesos ETL

Los procesos ETL no solo se usan cuando aparecen nuevas aplicaciones que deben incorporarse a las rutinas de la organización, sino que además se usan a menudo para la integración con sistemas heredados.

Cuando hablamos de sistemas heredados nos referimos a las aplicaciones antiguas que existen en el entorno empresarial. Frequently, estos sistemas deben integrarse con nuevas aplicaciones, as an example, con ERP.

La principal dificultad que puede surgir en este tipo de situaciones es que La tecnología utilizada en estas antiguas aplicaciones complica la integración con los nuevos programas y, therefore, deben contar con el apoyo experto de un buen aliado tecnológico.

Subscribe to our Newsletter

We will not send you SPAM mail. We hate it as much as you.