Procesos ETL forman parte de la integración de datos, pero es un elemento importante cuya función completa el resultado de todo el desarrollo de la cohesión de aplicaciones y sistemas.
La palabra ETL significa:
• Extraer: extraer.
• Transformar: transformar.
• Y cargar: carga.
Con esto, queremos decir que todo procedimiento ETL consta exactamente de estas tres fases: extracción, transformación y carga. Vamos a establecer en qué consiste cada una de estas fases.
Etapa de extracción en procesos ETL
Para realizar correctamente la procedimiento de extracción, primera etapa de los procesos ETL, Uno tiene que
siga los pasos a continuación:
● Extraer datos de los sistemas de origen.
● Analizar los datos extraídos obteniendo un cheque.
● Interprete esta verificación para verificar que los datos extraídos cumplan con la directriz o
estructura esperada. Caso contrario, los datos deben rechazarse.
● Convierta los datos a un formato listo para comenzar el procedimiento de transformación.
Al mismo tiempo, una de las prevenciones más importantes que se debe prestar atención a lo largo del procedimiento de extracción sería la Siempre requiera que esta tarea cause un impacto mínimo en el sistema de origen.. Este requisito se basa en la práctica, puesto que, si los datos que se extraerán son grandes, el sistema fuente podría ralentizarse e inclusive colapsar, causando que ya no se utilice regularmente para el uso diario.
Procesos ETL: etapa de transformación
La etapa de transformación de los procesos ETL aplica una serie de reglas de negocio o funciones sobre los datos extraídos para convertirlos en datos que serán cargados.. Estas pautas pueden ser declarativas, pueden basarse en excepciones o restricciones, pero para impulsar su pragmatismo y efectividad, asegúrese de que sean:
● Declarativo.
● Independiente.
● Claro.
● Inteligible.
● Con un propósito útil para el negocio.
Procedimiento de carga: la culminación de los procesos ETL
En esta etapa, los datos de la etapa anterior (etapa de transformación) se cargan en el sistema de destino. Dependiendo de los requerimientos de la organización, este procedimiento puede abarcar una amplia variedad de acciones diferentes.
existe dos formas básicas de desarrollar el procedimiento de carga:
● Acumulación simple: esta forma de cargar los datos se trata de hacer un resumen de todas las transacciones comprendidas en el período de tiempo seleccionado y transportar el resultado como una única transacciónLa "transacción" se refiere al proceso mediante el cual se lleva a cabo un intercambio de bienes, servicios o dinero entre dos o más partes. Este concepto es fundamental en el ámbito económico y legal, ya que implica el acuerdo mutuo y la consideración de términos específicos. Las transacciones pueden ser formales, como contratos, o informales, y son esenciales para el funcionamiento de mercados y negocios.... al data warehouse, almacenando un valor calculado que típicamente consistirá en una suma o un promedio de la magnitud considerada. Es la forma más sencilla y usual de realizar el procedimiento de carga.
● Laminación: este procedimiento sería el más recomendado en los casos en los que se busque mantener varios niveles de granularidad. Para esto, la información de resumen se almacena en diferentes niveles, correspondientes a diferentes agrupaciones de la unidad de tiempo o diferentes niveles jerárquicos en una o más de las dimensiones de la cantidad almacenada (a modo de ejemplo, totales diarios, totales semanales, totales mensuales, etc.) .
Sin tener en cuenta la forma seleccionada de desarrollar este procedimiento, se debe prestar atención que esta etapa interactúa de forma directa con la base de datosUna base de datos es un conjunto organizado de información que permite almacenar, gestionar y recuperar datos de manera eficiente. Utilizadas en diversas aplicaciones, desde sistemas empresariales hasta plataformas en línea, las bases de datos pueden ser relacionales o no relacionales. Su diseño adecuado es fundamental para optimizar el rendimiento y garantizar la integridad de la información, facilitando así la toma de decisiones informadas en diferentes contextos.... de destino y, por eso, al realizar este procedimiento se aplicarán todas las restricciones que en ella se hayan definido. Si están bien definidos, la calidad de los datos en el procedimiento ETL estará garantizada.
Aplicaciones de los procesos ETL
Gracias a los procesos ETL, cualquier organización puede:
• Mueva datos de una o varias fuentes.
• Vuelva a formatear esos datos y límpielos, cuando sea necesario.
• Cárguelos en otro lugar, como una base de datos, una despensa de datos o un almacén de datos.
• Una vez alojado en el destino, se analizan estos datos.
• O, cuando ya están cargados en su ubicación final, se usan en otro sistema operativo para respaldar un procedimiento empresarial.
A pesar de esto, las herramientas ETL no disponen que usarse solo en entornos de almacenamiento de datos o en la construcción de un almacén de datos, sino que pueden ser útiles para muchos propósitos, tales como:
• Tareas de base de datos: que además se usan para consolidar, migrar y sincronizar bases de datos operativas.
• Migración de datos entre diferentes aplicaciones debido a cambios de versión o cambios de aplicación.
• Sincronización entre diferentes sistemas operativos (a modo de ejemplo, entre nuestro entorno ERP y el portal web de ventas).
• Unificación de datos: sistemas con grandes volúmenes de datos que se consolidan en sistemas paralelos, ya sea para mantener datos históricos o para realizar procesos de borrado en los sistemas originales.
• Interfaces de datos con sistemas externos: como enviar información a clientes o proveedores. Además servirían para la recepción, procesamiento e integración de la información recibida.
• Interfaces con los sistemas de Frontoffice: serían interfaces ascendentes / descendentes con los sistemas de ventas.
• Otras tareas: como actualizar usuarios a sistemas paralelos o preparar procesos masivos (como mailings o newsletters).
Otros usos de los procesos ETL
Los procesos ETL no solo se usan cuando aparecen nuevas aplicaciones que deben incorporarse a las rutinas de la organización, sino que además se usan a menudo para la integración con sistemas heredados.
Cuando hablamos de sistemas heredados nos referimos a las aplicaciones antiguas que existen en el entorno empresarial. Frecuentemente, estos sistemas deben integrarse con nuevas aplicaciones, a modo de ejemplo, con ERP.
La principal dificultad que puede surgir en este tipo de situaciones es que La tecnología utilizada en estas antiguas aplicaciones complica la integración con los nuevos programas y, por tanto, deben contar con el apoyo experto de un buen aliado tecnológico.
