Processos ETL forman parte de la integración de datos, pero es un elemento importante cuya función completa el resultado de todo el desarrollo de la cohesión de aplicaciones y sistemas.
La palabra ETL significa:
• Extraer: extrair.
• Transformar: transformar.
• Y carregar: carga.
Com isto, queremos dizer que todo o procedimento ETL consta exatamente de estas três fases: Extração, transformação e carregamento. Vamos a establecer en qué consiste cada una de estas fases.
Etapa de extracción en procesos ETL
Para realizar corretamente o procedimento de extração, primera etapa de los procesos ETL, É necessário
Siga os passos abaixo:
● Extraer datos de los sistemas de origen.
● Analizar los datos extraídos obteniendo un cheque.
● Interprete esta verificação para verificar que los datos extraídos cumplan con la directriz o
estructura esperada. Caso contrário, os dados devem ser rejeitados.
● Convierta los datos a un formato listo para comenzar el procedimiento de transformación.
Ao mesmo tempo, una de las prevenciones más importantes que se debe prestar atención a lo largo del procedimiento de extracción sería la Siempre requiera que esta tarea cause un impacto mínimo en el sistema de origen.. Este requisito baseia-se na prática, Sendo que, se os dados a extrair forem numerosos, el sistema fuente podría ralentizarse e inclusive colapsar, fazendo com que deixe de ser usado regularmente no dia a dia.
Processos ETL: etapa de transformação
La etapa de transformación de los procesos ETL aplica una serie de reglas de negocio o funciones sobre los datos extraídos para convertirlos en datos que serán cargados.. Estas diretrizes podem ser declarativas, podem basear-se em exceções ou restrições, mas para aumentar o seu pragmatismo e eficácia, garanta que sejam:
● Declarativo.
● Independiente.
● Claro.
● Inteligible.
● Con un propósito útil para el negocio.
Procedimento de carga: la culminación de los procesos ETL
Nesta fase, os dados da etapa anterior (etapa de transformação) são carregados no sistema de destino. Dependendo dos requisitos da organização, este procedimento pode abranger uma ampla variedade de ações diferentes.
existe duas formas básicas de desenvolver o procedimento de carga:
● Acumulación simple: esta forma de cargar los datos se trata de hacer un resumen de todas las transaciones comprendidas en el período de tiempo selecionado y transportar el resultado como una única transaçãoo "transação" refere-se ao processo pelo qual ocorre uma troca de mercadorias, serviços ou dinheiro entre duas ou mais partes. Este conceito é fundamental no campo econômico e jurídico, uma vez que envolve acordo mútuo e consideração de termos específicos. As transações podem ser formais, como contratos, ou informal, e são essenciais para o funcionamento dos mercados e negócios.... para o data warehouse, armazenando um valor calculado que normalmente consistirá numa soma ou numa média da magnitude considerada. É a forma mais simples e usual de realizar o procedimento de carga.
● Laminação: este procedimento seria o mais recomendado nos casos em que se procure manter vários níveis de granularidade. Para isto, a informação de resumo é armazenada em diferentes níveis, correspondentes a diferentes agrupamentos da unidade de tempo ou diferentes níveis hierárquicos numa ou mais das dimensões da quantidade armazenada (como um exemplo, totais diários, totais semanais, totais mensais, etc.) .
Sem ter em conta a forma selecionada de desenvolver este procedimento, deve-se ter atenção pois esta etapa interage de forma direta com a base de dadosUm banco de dados é um conjunto organizado de informações que permite armazenar, Gerencie e recupere dados com eficiência. Usado em várias aplicações, De sistemas corporativos a plataformas online, Os bancos de dados podem ser relacionais ou não relacionais. O design adequado é fundamental para otimizar o desempenho e garantir a integridade das informações, facilitando assim a tomada de decisão informada em diferentes contextos.... de destino e, por isso, ao realizar este procedimento aplicar-se-ão todas as restrições que nele tenham sido definidas. Se estiverem bem definidas, a qualidade dos dados no procedimento ETL estará garantida.
Aplicações dos processos ETL
Graças aos processos ETL, qualquer organização pode:
• Mover dados de uma ou várias fontes.
• Reformatear esses dados e limpá-los, quando for necessário.
• Cárguelos en outro lugar, como una base de datos, uma despensa de dados ou um armazém de dados.
• Uma vez alojados no destino, estes dados são analisados.
• Ou, quando já estão carregados na sua localização final, são usados noutro sistema operativo para apoiar um procedimento empresarial.
Apesar disto, as ferramentas ETL não precisam de ser usadas apenas em ambientes de armazenamento de dados ou na construção de um armazém de dados, mas podem ser úteis para muitos propósitos, tais como:
• Tarefas de base de dados: que além disso são usadas para consolidar, migrar e sincronizar bases de dados operacionais.
• Migração de dados entre diferentes aplicações devido a mudanças de versão ou mudanças de aplicação.
• Sincronização entre diferentes sistemas operativos (como um exemplo, entre o nosso ambiente ERP e o portal web de vendas).
• Unificação de dados: sistemas com grandes volumes de dados que são consolidados em sistemas paralelos, quer para manter dados históricos ou para realizar processos de eliminação nos sistemas originais.
• Interfaces de dados com sistemas externos: como enviar informações a clientes ou fornecedores. Além disso serviriam para a recepção, processamento e integração da informação recebida.
• Interfaces com os sistemas de Frontoffice: seriam interfaces ascendentes / descendentes com os sistemas de vendas.
• Outras tarefas: como atualizar utilizadores em sistemas paralelos ou preparar processos massivos (como mailings ou newsletters).
Outros usos dos processos ETL
Os processos ETL não são usados apenas quando surgem novas aplicações que devem ser incorporadas nas rotinas da organização, mas também são frequentemente usados para a integração com sistemas legados.
Quando falamos de sistemas legados, referimo-nos a aplicações antigas que existem no ambiente empresarial. Freqüentemente, esses sistemas devem ser integrados com novas aplicações, como um exemplo, com ERP.
A principal dificuldade que pode surgir neste tipo de situações é que A tecnologia utilizada nessas aplicações antigas complica a integração com os novos programas e, por tanto, devem contar com o apoio especializado de um bom parceiro tecnológico.
