Como te dissemos na semana passada, a Processos ETL Consistem em três fases: Extração, transformação e carregamento. Para cada um destes processos é necessário conhecer o funcionamento e as suas chaves, mas é ainda mais decisivo compreender as medidas de segurança e precauções às quais se deve prestar atenção ao realizá-las, para evitar que as consequências afetem o sistema e o seu funcionamento normal.
Os aspetos mais importantes de cada um destes processos resumem-se a seguir.
1. Procedimento de extração
Para realizar corretamente o procedimento de extração, primeira etapa de ETL, deves seguir os seguintes passos:
- Extrair dados de sistemas fonte.
- Analisa os dados extraídos obtendo uma verificação.
- Interpreta esta verificação para confirmar que os dados extraídos cumprem o padrão ou estrutura esperada. Caso contrário, os dados devem ser rejeitados.
- Converte os dados para um formato pronto para iniciar o procedimento de transformação.
O que prestar atenção ao longo do procedimento de extração
É necessário extremar as precauções nesta etapa do procedimento ETL que é a extração, portanto deve-se prestar atenção que:
- No momento de Extração, análise e interpretação: os formatos em que dados ou as formas como se organizam podem ser diferentes em cada sistema de forma separada, visto que a maioria projetos de armazenamento de dados combinar dados de diferentes sistemas de origem.
- No momento de conversão de dados: Deve lembrar-se que os formatos de origem encontram-se regularmente em bases de dados relacionais ou ficheiros planos, mas podem incluir bases de dados não relacionais ou outras estruturas diferentes.
Apesar disto, a medida mais importante a considerar seria exigir sempre que a tarefa de extração cause um impacto mínimo no sistema de origem. Este requisito baseia-se na prática, dado que, se os dados a extrair forem numerosos, o sistema de origem poderia abrandar ou até colapsar, fazendo com que deixe de ser usado regularmente no dia a dia.
Para evitar este impacto e as suas consequências, em grandes sistemas, as operações de extração são normalmente programadas em horários ou dias em que a interferência com o sistema e o seu uso são nulos ou mínimos.
2. Procedimento de transformação
o etapa de transformação de um procedimento ETL aplica uma série de regras ou funções comerciais sobre os dados extraídos para os converter em dados que serão carregados. Estas diretrizes podem ser declarativas, podem basear-se em exceções ou restrições, mas para aumentar o seu pragmatismo e eficácia, garanta que sejam:
- Declarativas.
- Independentes
- Claro.
- Inteligíveis.
- Com um propósito útil para o negócio.
O lado mais prático do procedimento de transformação
Às vezes será necessário fazer um pequeno ajuste Manipulação de dados, Apesar disto, e sempre dependendo das fontes de dados, em certas ocasiões, o que será necessário é aplicar alguma das seguintes transformações:
- Selecione apenas determinadas colunas para carregar (como um exemplo, as colunas com valores nulos não são carregadas).
- Traduzir códigos (como um exemplo, se a fonte armazenar uma “H” para Homem e uma “M” para Mulher, mas o destino tem que armazenar “1” para Homem e “2” para Mulher).
- Codificar valores livres (como um exemplo, converter “Masculino” sobre “H” o “Sr” sobre “1”).
- Obter novos valores calculados (como um exemplo, total_sale = quantidade * preço).
- Juntar dados de várias fontes (como um exemplo, pesquisas, sindicatos, etc.).
- Calcular os totais de várias linhas de dados (como um exemplo, as vendas totais de cada região).
- Gerar campos-chave no destino.
- Transpor ou pivotar (rodar várias colunas em linhas ou vice-versa).
- Dividir uma coluna em várias (como um exemplo, coluna “Nome: García, Miguel”; mover-se para duas colunas “Nome: Miguel” e “Sobrenome: García”).
- Solicitar formas simples ou complexas, a ação que, em cada caso, for necessária, como um exemplo:
- Dados OK: entregar dados à próxima etapa (etapa de carga).
- Dados incorretos: executar políticas de gestão de exceções.
3. Procedimento de carga
Nesta fase, os dados da etapa anterior (etapa de transformação) são carregados no sistema de destino. Dependendo dos requisitos da organização, este procedimento pode abranger uma ampla variedade de ações diferentes. Como um exemplo, en algunas bases de datos será necesario sobrescribir la información antigua con datos nuevos, mientras que en otras bastará con resumir las transaciones y almacenar un promedio de la magnitud considerada.
o Armazem de dados mantienen un historial de los registros, de modo que es factible auditarlos en cualquier momento. Esto le posibilita tener un seguimiento del historial completo de un valor a lo largo del tiempo.
Desarrollo del procedimiento de carga de datos
Dos existen formas básicas de desarrollar el procedimiento de carga:
- Acumulación simple: esta forma de cargar los datos se trata de hacer un resumen de todas las transaciones comprendidas en el período de tiempo selecionado y transportar el resultado como una única transaçãoo "transação" refere-se ao processo pelo qual ocorre uma troca de mercadorias, serviços ou dinheiro entre duas ou mais partes. Este conceito é fundamental no campo econômico e jurídico, uma vez que envolve acordo mútuo e consideração de termos específicos. As transações podem ser formais, como contratos, ou informal, e são essenciais para o funcionamento dos mercados e negócios.... al Armazem de dados, armazenando um valor calculado que regularmente consistirá numa soma ou numa média da magnitude considerada. É a forma mais simples e frequente de realizar a Procedimento de carga.
- Laminação: este procedimento seria o mais recomendado nos casos em que se procure manter vários níveis de granularidade. Para isto, a informação resumida é armazenada em diferentes níveis, correspondentes a diferentes agrupamentos da unidade de tempo ou diferentes níveis hierárquicos numa ou mais das dimensões da quantidade armazenada (como um exemplo, totais diários, totais semanais, totais mensais, etc.) .
Qualquer que seja a forma de desenvolvimento deste procedimento que seja escolhida, deve-se ter atenção pois esta etapa interage de forma direta com a base de dadosUm banco de dados é um conjunto organizado de informações que permite armazenar, Gerencie e recupere dados com eficiência. Usado em várias aplicações, De sistemas corporativos a plataformas online, Os bancos de dados podem ser relacionais ou não relacionais. O design adequado é fundamental para otimizar o desempenho e garantir a integridade das informações, facilitando assim a tomada de decisão informada em diferentes contextos.... de destino e, por tanto, ao realizar este procedimento aplicar-se-ão todas as restrições que nele tenham sido definidas. Se estiverem bem definidas, a calidad de los datos en el procedimiento ETL estará garantizado.
Ejemplos de estas restricciones pueden ser:
- Valores únicos.
- Integridade referencial.
- Campos requeridos.
- Rangos de valores.
Postagens Relacionadas:
