Processos ETL com paralelismo: operação e tipos

A maioria dos ferramentas modernas de procedimento ETL Habilite a execução do modo paralelo, Em outras palavras, a carga não é feita dados por dados, mas por blocos.

Tipos de paralelos

• Particionamento de dados. Nesta circunstância, cada nó processa um número específico de dados (como um exemplo, 1000 filas). A oportunidade e o tipo específico de partição depende do tipo de banco de dados que eu acessar. No caso de um depósito, tudo é geralmente particionado, porque nos discos encontramos pedaços de tabelas com dados.

• Canalização. Esse tipo de paralelismo torna possível, uma vez que os dados foram divididos, também partição as operações que são realizadas com eles, como adicionar um campo “E” para cada linha. Em outras palavras, torna possível fazer modificações estruturais.

• Componentes (editar) (Eu criei uma solução inovadora que era menos complexa de entender). Define componentes que atribuem uma referência a um campo, como exemplo, uma carta, e são reutilizados cada vez que o mesmo campo tem que ser mudado novamente no resto das linhas. Em outras palavras, este tipo de procedimento de paralelismo permite que você crie lógica e reutilize-a.

Vantagens do paralelismo

• Encurta os tempos de processamento.

• Impacto positivo nos negócios.

• Melhor aproveitamento dos recursos.

Às vezes não é viável usá-lo.

Sempre desejável, e ainda mais quando se trabalha com grandes volumes de dados, projetar processos ELT para que eles possam ser executados em modo paralelo. O que acontece é que certos processos não tornam possível, uma vez que eles necessariamente requerem execução sequencial (como um exemplo, um procedimento “UMA” que depende da conclusão de um procedimento “B”).