Por que é necessário um procedimento de transformação?
Para compreender a necessidade de um procedimento de transformação, devemos ter em atenção que num procedimento ETL lidam-se diversas fontes, algumas delas externas à própria organização: informação bolsista de uma página web externa à empresa, qualquer tipo de download da Internet, um pacote de Office, etc. Esta variedade de bases de dados, às vezes de vários países, com diferentes idiomas e diferentes unidades de medida, torna impossível ou difícil realizar comparações se não forem feitas conversões e formatações antecipadamente. Daí a necessidade de processos de transformação.
Ações de transformação
As ações ou processos mais habituais são:
- Reformatação de dados.
- Conversão de unidades. Como um exemplo, converter milhas em quilómetros por hora ou vice-versa. Algo muito frequente quando os dados são extraídos de países com unidades métricas diferentes. Outro caso seria a conversão de diferentes moedas (libras, euros …) num único valor padrão.
- Seleção de colunas para carregamento posterior. Como um exemplo, impedir que as colunas com valores nulos sejam carregadas.
- Agregação de colunas. Adicionar uma coluna com a origem de certos carros seria um exemplo.
- Dividir uma coluna em várias. Esta ação é muito útil para, como um exemplo, separar em três colunas, uma para o nome e duas para o apelido, a identificação de uma pessoa que anteriormente estava num único campo.
- Traduzir códigos. Como um exemplo, se a fonte de origem armazenar um 'H' para homens e um 'M' para mulheres, forneça as instruções necessárias para que o destino armazene um '1' para homens e um '2' para mulheres.
- Obter novos valores calculados.
- Unir dados de múltiplas fontes.
- Pesquisas. É quando se pegam dados e se comparam com outro tipo de dados, cruzando informação. Como um exemplo, capturar um código de cliente de uma base de dadosUm banco de dados é um conjunto organizado de informações que permite armazenar, Gerencie e recupere dados com eficiência. Usado em várias aplicações, De sistemas corporativos a plataformas online, Os bancos de dados podem ser relacionais ou não relacionais. O design adequado é fundamental para otimizar o desempenho e garantir a integridade das informações, facilitando assim a tomada de decisão informada em diferentes contextos.... e cruzá-lo com outra base de empréstimos concedidos para saber se esse cliente beneficia ou não desse empréstimo.
- Pivotando. Procedimento semelhante às pesquisas, mas com um maior grau de complexidade, uma vez que os dados de diferentes fontes são cruzados.
Quem se encarrega de realizar essas transformações?
Este papel corresponde ao desenvolvedor ou analista do procedimento ETL em questão. A definição das transformações a realizar é feita com base numa análise prévia e na etapa de limpeza que, como já referimos e aprofundaremos mais adiante, é um procedimento separado, mas muito ligado ao de transformação.
Transformação: um procedimento vital para análises e comparações posteriores
A transformação dos dados, após a sua extração e como passo prévio ao seu carregamento, não pode ser considerada uma etapa secundária ou dispensável. Sem um bom trabalho de transformação de dados não seria viável realizar comparações e análises. Em outras palavras, perder-se-ia um dos grandes benefícios para as instituições ao implementar um procedimento ETL.
