Armazém de dados

O que é migração de dados?

Créditos fotográficos: “Migração de gansos selvagens do país” por Vlado

Geralmente, uma migração de dados Ocorre durante uma atualização de hardware ou transferência de um sistema existente para um novo. Alguns exemplos são:

Atualizando um banco de dados.
Migração de ou para a plataforma de hardware.
Migração para novo software.
Combine dois sistemas paralelos em um que seja necessário quando uma empresa absorve a outra ou quando duas empresas se fundem.

Em nenhum caso o termo deve ser confundido migração de dados com outros que, mesmo quando semelhante, mostram diferenças essenciais em termos do número de fontes de origem e destino dos dados ou sua diversidade. Unificação, integração ou atualização de dados são processos diferentes com finalidades diferentes.

O que é migração de dados, o que isso implica e como pode ser feito?

o migração de dados é muito bem representado pela sigla ETL, que correspondem aos termos: Extração, transformação e carregamento. Mesmo que um procedimento ETL possa ser aplicado para outros fins, considerar o que é migração de dados É inevitável referir-se à sua tarefa principal: extração e carregamento (uma vez que a transformação não precisa ser aplicada em todos os casos, só se for necessário).

Existem três opções principais para a migração de dados:

Combine os sistemas das duas empresas ou fontes em um novo.
Migrar um dos sistemas para o outro.
Manter a integridade de ambos os sistemas, deixando-os intactos, mas criando uma visão comum para ambos: um data warehouse.

A ferramenta mais adequada para realizar um migração de dados é extração, transformação e carregamento, versus opções menos produtivas, como codificação manual; para outros inaplicável, como integração de aplicativos (EAI) ou outros que não forneçam tudo o que é necessário para a realização do procedimento com todas as garantias, como é o caso da replicação.

Para realizar um migração de dados é necessário seguir os seguintes passos:

1. Planejamento: desde a definição da estratégia e do escopo do projeto até a análise de viabilidade.

2. Análise: considerando variáveis como integridade, precisão ou consistência dos dados a serem migrados e levando em consideração as características dos bancos de dados de origem e destino.

3. Seleção de aplicativo: Pode ser desenvolvido internamente ou adquirido após o exame das diferentes alternativas.

4. Teste: aplicação de ciclos de teste para aplicativos que usarão o banco de dados.

5. Migração: Entenda os estágios de extração, transformação e carregamento.

6. Avaliação: trata-se de medir os resultados e analisá-los, determinando os ajustes necessários.

Desafios que toda migração de dados deve enfrentar

Mesmo que a migração de dados Pode ser um procedimento simples, sua implementação pode encontrar desafios que precisam ser resolvidos.

Descubra que o código-fonte do aplicativo-fonte não está habilitado e o fabricante desse aplicativo não está mais no mercado.
Encontre tipos ou formatos de dados de origem que não correspondam ao destino: números, datas, sub-registros.
Problemas de codificação que afetam certos conjuntos de dados.
Existência de otimizações no formato de armazenamento de dados, como armazenamento decimal binário codificado, armazenamento não padrão de valores numéricos positivos / tipos de armazenamento de sub-registros negativos ou mutuamente exclusivos dentro de um registro.
Problemas relacionados ao aparecimento de redundâncias e duplicações quando, no momento da migração de dados, diferentes tipos de usuários usaram o novo e o antigo sistema ou aplicativo.

O que é migração de dados? Desmantelando os mitos

Quem são criados o que é migração de dados Eles podem se encontrar em uma posição difícil, suscetível a cair em crenças generalizadas, mas sem crenças. Compreender as implicações de uma migração implica discernir os mitos que nada têm a ver com isso:

UMA migração de dados não é um procedimento simples de cópia de dados.
o migração de dados Não é feito de uma vez, é um procedimento complexo que tem suas fases e leva tempo.
o migração de dados Não pode ser consertado apenas de fora, é necessário e altamente recomendado ter o apoio dos proprietários dos dados.
A transformação e validação de dados não podem, em nenhum caso, ocorre após o carregamento. Deve ser feito sempre antes e o resultado deve passar por ciclos de testes que demonstrem sua adequação para ser carregado no destino.

Migração de dados: melhores práticas

Dê ao perfil de dados a relevância que ele merece.
Não subestime o mapeamento de dados.
Execute tarefas de criação de perfil no momento certo e nunca após o carregamento.
Prefira alternativas automáticas às manuais para criação de perfil de dados.
Tirar proveito de migração de dados para aumentar a qualidade dos dados e metadados.
Recarrega técnicas de modelagem de dados para obter o máximo da integração.
Considere o lado operacional dos dados e tente simplificar a interação futura do usuário em tarefas administrativas, relatórios ou atualização.