Usar o Data Vault para projetar corretamente seu data warehouse

O método Data Vault para modelar um Armazem de dados surgiu por necessidade. Os projetos de armazenamento de dados muitas vezes têm de lidar com tempos de implementação excessivamente longos. Isto implica que As necessidades empresariais podem mudar ao longo do projeto, atingindo a execução dentro dos prazos e os custos do projeto..

Para melhorar os tempos de implementação, foi introduzido o método Data Vault para modelar o armazém de dados. O princípio de design implica separar as chaves empresariais, o contexto e as relações em diferentes tabelas, como hubs, satélites e ligações.

Conceitos de hub, satélite e ligação

Um hub contém a chave empresarial real (uno o más campos que identifican de forma única a una entidad para el negocio, por exemplo, un número de cliente) y una clave sustituta que se utiliza para conectar esta tabla con otras estructuras (equivalente a una chave primáriaA chave primária é um conceito fundamental em bancos de dados, usado para identificar exclusivamente cada registro em uma tabela. Consiste em um ou mais atributos que não podem conter valores nulos e devem ser exclusivos. Seu design correto é crucial para manter a integridade dos dados, Facilitando as relações entre tabelas e otimizando consultas. Sem uma chave primária, ambiguidades e erros podem ser gerados no...). O que mais, también puede contener metadatos como marcas de tiempo o info sobre la Fonte de dadosUMA "Fonte de dados" refere-se a qualquer lugar ou meio onde as informações podem ser obtidas. Essas fontes podem ser primárias e, como levantamentos e experimentos, como secundário, como bancos de dados, Artigos acadêmicos ou relatórios estatísticos. A escolha certa de uma fonte de dados é crucial para garantir a validade e confiabilidade das informações em pesquisa e análise..... Los enlaces a continuación conectan los concentradores con una tabla simple de muchos a muchos que consta de las respectivas llaves de reemplazo..

Por la presente, Los concentradores y enlaces representan la parte más estable de un modelo y están explorados por los llamados satélites.. Un satélite está conectado a un concentrador con su clave de reemplazo y contém uno o más atributos descriptivos que geralmente se agrupan por un sistema de origen, um contexto comercial ou uma taxa de câmbio.. O que mais, uma tabela satélite também pode compreender diferentes tipos de metadados, como períodos de datas válidas e informação sobre a sua origem.

Um modelo básico de Data Vault poderia consistir num centro de encomendas e num centro de clientes muito simples, assim como ligações e satélites relacionados.. Neste modelo, o centro de clientes poderia ter dois satélites: um com dados mestres que possivelmente provêm do sistema CRM e outro com um atributo chamado telemóvel inteligente que pode provir de um sistema de análise web.

Benefícios de um armazém de dados no âmbito do Data Vault

• Facilidade de expansão permite uma abordagem de projeto ágil.

• Os modelos criados são altamente escalável.

• Os processos de carga podem ser paralelizados de forma ótima porque existem poucos pontos de sincronização.

• Os modelos são fáceis de auditar

Mas juntamente com os muitos benefícios, O Data Vault também apresenta uma série de desafios.

Desafios de um armazém de dados no contexto de um data warehouse

• Há um grande aumento no número de objetos de dados. (Pranchas, colunas) como resultado de separar os tipos de informação e enriquecê-los com metainformação para a carga.

• Isto resulta num maior esforço de modelação. que compreende numerosas tarefas mecânicas pouco sofisticadas

Como é que se podem superar estes desafios utilizando uma ferramenta de modelação de dados padrão? A estrutura altamente esquemática dos modelos fornece os pré-requisitos ideais para gerar modelos. Isto permite automatizar partes importantes do processo de modelação, o que permite acelerar drasticamente os projetos de Data Vault.

Possibilidade de automatizar o Data Warehouse

Que partes específicas do modelo podem ser automatizadas? A arquitetura padrão de um armazém de dados inclui as seguintes camadas:

• Sistema de origem: Sistema operacional, como sistemas ERP ou CRM

• Área de ensaio: Aqui é onde os dados são entregues a partir dos sistemas operacionais. A estrutura do modelo de dados geralmente corresponde ao sistema de origem, com melhorias para documentar a carga.

• Núcleo do armazém: Aqui se integram dados de vários sistemas. Esta camada baseia-se no modelo Data Vault e subdivide-se nas áreas Raw Vault e Business Vault. Isto implica implementar todas as regras de negócio no Business Vault para que apenas sejam utilizadas transformações muito simples no Raw Vault.

• Mercados de encontros: A estrutura dos mercados de dados baseia-se nos requisitos de análise e modela-se como um esquema em estrela.

Tanto a área de preparação como o Raw Vault são adequados para a automatização, uma vez que se podem estabelecer regras de derivação claramente definidas a partir da camada anterior.