O que você precisa saber sobre a arquitetura de um datawarehouse

o arquitectura de un almacén de datos puede tener diferentes estructuras en diferentes implementaciones. Algunos pueden tener un ODS (almacén de datos operativos), while que outros pueden tener varios almacenes de datos. Algunos pueden tener una pequeña quantidade de fuentes de datos, while que outros podem tener docenas de fontes de datos. Dado esto, es muito mais razonable apresentar las diferentes capas de la arquitectura de un almacén de datos en lugar de discutir un sistema específico.

Em geral, cada arquitectura de un datawarehouse tiene las siguientes capas:

• Capa de extracción de datos

• Capa de almacenamiento de datos

• Capa de presentación de datos

• Capa de operaciones del sistema

Propriedades da arquitetura de um data warehouse

As seguintes propriedades são essenciais para a arquitetura de um data warehouse:

• Separação– O processo analítico e transacional deve permanecer o mais separado possível.

• Escalabilidade: a arquitetura de um data warehouse, tanto hardware quanto software, deve ser fácil de atualizar à medida que cresce o volume de dados que precisam ser geridos e processados, bem como a quantidade de requisitos de utilizador que precisam ser satisfeitos.

• Extensibilidade: A arquitetura deve ser capaz de se adaptar a novas aplicações e tecnologias sem necessidade de rever todo o sistema.

• Segurança: Monitorizar o acesso é essencial devido aos dados estratégicos que são armazenados no data warehouse.

• Administrabilidade: a administração do armazém de dados não deveria ser excessivamente difícil.

Camadas de toda a arquitetura de armazenamento de dados

Vejamos cada uma das camadas da arquitectura de um datawarehouse abaixo:

• Camada de Fonte de dadosUMA "Fonte de dados" refere-se a qualquer lugar ou meio onde as informações podem ser obtidas. Essas fontes podem ser primárias e, como levantamentos e experimentos, como secundário, como bancos de dados, Artigos acadêmicos ou relatórios estatísticos. A escolha certa de uma fonte de dados é crucial para garantir a validade e confiabilidade das informações em pesquisa e análise....: Representa as diferentes fontes de dados que alimentam o armazém de dados. A fonte de dados pode estar em qualquer formato: ficheiro de texto simples, base de dados relacional, outros tipos de bases de dados, ficheiro Excel, etc. Todos estes podem atuar como fonte de dados. Ao mesmo tempo, os tipos de dados podem ser muito variados:

• Dados operacionaiscomo dados de vendas, dados de recursos humanos, dados de produtos, dados de inventário, dados de marketing e dados de sistemas.
• Registos de um servidor web, com dados de navegação do utilizador.
• Dados de estudos de mercado internos.
• Dados de terceiros, como dados de censos, dados demográficos ou dados de inquéritos.
• Capa de extracción de datos: Os dados são extraídos das fontes de dados e levados para o sistema de armazenamento de dados. É provável que alguns dados mínimos sejam limpos nesta camada, mas não se espera uma transformação de dados significativa.

• Área de teste: aqui é onde os dados são purificados e transformados num datamart e data warehouse. Ter uma área comum facilita o procedimento e a posterior integração dos dados.

• Camada ETL: Aqui é onde os dados obtêm a sua inteligência quando se aplica a lógica para transformar os dados de uma natureza transaccional para uma natureza analítica. Esta camada é também onde os dados são limpos. La etapa de diseño de ETL es a menudo la etapa que necesita más tiempo de un proyecto de almacén de datos y una herramienta ETL se utiliza comúnmente en esta capa.

• Capa de almacenamiento de datos: Aquí es donde se colocan los datos transformados limpios. Según el alcance y la funcionalidad, se pueden hallar três tipos de entidades: Armazem de dados, despensa de datos y almacén de datos operativos (ODS). En qualquer sistema, puede hallar solo uno de los 3, 2 dos 3 o los tres tipos juntos.

• Capa de datos lógicos: Aquí es donde se almacenan las reglas comerciales. Estas reglas comerciales no impactan las reglas de transformation de datos, pero sí impactan lo que pode ver más adelante en los informes.

• Capa de presentación de datos: Se refere a la data que llega a los usuarios. Esto puede ser en forma de un reporte tabular o gráfico por medio de un navegador, un reporte enviado por email que se genera automáticamente y se envía a diario, una alerta que advierte a los utilizadores de las exceções, etc. Em geral, en esta capa una herramienta OLAP y una herramienta de informes son usados.

• Capa de metadatos: Aquí es donde se almacena la información sobre los datos almacenados en el almacén de datos. Un modelo de datos lógicos seria um exemplo de algo que se encuentra en esta capa de metadatos. A menudo se utiliza una herramienta de metadatos para administrar metadatos.

• Capa de operaciones del sistema: Esta capa incluye información acerca de cómo está a funcionando el sistema de almacenamiento de datos, cuál es el estado de funcionamiento de ETL, qual é o desempenho do sistema e o histórico de acesso dos utilizadores.