Em junho 2013, estava usando o QlikView por cerca de um ano. Durante aqueles dias, Eu estava trabalhando em um projeto QlikView onde tive que mostrar o número de vendas em vários canais em vários períodos (como um exemplo, Diário, por mês, anual) e comparado ao ano passado.
Eu tinha duas tabelas transacionais, três tabelas de mapeamento (disponível em Excel). Concluí este projeto com sucesso dentro de um prazo definido. Apesar disto, houve 2 problemas com o modelo que usei:
- Sempre que houver qualquer alteração em qualquer um dos arquivos de mapeamento, Tive que repetir o procedimento de recarregamento que envolvia não apenas recarregar o Excel, mas também recarrega toda a tabela de transações. Se houver um problema com a rede ou o banco de dados, a recarga iria falhar.
- Quando costumava relatar o número de vendas diárias, pensão completa recarregada diariamente, enquanto os dados até ontem já estavam comigo. Era um procedimento muito lento.
Fonte da imagem: qlik.com
Isso ocorre ao usar um arquivo QVD (Dados QlikView) fez uma grande diferença. Você pode pensar nesses arquivos QVD como uma camada intermediária, para que suas consultas front-end não sejam executadas diretamente nos bancos de dados. A criação desses QVDs pode ser feita fora do horário de pico (menos carga de rede e banco de dados). Os QVDs também são essenciais para carregar apenas os dados incrementais (Em outras palavras, registros adicionais ou modificados).
O que é um arquivo QVD?
QVD é um formato do QlikView e só pode ser escrito e lido no QlikView. Um único arquivo QVD pode armazenar uma única tabela e é criado no script de carregamento em um arquivo QVW.
Um arquivo QVD consiste em três partes:
- Cabeçalho XML para descrever os campos da tabela, o layout das informações subsequentes e outros metadados.
- Tabelas de símbolos em formato de byte.
- Dados reais da tabela em um formato preenchido com bits.
Vantagens de usar QVD:
Os arquivos QVD oferecem muitos benefícios aos seus aplicativos QlikView, incluindo o seguinte:
- Tempo de carregamento mais rápido: A leitura de dados QVD é 10 uma 100 vezes mais rápido do que outras fontes, Em outras palavras, reduzir o tempo de carregamento. Como a criação do QVD usa os mesmos algoritmos que o QlikView usa para armazenar dados na memória, o resultado dessa carga do QVD é mais rápido, em comparação com outros formatos.
- Menos carga em bancos de dados e redes: Uma vez que os dados são exportados no QVD, você não precisa se reconectar a um banco de dados externo. Reduz a carga de trabalho em bancos de dados e redes externas. Ao mesmo tempo, quando vários scripts QlikView compartilham os mesmos dados, só precisa carregar uma vez do banco de dados de origem. Os outros aplicativos também podem usar os mesmos dados por meio de um arquivo QVD.
- Uploads QVD incrementais: Carga incremental (carregando apenas novos detalhes / modificado de um banco de dados) pode ser feito apenas usando QVD. Reduz significativamente o tempo de carga em comparação com a carga completa.
- Consolide dados de várias fontes de dados e bancos de dados: QVDs multicamadas são usados para criar um modelo robusto, quando os dados são obtidos de várias fontes de dados.
Como criar um QVD?
Os QVDs são criados com mais frequência durante a execução do script de carregamento do QlikView usando o comando STORE:
Sintaxe: PARA ESTOQUE
É uma boa prática ter um aplicativo separado para criar arquivos QVD. Esta camada é usada para lidar com toda a interação com os bancos de dados de origem. E o resultado dessa interação pode ser recarregado rapidamente a partir de arquivos QVD.
Cargas incrementais: como dito anteriormente, cargas incrementais são definidas como carregar apenas registros novos ou atualizados do banco de dados em um QVD definido. Cargas incrementais são úteis porque funcionam muito mais rápido do que cargas completas, especificamente para grandes conjuntos de dados de banco de dados. (Vamos discutir isso em detalhes no próximo post)
Como carregar dados do QVD?
Para ler dados QVD, precisamos escrever uma declaração LOAD (equivalente ao comando para carregar um arquivo CSV ou Excel).
Sintaxe:
Nome da tabela:
LOAD
FieldList
FROM <PathFileName.qvd (qvd) >;
Arquivos QVD podem ser lidos em dois modos, padrão (Rápido) e super-rápido. O modo selecionado é automaticamente determinado pelo motor de script QlikView. O modo ultrarrápido pode ser usado apenas quando todos os campos ou um subconjunto deles precisam ser lidos sem qualquer manipulação (como um exemplo, geração de campo baseado em fórmula), mesmo quando renomear os campos é possível.
Notas finais:
A administração do QVD é uma das partes mais importantes de qualquer projeto de aplicativo QlikView. Ele pode ser usado para fornecer uma camada de dados lógicos e, por isso, pode atuar como um data warehouse na ausência de um (um dos grandes benefícios do Qlikview em comparação com outras ferramentas de BI no mercado).
A criação do QVD ajuda a reduzir a carga da rede e do banco de dados. Uma vez que um QVD de base é gerado, um script de carregamento incremental pode ser executado para carregar apenas os registros novos ou modificados no QVD. O carregamento incremental também remove os registros excluídos. Como resultado disso, seu aplicativo consome menos espaço e requer menos tempo de carregamento.
Se você usou o QVD no passado para criar modelos de dados de vários níveis ou planeja usar um em seu aplicativo agora, sinta-se à vontade para compartilhar sua experiência comigo nos comentários abaixo..
