En junio de 2013, había estado usando QlikView durante aproximadamente un año. Durante esos días, estaba trabajando en un proyecto de QlikView en el que tenía que mostrar el número de ventas en varios canales durante varios períodos (a modo de ejemplo, diario, mensual, anual) y en comparación con el año pasado.
Tenía dos tablas transaccionales, tres tablas de mapeo (disponibles en Excel). Había completado este proyecto con éxito dentro de un plazo definido. A pesar de esto, hubo 2 problemas con el modelo que utilicé:
- Siempre que había algún cambio en cualquiera de los archivos de mapeo, tenía que repetir el procedimiento de recarga que involucraba no solo recargar el Excel, sino además recargar toda la tabla de transacciones. Si hubiera algún problema con la red o la base de datosUna base de datos es un conjunto organizado de información que permite almacenar, gestionar y recuperar datos de manera eficiente. Utilizadas en diversas aplicaciones, desde sistemas empresariales hasta plataformas en línea, las bases de datos pueden ser relacionales o no relacionales. Su diseño adecuado es fundamental para optimizar el rendimiento y garantizar la integridad de la información, facilitando así la toma de decisiones informadas en diferentes contextos...., la recarga fallaría.
- Cuando solía informar el número de ventas diarias, recargaba tablas completas a diario, mientras que los datos hasta ayer ya estaban conmigo. Fue un procedimiento demasiado lento.
Fuente de la imagen: qlik.com
Esto es cuando el uso de un archivo QVD (QlikView Data) hizo una gran diferencia. Puede pensar en estos archivos QVD como una capa intermedia, de modo que sus consultas de front-end no se ejecuten de forma directa en las bases de datos. La creación de estos QVD se puede realizar durante las horas de menor actividad (menos carga de red y base de datos). Los QVD además son esenciales para cargar solo los datos incrementales (dicho de otra forma, registros adicionales o modificados).
¿Qué es un archivo QVD?
QVD es un formato QlikView y solo se puede escribir y leer en QlikView. Un solo archivo QVD puede almacenar una sola tabla y se crea en el script de carga en un archivo QVW.
Un archivo QVD consta de tres partes:
- Encabezado XML para describir los campos de la tabla, el diseño de la información posterior y otros metadatos.
- Tablas de símbolos en formato relleno de bytes.
- Datos de la tabla real en un formato de relleno de bits.
Ventajas de utilizar QVD:
Los archivos QVD ofrecen muchas ventajas a sus aplicaciones QlikView, incluidas las siguientes:
- Tiempo de carga más rápido: La lectura de datos de QVD es de 10 a 100 veces más rápida que otras fuentes, dicho de otra forma, reduce el tiempo de carga. Debido a que la creación de QVD utiliza los mismos algoritmos que utiliza QlikView para guardar datos en la memoria, el resultado de esa carga desde QVD es más rápido, en comparación con otros formatos.
- Menos carga en bases de datos y redes: Una vez que los datos se exportan en QVD, no es necesario que vuelva a conectarse con una base de datos externa. Reduce la carga de trabajo en bases de datos y redes externas. Al mismo tiempo, cuando varios scripts QlikView comparten los mismos datos, solo es necesario cargarlos una vez desde la base de datos de origen. Las otras aplicaciones además pueden usar los mismos datos por medio de un archivo QVD.
- Cargas incrementales de QVD: La carga incremental (cargando solo detalles nuevos / modificados de una base de datos) se puede realizar solo usando QVD. Reduce significativamente el tiempo de carga en comparación con la carga completa.
- Consolidar datos de múltiples fuentes de datos y bases de datos: Los QVD multicapa se usan para crear un modelo robusto, cuando los datos se obtienen de varias fuentes de datos.
¿Cómo crear un QVD?
Los QVD se crean con mayor frecuencia durante la ejecución del script de carga de QlikView usando el comando STORE:
Sintaxis: ALMACENAR
Es una buena práctica tener una aplicación separada para crear archivos QVD. Esta capa se utiliza para manejar toda la interacción con las bases de datos de origen. Y el resultado de esta interacción se puede volver a cargar rápidamente desde archivos QVD.
Cargas incrementales: Como se mencionó previamente, las cargas incrementales se definen como cargar solo registros nuevos o actualizados de la base de datos en un QVD establecido. Las cargas incrementales son útiles debido a que se ejecutan mucho más rápido que las cargas completas, concretamente para grandes conjuntos de datos de bases de datos. (Lo discutiremos en detalle en el próximo post)
¿Cómo cargar datos desde QVD?
Para leer datos de QVD, necesitamos escribir una declaración LOAD (equivalente al comando para cargar un archivo CSV o Excel).
Syntax:
TableName: LOAD FieldList FROM <PathFileName.qvd (qvd) >;
Los archivos QVD se pueden leer en dos modos, estándar (rápido) y superrápido. El modo seleccionado lo determina automáticamente el motor de script QlikView. El modo ultrarrápido se puede usar solo cuando todos los campos o un subconjunto de ellos deben leerse sin ninguna manipulación (a modo de ejemplo, generación de campos basada en fórmulas), aún cuando se posibilita el cambio de nombre de los campos.
Notas finales:
La administración de QVD es una de las partes más importantes en cualquier proyecto de aplicación QlikView. Puede usarse para proporcionar una capa de datos lógica y, por eso, puede actuar como un almacén de datos en ausencia de una (uno de los grandes beneficios de Qlikview en comparación con otras herramientas de BI en el mercado).
La creación de QVD ayuda a reducir la carga de la red y la base de datos. Una vez que se genera un QVD base, se puede ejecutar un script de carga incremental para cargar solo los registros nuevos o modificados en el QVD. La carga incremental además elimina los registros eliminados. Como consecuencia de esto, su aplicación consume menos espacio y necesita menos tiempo de carga.
Si ha utilizado QVD en el pasado para crear modelos de datos de varios niveles o planea utilizar uno en su aplicación ahora, no dude en compartir su experiencia conmigo por medio de los comentarios a continuación.
