Fornire una struttura dei dati a Big Data per migliorarne le prestazioni

Los productos OLAP-on-Hadoop llevan la estructura de datos a big data, optimizando tanto el rendimiento como la escalabilidad, permitiendo a los usuarios consultar y analizar grandes volúmenes de información a la velocidad del pensamiento.

OLAP parece la antítesis de big data, ya que recuerda los enfoques de la vieja escuela para la gestión y el análisis de datos. Ma Algunas techniques de macrodatos solo pueden tener éxito si todos los miembros de una organización pueden beneficiarse de ellas..

Hay quienes prefieren escribir Java o SQL contra datos sin procesar de Hadoop, y quienes prefieren ejecutar sentencias SQL en Hadoop. Pero yola mayoría prefiere acceder a una estructura de datos diseñada y construida de antemano por un arquitecto de datos.

OLAP en Hadoop

Es un subconjunto de herramientas analíticas que parecen revivere el antiguo concepto de procesamiento analítico en línea (OLAP) adaptándolo para Big Data. Estas herramientas logran livelli más altos de rendimiento y escalabilidad que otras soluciones..

Los productos llamados OLAP-on-Hadoop dimensionan los datos y los presentan en un formato amigable para las empresas. Con OLAP, los usuarios comerciales ven las métricas como dimensiones comunes. Ad esempio, los ejecutivos pueden examinar las ventas por producto, región y tiempo. Con un clic del mouse, pueden intercambiare metriche, agregar o filtrar dimensiones, pivotar ejes y explorar desde vistas resumidas del desempeño comercial hasta datos sin procesar. In altre parole, OLAP facilita a los usuarios empresariales analizar los datos presentados de la forma en que ven el negocio.

Para dimensionar los datos, Los productos OLAP-on-Hadoop requieren que los diseñadores modelen datos para analizar, combinare, per integrare, limpiar y validar, antes de que los usuarios lo consulten. La mayoría de los productos OLAP en Hadoop no solo modelan previamente los datos, sino que los materializan. Cree nuevas estructuras de datos aggregados que se cargan en la memoria o en bases de datos en columnas de alto rendimiento.. Este es un esquema de escritura, que si escucha a la comunidad de big data, ya no está de moda, pero ciertamente es útil para consultar big data.

Ottimizzazione della scalabilità e delle prestazioni

Modellare, calcolare e memorizzare in anticipo gli aggregati dimensionali, I prodotti OLAP-on-Hadoop raggiungono scalabilità e prestazioni in un ambiente di big data. Risolvono il problema di scalabilità mantenendo i dati in Hadoop dove lo storage è economico, il che permette di Generare enormi cubi dimensionali con terabyte o più di dati. E risolvono il problema di prestazioni tramite l'aggregazione preventiva dei dati nella cache ad alta velocità, fornendo analisi alla velocità del pensiero sui big data.

Molte aziende ricorrono ai prodotti OLAP-on-Hadoop una volta che scoprono che altri approcci all'analisi dei big data non funzionano.. Muchos quieren usar Hadoop para reemplazar un almacén de datos, pero rápidamente descubren que las herramientas simplemente no responden al crear un tablero con una lista de selección con 480 mil millones de filas de datos.

Disección de productos OLAP-on-Hadoop

Hay una división en la comunidad OLAP-on-Hadoop sobre la mejor manera de dimensionar los datos en Hadoop:

• Cubos físicos. La mayoría de los productos utilizan Enfoque MOLAP donde crean una estructura de datos dimensional físicamente distinta (o cubo) entro Hadoop. Una vez que se crea el cubo, el rendimiento es consistentemente rápido. Pero yoLa desventaja es que puede llevar horas calcular el cubo y las consultas solo se ejecutan en el cubo, no en los datos sin procesar que componen el cubo., il che significa che gli utenti non ottengono i dati più aggiornati possibili.

• Cubi virtuali. Altri prodotti creano cubi virtuali sui dati non elaborati, che è più simile a un Approccio ROLAP. Questo fornisce agli utenti l'accesso ai dati in tempo reale e evita il costo iniziale di costruzione dei cubi. Ma potenzialmente danneggia le prestazioni delle query man mano che crea viste dimensionali al volo.

Oltre agli approcci architettonici, I prodotti OLAP-on-Hadoop si differenziano da altre forme. Alcuni hanno propri strumenti di visualizzazione, altri no, o danno ai clienti la possibilità di utilizzare uno strumento di terze parti. Alcuni materializzano i cubi in memoria, mentre altri memorizzano aggregati in una struttura dati basata su disco.. Algunos almacenan cubos en formatos proprietarios, mientras otros usan formatos de código abierto. Algunos tienen sus propios repositorios de metadatos y motores de análisis, mientras otros utilizan herramientas de código abierto.