Proporcionar estrutura de datos a Big Data para mejorar su rendimiento

Los productos OLAP-on-Hadoop llevan la estructura de datos a big data, otimizando tanto el rendimiento como la escalabilidad, permitiendo a los usuarios consultar y analizar grandes volúmenes de información a la velocidad del pensamiento.

OLAP parece la antítesis de big data, ya que recuerda los enfoques de la vieja escuela para la gestión y el análisis de datos. Mas Algunas técnicas de macrodatos solo pueden tener éxito si todos los miembros de una organización pueden beneficiarse de ellas..

Hay quienes prefieren escribir Java o SQL contra datos sin procesar de Hadoop, y quienes prefieren ejecutar sentencias SQL en Hadoop. Pero yola mayoría prefiere acceder a una estructura de datos diseñada y construida de antemano por un arquiteto de datos.

OLAP en Hadoop

Es un subconjunto de herramientas analíticas que parecen revivir el antiguo concepto de procesamiento analítico en línea (OLAP) adaptándolo para Big Data. Estas herramientas logran niveles más altos de rendimiento y escalabilidad que otras soluciones..

Los productos llamados OLAP-on-Hadoop dimensionan los datos y los presentan en un formato amigable para las empresas. Con OLAP, los usuarios comerciales ven las métricas como dimensiones comunes. Por exemplo, los ejecutivos pueden examinar las ventas por producto, región y tiempo. Con un clic del mouse, pueden intercambiar métricas, agregar o filtrar dimensiones, girar eixos e explorar desde vistas resumidas do desempenho comercial até dados brutos. Em outras palavras, OLAP facilita aos utilizadores empresariais analisar os dados apresentados da forma como veem o negócio.

Para dimensionar os dados, Os produtos OLAP-on-Hadoop requerem que os designers modelem os dados para analisar, combinar, integrar, limpar e validar, antes de os utilizadores os consultarem. A maioria dos produtos OLAP em Hadoop não apenas modela previamente os dados, mas também os materializa. Crie novas estruturas de dados agregados que são carregadas na memória ou em bases de dados com colunas de alto desempenho.. Este é um esquema de escrita, que, se ouvir a comunidade de big data, já não está na moda, mas certamente é útil para consultar big data.

Optimización de la escalabilidad y el rendimiento

Modelando, calculando y almacenando agregados dimensionales por adelantado, Los productos OLAP-on-Hadoop logran escalabilidad y rendimiento en un entorno de big data. Resuelven el problema de escalabilidad al mantener los datos en Hadoop donde el almacenamiento es barato, lo que le permite Genere cubos dimensionales enormes con terabytes o más de datos. Y resuelven el problema de rendimiento mediante la agregación previa de datos en el almacenamiento en caché de datos de alta velocidad, proporcionando análisis de la velocidad del pensamiento frente a big data.

Muchas empresas recurren a los productos OLAP-on-Hadoop una vez que descubren que otros enfoques para el análisis de big data no funcionan.. Muchos quieren usar Hadoop para reemplazar un almacén de datos, pero rápidamente descubren que las herramientas simplemente no responden al crear un tablero con una lista de selección con 480 mil millones de filas de datos.

Disección de productos OLAP-on-Hadoop

Hay una división en la comunidad OLAP-on-Hadoop sobre la mejor manera de dimensionar los datos en Hadoop:

• Cubos físicos. La mayoría de los productos utilizan Enfoque MOLAP donde crean una estructura de datos dimensional físicamente distinta (o cubo) dentro de Hadoop. Una vez que se crea el cubo, el rendimiento es consistentemente rápido. Pero yoLa desventaja es que puede llevar horas calcular el cubo y las consultas solo se ejecutan en el cubo, no en los datos sin procesar que componen el cubo., lo que significa que los usuarios no obtienen los datos más atualizados posibles.

• Cubos virtuales. Otros productos crean cubos virtuales contra los datos sin procesar, que es más como un Enfoque ROLAP. Está proporciona a los usuarios acceso a datos en tiempo real y evita el costo inicial de construir cubos. Pero potencialmente perjudica el rendimiento de las consultas a medida que crea vistas dimensionales sobre la marcha.

Además de los enfoques arquitetónicos, Los productos OLAP-on-Hadoop se diferencian de otras formas. Algunos tienen sus propias herramientas de visualización, outros não, o dan a los clientes la opción de utilizar una herramienta de terceros. Algunos materializan cubos en la memoria, mientras que otros almacenan agregados en una estructura de datos basada en disco.. Algunos almacenan cubos en formatos propietarios, mientras que otros usan formatos de código abierto. Algunos tienen sus propios repositorios de metadatos y motores de análisis, mientras que otros utilizan herramientas de código abierto.