Bieten Sie Big Data eine Datenstruktur, um die Leistung zu verbessern

OLAP-on-Hadoop-Produkte bringen Datenstruktur in Big Data, Optimierung von Leistung und Skalierbarkeit, Benutzer können große Informationsmengen in Gedankengeschwindigkeit abfragen und analysieren.

OLAP scheint das Gegenteil von Big Data zu sein, wie es an Old-School-Ansätze für Datenmanagement und -analyse erinnert. Aber Einige Big-Data-Techniken können nur erfolgreich sein, wenn jeder in einer Organisation davon profitieren kann..

Einige bevorzugen es, Java oder SQL gegen Hadoop-Rohdaten zu schreiben, und diejenigen, die es vorziehen, SQL-Anweisungen in Hadoop auszuführen. Aber ichdie meisten ziehen es vor, auf eine Datenstruktur zuzugreifen, die im Voraus von einem Datenarchitekten entworfen und erstellt wurde.

OLAP und Hadoop

Es handelt sich um eine Teilmenge von Analysewerkzeugen, die das alte Konzept der Online-Analyseverarbeitung wieder aufleben lassen. (OLAP) Anpassung für Big Data. Diese Tools erreichen ein höheres Maß an Leistung und Skalierbarkeit als andere Lösungen..

Produkte namens OLAP-on-Hadoop skalieren Daten und präsentieren sie in einem geschäftsfreundlichen Format. Mit OLAP, Geschäftsanwender sehen Metriken als gängige Dimensionen an. Zum Beispiel, Führungskräfte können Verkäufe nach Produkt untersuchen, Region und Zeit. Mit einem Mausklick, kann Metriken austauschen, Dimensionen hinzufügen oder filtern, Pivot-Achsen und erkunden Sie von zusammenfassenden Ansichten der Geschäftsleistung bis hin zu Rohdaten. Mit anderen Worten, OLAP macht es Geschäftsanwendern leicht, Daten zu analysieren, die so präsentiert werden, wie sie das Geschäft sehen.

Um die Daten zu skalieren, Bei OLAP-on-Hadoop-Produkten müssen Designer Daten modellieren, um sie zu analysieren, Spiel, integrieren, reinigen und validieren, bevor Benutzer es konsultieren. Die meisten OLAP-Produkte auf Hadoop modellieren nicht nur Daten, aber sie materialisieren sie. Erstellen Sie neue aggregierte Datenstrukturen, die in den Arbeitsspeicher oder in hochleistungsfähige Spaltendatenbanken geladen werden.. Dies ist ein Schreibschema, Was ist, wenn Sie auf die Big-Data-Community hören?, es ist nicht mehr in Mode, aber sicherlich nützlich für die Abfrage von Big Data.

Skalierbarkeit und Leistung optimieren

Modellieren, Berechnen und Speichern von Dimensionsaggregaten im Voraus, OLAP-on-Hadoop-Produkte erreichen Skalierbarkeit und Leistung in einer Big-Data-Umgebung. Sie lösen das Problem von Skalierbarkeit, indem Daten auf Hadoop gespeichert werden, wo Speicherplatz günstig ist, was erlaubt dir Generieren Sie riesige dimensionale Würfel mit Terabyte oder mehr Daten. Und sie lösen das Problem von Leistung durch Voraggregieren von Daten in Hochgeschwindigkeits-Daten-Caching, Bereitstellung einer Analyse der Denkgeschwindigkeit im Vergleich zu Big Data.

Viele Unternehmen wenden sich OLAP-on-Hadoop-Produkten zu, wenn sie feststellen, dass andere Ansätze zur Big-Data-Analyse nicht funktionieren... Viele möchten Hadoop verwenden, um ein Data Warehouse zu ersetzen, aber sie stellen schnell fest, dass die Tools einfach nicht reagieren, wenn sie ein Board mit einer Auswahlliste mit erstellen 480 Milliarden Datenzeilen.

OLAP-on-Hadoop-Produktzerlegung

Es gibt eine Spaltung in der OLAP-on-Hadoop-Community über die beste Methode zur Größenbestimmung von Daten in Hadoop:

• Physische Würfel. Die meisten Produkte verwenden MOLAP-Ansatz, bei dem sie eine physikalisch unterschiedliche dimensionale Datenstruktur erstellen (oder Würfel) Innerhalb Hadoop. Sobald der Würfel erstellt ist, Leistung ist konstant schnell. Aber ichDer Nachteil ist, dass die Berechnung des Würfels Stunden dauern kann und die Abfragen nur auf dem Würfel ausgeführt werden, nicht in den Rohdaten, aus denen der Würfel besteht., Das bedeutet, dass die Benutzer nicht die aktuellsten Daten erhalten.

• Virtuelle Würfel. Andere Produkte erstellen virtuelle Würfel anhand von Rohdaten, was ist eher a ROLAP-Ansatz. Dies bietet Benutzern Zugriff auf Echtzeitdaten und vermeidet die anfänglichen Kosten für den Bau von Cubes. Aber möglicherweise beeinträchtigt die Abfrageleistung, wenn Sie dimensionale Ansichten im laufenden Betrieb erstellen.

Neben architektonischen Ansätzen, OLAP-on-Hadoop-Produkte unterscheiden sich in anderer Hinsicht. Einige haben ihre eigenen Visualisierungstools, andere nicht, oder Kunden die Möglichkeit geben, ein Drittanbieter-Tool zu verwenden. Einige materialisieren Würfel im Gedächtnis, während andere Aggregate in einer festplattenbasierten Datenstruktur speichern.. Einige speichern Cubes in proprietären Formaten, während andere Open-Source-Formate verwenden. Einige haben ihre eigenen Metadaten-Repositorys und Analyse-Engines, während andere Open-Source-Tools verwenden.