Les produits OLAP-on-Hadoop apportent une structure de données au Big Data, optimisant à la fois les performances et l'évolutivité, permettant aux utilisateurs d'interroger et d'analyser de grands volumes d'informations à la vitesse de la pensée.
OLAP semble être l'antithèse du big data, car il rappelle les anciennes approches de la gestion et de l'analyse des données. Mais Certaines techniques de Big Data ne peuvent réussir que si tout le monde dans une organisation peut en bénéficier..
Certains préfèrent écrire Java ou SQL sur des données Hadoop brutes, et ceux qui préfèrent exécuter des instructions SQL dans Hadoop. Mais moila plupart préfèrent accéder à une structure de données conçue et construite à l'avance par un architecte de données.
OLAP et Hadoop
Il s'agit d'un sous-ensemble d'outils analytiques qui semblent raviver l'ancien concept de traitement analytique en ligne. (OLAP) l'adapter au Big Data. Ces outils atteignent des niveaux de performances et d'évolutivité plus élevés que les autres solutions..
Produits appelés données de taille OLAP-on-Hadoop et les présentent dans un format convivial. Avec OLAP, les utilisateurs métier voient les métriques comme des dimensions communes. Par exemple, les cadres peuvent examiner les ventes par produit, région et heure. D'un clic de souris, peut échanger des métriques, ajouter ou filtrer des dimensions, pivoter les axes et explorer des vues récapitulatives des performances de l'entreprise aux données brutes. En d'autres termes, OLAP permet aux utilisateurs professionnels d'analyser facilement les données présentées comme ils perçoivent l'entreprise.
Pour dimensionner les données, Les produits OLAP-on-Hadoop nécessitent que les concepteurs modélisent les données à analyser, correspondre, intégrer, nettoyer et valider, avant que les utilisateurs ne le consultent. La plupart des produits OLAP sur Hadoop ne se contentent pas de pré-modéliser des données, mais ils les matérialisent. Créez de nouvelles structures de données agrégées qui sont chargées en mémoire ou dans des bases de données en colonnes hautes performances.. Ceci est un schéma d'écriture, et si vous écoutiez la communauté big data, ce n'est plus à la mode, mais certainement utile pour interroger le big data.
Optimisation de l'évolutivité et des performances
La modélisation, calcul et stockage des agrégats dimensionnels à l'avance, Les produits OLAP-on-Hadoop offrent évolutivité et performances dans un environnement Big Data. Ils résolvent le problème de évolutivité en conservant les données sur Hadoop où le stockage est bon marché, ce qui te permet Générez d'énormes cubes dimensionnels avec des téraoctets ou plus de données. Et ils résolvent le problème de performances en pré-agrégeant les données dans une mise en cache de données à haute vitesse, fournir une analyse de la vitesse de la pensée par rapport aux mégadonnées.
De nombreuses entreprises se tournent vers les produits OLAP-on-Hadoop une fois qu'elles découvrent que les autres approches de l'analyse des mégadonnées ne fonctionnent pas... Beaucoup veulent utiliser Hadoop pour remplacer un entrepôt de données, mais ils constatent rapidement que les outils ne répondent tout simplement pas lors de la création d'un tableau avec une liste de sélection avec 480 milliards de lignes de données.
Dissection de produits OLAP-on-Hadoop
Il y a une scission dans la communauté OLAP-on-Hadoop sur la meilleure façon de dimensionner les données dans Hadoop:
- Cubes physiques. La plupart des produits utilisent Approche MOLAP où ils créent une structure de données dimensionnelle physiquement distincte (ou cube) Dans Hadoop. Une fois le cube créé, les performances sont toujours rapides. Mais moiL'inconvénient est que le calcul du cube peut prendre des heures et que les requêtes ne s'exécutent que sur le cube, pas dans les données brutes qui composent le cube., ce qui signifie que les utilisateurs n'obtiennent pas les données les plus à jour possibles.
- Cubes virtuels. D'autres produits créent des cubes virtuels contre des données brutes, qui ressemble plus à un Approche ROLAP. Ce fournit aux utilisateurs un accès aux données en temps réel et évite le coût initial de construction de cubes. Mais potentiellement nuit aux performances des requêtes lorsque vous créez des vues dimensionnelles à la volée.
En plus des approches architecturales, Les produits OLAP-on-Hadoop diffèrent d'autres manières. Certains ont leurs propres outils de visualisation, d'autres non, ou donner aux clients la possibilité d'utiliser un outil tiers. Certains matérialisent des cubes en mémoire, tandis que d'autres stockent des agrégats dans une structure de données sur disque.. Certains stockent des cubes dans des formats propriétaires, tandis que d'autres utilisent des formats open source. Certains ont leurs propres référentiels de métadonnées et moteurs d'analyse, tandis que d'autres utilisent des outils open source.
(une fonction(ré, s, identifiant) {
var js, fjs = d.getElementsByTagName(s)[0];
si (d.getElementById(identifiant)) revenir;
js = d.createElement(s); js.id = identifiant;
js.src = « //connect.facebook.net/es_ES/all.js#xfbml=1&état=0 »;
fjs.parentNode.insertAvant(js, fjs);
}(document, ‘script’, ‘facebook-jssdk’));
