Afin de réduire la latence des traitements de big data et d'apporter une série d'améliorations, Fondation logicielle Apache (ASF) a annoncé la disponibilité de la première version de Spark, un logiciel d'analyse open source qui accélère exécution de la tâche analyse en temps réel à propos de la plateforme de traitement de données Hadoop.
Connu comme « le couteau suisse Hadoop », comment fonctionne ce nouvel outil enrichit l'écosystème de este modelo de computación distribuida que ofrece una alternativa interesante a CarteRéduireMapReduce est un modèle de programmation conçu pour traiter et générer efficacement de grands ensembles de données. Propulsé par Google, Cette approche décompose le travail en tâches plus petites, qui sont répartis entre plusieurs nœuds d’un cluster. Chaque nœud traite sa partie, puis les résultats sont combinés. Cette méthode vous permet de faire évoluer les applications et de gérer d’énormes volumes d’informations, fondamental dans le monde du Big Data..... Leur remplacement signifie des avantages en permettant une analyse en temps réel sur les clusters Hadoop et multiplier la vitesse par 100 en mémoire par rapport à MapReduce et jusqu'à 10 plus de fois sur disque.
Au lieu d'exécuter les tâches en mode batch, rendant impossible l'analyse en temps réel entre les clusters, Étincelle fonctionne en micro-lots intervalles de cinq secondes ou moins, qui offre également plus de stabilité que d'autres outils de traitement en temps réel.
Analyse en temps réel et facilité d'utilisation
Avec cette version 1.0 l'étincelle, Apache offre une interface de programmation d'applications stable sous licence Apache 2.0, comme tous les logiciels qui ont émergé de l'activité fiévreuse de l'incubateur de la fondation. davantage, Databriks le distribue dans sa version commerciale.
Pour sa compatibilité, les développeurs peuvent également l'utiliser pour saisir du code MapReduce dans leurs propres applications, ainsi que de créer d'autres écrits en Java, Scala ou Python, trois des langues les plus fréquentes.
Être capable d'analyser conjointement des données structurées avec d'autres données non structurées dans la même opération d'analyse et permettre leur utilisation dans petites et grandes équipes o Les CPD sont une autre des fonctionnalités les plus remarquables de cette version.
Además de ser compatible con las fuentes de datos del sistema de archivos HDFSHDFS, o Système de fichiers distribués Hadoop, Il s’agit d’une infrastructure clé pour stocker de gros volumes de données. Conçu pour fonctionner sur du matériel commun, HDFS permet la distribution des données sur plusieurs nœuds, Garantir une disponibilité élevée et une tolérance aux pannes. Son architecture est basée sur un modèle maître-esclave, où un nœud maître gère le système et les nœuds esclaves stockent les données, faciliter le traitement efficace de l’information.. (Hadoop’s Distributed File System), es compatible con algunos de sus componentes como FILYARN est un gestionnaire de paquets pour JavaScript qui permet l'installation et la gestion efficace des dépendances dans les projets de développement. Développé par Facebook, Il se caractérise par sa rapidité et sa sécurité par rapport à d'autres gestionnaires. YARN utilise un système de cache pour optimiser les installations et fournit un fichier de verrouillage pour garantir la cohérence des versions des dépendances dans différents environnements de développement.... (Pourtant, Anoter Resource Netotiator) o con la base de donnéesUne base de données est un ensemble organisé d’informations qui vous permet de stocker, Gérez et récupérez efficacement les données. Utilisé dans diverses applications, Des systèmes d’entreprise aux plateformes en ligne, Les bases de données peuvent être relationnelles ou non relationnelles. Une bonne conception est essentielle pour optimiser les performances et garantir l’intégrité de l’information, facilitant ainsi la prise de décision éclairée dans différents contextes.... distribuée HBaseHBase est une base de données NoSQL conçue pour gérer de grands volumes de données distribuées dans des clusters. Basée sur le modèle en colonnes, permet un accès rapide et évolutif à l'information. HBase s'intègre facilement avec Hadoop, ce qui en fait une option populaire pour les applications nécessitant le stockage et le traitement de grandes quantités de données. Sa flexibilité et sa capacité de croissance la rendent idéale pour les projets de big data...., l'une des bases de données Hadoop. .
A une utilisation orientée vers l'analyse permanente des données en temps réel s'ajoutent d'autres fonctionnalités qui gravitent autour de sa bibliothèque logicielle, entre autres traitements graphiques ou calculs approfondis impliquant l'apprentissage automatique, ainsi que des requêtes de données interactives.
Le laboratoire AMP (Algorithmes, Machines et personnes) Berkeley a initié la création de Spark, et en juin 2013, il y a un an, les La communauté ASF a adopté le projet pour vous donner le maximum de boost. Actuellement, Spark est utilisé dans des entreprises du monde entier, comme IBM, Cloudera Intel ou Pivotal ont déjà intégré Spark dans leurs distributions Hadoop, il y a donc de fortes attentes que ce nouveau logiciel jouera un rôle important dans le traitement des données Big Data..
Créé en 1999, La Fondation supervise des dizaines de projets open source et a contribué à des milliers de solutions logicielles distribuées sous licence Apache., y compris le célèbre framework de serveur HTTP Apache, le système de traitement de données distribué le plus populaire au monde.
Article similaire:
Source de l'image: renjith krishnan / FreeDigitalPhotos.net
(une fonction(ré, s, identifiant) {
var js, fjs = d.getElementsByTagName(s)[0];
si (d.getElementById(identifiant)) revenir;
js = d.createElement(s); js.id = identifiant;
js.src = « //connect.facebook.net/es_ES/all.js#xfbml=1&état=0 »;
fjs.parentNode.insertAvant(js, fjs);
}(document, ‘script’, ‘facebook-jssdk’));
