Las arquitecturas Hadoop son la base de un proyecto de software open source que admite aplicaciones distribuidas, diseñado para ser sûr (sin pérdida de datos) y escalable, capaz de almacenar grandes cantidades de datos, por lo que es muy útil para afrontar los retos del Big Data. El almacenamiento interno compartido es sinónimo de Resultados satisfactorios a bajo costo.
Crédits photos: Anna_leni
Apache Hadoop hace frente con éxito a las complejidades de alto volumen, vitesse et variété des données, lo que le posibilita cargar, analizar y almacenar petabytes de información a través del análisis por lotes y el procesamiento distribuido.
Para introducir la cuestión de almacenamiento interno compartido en arquitecturas Hadoop, tenemos que centrarnos en el núcleo o corazón de este marco diseñado para operar en la clave de Big Data. Su composición consta de:
- Una implementación Capa de mapa / disminución o procesamiento: Petite carte procesa grandes cantidades de información de una manera fácil de utilizar, Grace à almacenamiento interno compartido, muy fácil de utilizar, dado que la complejidad está oculta a los usuarios.
- UNE capa de almacenamiento HDFSHDFS, o Système de fichiers distribués Hadoop, Il s’agit d’une infrastructure clé pour stocker de gros volumes de données. Conçu pour fonctionner sur du matériel commun, HDFS permet la distribution des données sur plusieurs nœuds, Garantir une disponibilité élevée et une tolérance aux pannes. Son architecture est basée sur un modèle maître-esclave, où un nœud maître gère le système et les nœuds esclaves stockent les données, faciliter le traitement efficace de l’information.. (Sistema de archivos distribuidos de Hadoop): c'est un système de fichiers distribuéUn système de fichiers distribué (DFS) permet le stockage et l'accès aux données sur plusieurs serveurs, facilitant la gestion de grands volumes d'informations. Ce type de système améliore la disponibilité et la redondance, car les fichiers sont répliqués à différents endroits, ce qui réduit le risque de perte de données. En outre, permet aux utilisateurs d'accéder aux fichiers depuis différentes plateformes et appareils, favorisant la collaboration et.... escrito en Java creado por Doug Cutting, que constituye la capa de almacenamiento en un grappeUn cluster est un ensemble d’entreprises et d’organisations interconnectées qui opèrent dans le même secteur ou la même zone géographique, et qui collaborent pour améliorer leur compétitivité. Ces regroupements permettent le partage des ressources, Connaissances et technologies, favoriser l’innovation et la croissance économique. Les grappes peuvent couvrir une variété d’industries, De la technologie à l’agriculture, et sont fondamentaux pour le développement régional et la création d’emplois.... le Hadoop.
Almacenamiento interno compartido, transparente para el usuario
El modelo de programación paralela de datos Map / Reduce está, en effet, diseñado de tal manera que la complejidad de la distribución et tolérance aux pannes permanecer oculto. Este procedimiento en paralelo que no vemos, transparente avec Hadoop, cela donne au système une grande accessibilité et facilité d'utilisation.
La technologie de traitement parallèle de Map / Reduce suit le principe du « diviser pour mieux régner ». Sa logique de traitement se déploie dans les fonctions de mappage et de réduction. D'une part, mappe le problème en parties plus petites, en divisant les données entre les nœuds, ce qui permet à chaque machine de traiter sa partie et, autre, l'étape Réduire additionne les valeurs partielles de chaque clé pour obtenir le résultat final. .
Crédits photos: anankkml / FreeDigitalPhotos.net
UNE) Et, toutes les machines traitent l'information simultanément, grâce à la technologie de traitement parallèle qui est stockée dans chaque ordinateur à l'étape Map, jusqu'à ce que le composant Réduire consolide le résultat, avec cette autre donnée pour laquelle ils conservent également fournir de la fiabilité au système.
Avec Hadoop, Toute cette procédure s'exécute en parallèle de manière transparente pour l'utilisateur, puisqu'il n'a qu'à se soucier d'enregistrer le fichier dans le cluster Hadoop. Pourtant, Grâce à traitement parallèleLe traitement parallèle est une technique qui permet d'exécuter plusieurs opérations simultanément, en divisant des tâches complexes en sous-tâches plus petites. Cette méthodologie optimise l'utilisation des ressources informatiques et réduit le temps de traitement, étant particulièrement utile dans des applications telles que l'analyse de grands volumes de données, les simulations et le rendu graphique. Sa mise en œuvre est devenue essentielle dans les systèmes à haute performance et dans l'informatique moderne...., à ce stockage interne partagé dont Hadoop s'occupe automatiquement, il est possible de traiter de grands volumes de données plus rapidement.
La vitesse, tolérance aux pannes (chaque machine traite une partie et possède des informations sur l'autre), Facile à utiliser, son riche écosystème et, depuis lors, son faible coût, ont considérablement élargi l'utilisation des architectures Hadoop, démocratiser le traitement du big data pour obtenir des informations précieuses.
Profitez-vous des avantages du stockage interne partagé dans votre entreprise ??
Article similaire:
(une fonction(ré, s, identifiant) {
var js, fjs = d.getElementsByTagName(s)[0];
si (d.getElementById(identifiant)) revenir;
js = d.createElement(s); js.id = identifiant;
js.src = « //connect.facebook.net/es_ES/all.js#xfbml=1&état=0 »;
fjs.parentNode.insertAvant(js, fjs);
}(document, ‘script’, ‘facebook-jssdk’));
