Las arquitecturas Hadoop son la base de un proyecto de software open source que admite aplicaciones distribuidas, diseñado para ser dependable (no data loss) y escalable, capaz de almacenar grandes cantidades de datos, por lo que es muy útil para afrontar los retos del Big Data. El almacenamiento interno compartido es sinónimo de Resultados satisfactorios a bajo costo.
Photo credits: Anna_leni
Apache Hadoop hace frente con éxito a las complejidades de alto volumen, speed and variety of data, lo que le posibilita cargar, analizar y almacenar petabytes de información a través del análisis por lotes y el procesamiento distribuido.
Para introducir la cuestión de almacenamiento interno compartido en arquitecturas Hadoop, tenemos que centrarnos en el núcleo o corazón de este marco diseñado para operar en la clave de Big Data. Su composición consta de:
- Una implementación Capa de mapa / disminución o procesamiento: Small map procesa grandes cantidades de información de una manera fácil de utilizar, Thanks to the almacenamiento interno compartido, muy fácil de utilizar, dado que la complejidad está oculta a los usuarios.
- A capa de almacenamiento HDFSHDFS, o Hadoop Distributed File System, It is a key infrastructure for storing large volumes of data. Designed to run on common hardware, HDFS enables data distribution across multiple nodes, ensuring high availability and fault tolerance. Its architecture is based on a master-slave model, where a master node manages the system and slave nodes store the data, facilitating the efficient processing of information.. (Sistema de archivos distribuidos de Hadoop): it's a Distributed File SystemA distributed file system (DFS) Allows storage and access to data on multiple servers, facilitating the management of large volumes of information. This type of system improves availability and redundancy, as files are replicated to different locations, reducing the risk of data loss. What's more, Allows users to access files from different platforms and devices, promoting collaboration and... escrito en Java creado por Doug Cutting, que constituye la capa de almacenamiento en un clusterA cluster is a set of interconnected companies and organizations that operate in the same sector or geographical area, and that collaborate to improve their competitiveness. These groupings allow for the sharing of resources, Knowledge and technologies, fostering innovation and economic growth. Clusters can span a variety of industries, from technology to agriculture, and are fundamental for regional development and job creation.... the Hadoop.
Almacenamiento interno compartido, transparente para el usuario
El modelo de programación paralela de datos Map / Reduce está, indeed, diseñado de tal manera que la complejidad de la distribución and fault tolerance permanecer oculto. Este procedimiento en paralelo que no vemos, transparente con Hadoop, le da al sistema una gran accesibilidad y facilidad de uso.
La tecnología de procesamiento paralelo que Map / Reduce sigue la máxima del “divide y conquistaras”. Su lógica de procesamiento se despliega en las funciones del mapa y se reduce. On one side, mapea el problema en partes más pequeñas, dividiendo los datos entre los nodos, con lo que cada máquina procesa su parte y, for another, la etapa Reducir suma los valores parciales de cada clave para obtener el resultado final. .
Photo credits: anankkml / FreeDigitalPhotos.net
A) And, todas las máquinas procesan la información simultáneamente, por medio de la tecnología de procesamiento paralelo que se almacena en cada una de las computadoras en la etapa Mapa, hasta que el componente Reducir consolide el resultado, together with that other piece of data for which they also maintain provide reliability to the system.
With Hadoop, This entire procedure runs in parallel without the user's involvement, since they only need to worry about saving the file to the Hadoop cluster. Therefore, Thanks to procesamiento en paraleloParallel processing is a technique that allows multiple operations to be executed simultaneously, Breaking down complex tasks into smaller subtasks. This methodology optimizes the use of computational resources and reduces processing time, being especially useful in applications such as the analysis of large volumes of data, Simulations and graphic rendering. Su implementación se ha vuelto esencial en sistemas de alto rendimiento y en la computación moderna...., that shared internal storage that Hadoop automatically manages, it is possible to process large volumes of data more quickly.
Speed, fault tolerance (each machine processes a part and has information about another), Easy to use, its rich ecosystem and, of course, its low cost, have greatly expanded the use of Hadoop architectures, democratize big data processing to obtain valuable insights.
Do you enjoy the advantages of shared internal storage in your company?
Related Post:
(function(d, s, id) {
var js, fjs = d.getElementsByTagName(s)[0];
if (d.getElementById(id)) return;
js = d.createElement(s); js.id = id;
js.src = “//connect.facebook.net/es_ES/all.js#xfbml=1&status=0”;
fjs.parentNode.insertBefore(js, fjs);
}(document, ‘script’, 'facebook-jssdk'));
