The sistema de procesamiento de datos por Hadoop es un sistema que posibilita el procesamiento distribuido de big data por medio de clústeres de servidores usando modelos de programación simples. Está diseñado para escalar desde servidores individuales a cientos de máquinas, cada una de las cuales ofrece computación y almacenamiento local.
Photo credits: ktsimage
En lugar de depender del hardware para ofrecer alta disponibilidad, El propio sistema de procesamiento de datos de Hadoop está diseñado para detectar y manejar fallas en la capa de aplicación., por lo que ofrece un servicio de alta disponibilidad en un grupo de servidores, cada uno de los cuales puede ser propenso a fallar.
Therefore, Es un sistema de procesamiento de datos diseñado para ser robusto, en el que el procesamiento de Big Data continuará funcionando inclusive cuando fallan servidores o clústeres individuales. Y además está diseñado para ser eficiente, dado que no necesita que sus aplicaciones transporten grandes volúmenes de datos por medio de su red.
Cómo funciona exactamente el sistema de procesamiento de datos distribuido de Hadoop
A medida que los bits de información ingresan al sistema de procesamiento de datos distribuidos de Hadoop, el camino que recorren es el siguiente:
- División de datos entrantes en segmentos.
- Distribución de los segmentos en diferentes nodos. que admiten el procesamiento en paralelo.
- Replicación de cada segmento en múltiples nodos de datos de modo que dos copias se alojen en nodos en el mismo bastidor y se envíe una adicional a un nodo en un bastidor distinto.
- Agrupar los nodos en clústeres HDFS.
And what is more, Uno de los beneficios del sistema de procesamiento de datos distribuidos de Hadoop es que la replicación que tiene lugar protege la información contra muchos tipos de fallas. A) Yes, si un nodo tuviera problemas y no permitiera el acceso a los datos contenidos en sus segmentos, el procesamiento no se detendría, dado que los nodos de cualquier otro rack podrían seguir utilizándose.
Despite this, no olvide que aún puede haber algunos inconvenientes. La tolerancia a fallos del sistema de procesamiento de datos cuenta con una excepción., Y yo sé necesita un NameNode único y está ubicado en un solo servidorTherefore, en caso de que se produzca una falla que lo afecte, todo el sistema de archivos quedaría inaccesible.
Se podría decir que el sistema estaría cerrado, at least, hasta que se pudiera reiniciar el servidor gracias a los datos que guarda un NameNode secundario cada vez que realiza una copia de seguridad periódica del principal. Algo que, in no case, serviría para mantener las operaciones en marcha.
Finally, queda citar un componente importante en el sistema de procesamiento de datos distribuidos de Hadoop: MapReduce. Exactamente MapR Technologies anunció recientemente un sistema de archivos compatible con Hadoop y que, entre sus principales características, Tiene un NameNode distribuido que elimina el único punto de falla presente en HDFS.
Despite this, la función por la que se conoce a MapReduce es su función en la administración del procesamiento de datos distribuidos. Su funcionamiento posibilita enviar trabajos a un JobTracker capaz de adjudicar una tarea a un nodo TaskTracker gracias a su conocimiento de la ubicación de cada segmento de datos.
Therefore, El sistema de procesamiento de datos de Hadoop posibilita multiplicar la eficiencia de los procesos Gracias a su naturaleza distribuida, posibilita un trabajo más ágil, en menos tiempo, con un riesgo mínimo y fácilmente escalable.
