La arquitectura de Hadoop basada en el sistema de archivos distribuido que utiliza el nodo maestro y múltiples nodos esclavos (maestro / esclavo) es claramente ventajosa para procesar grandes cantidades de datos. Gracias a su estructura distribuida HDFS (Hadoop Data File System) es capaz de almacenarlos y tratarlos de manera eficiente, pudiendo procesar rápidamente grandes cantidades de información, lo que convierte a este sistema open source en una herramienta ideal para realizar análisis de Big Data.
Su arquitectura basada en almacenamiento y procesamiento distribuidos lo convierte en un buena solución para guardar y procesar el flujo continuo de datos, en comparación con las que las bases de datos relacionales tradicionales (RDBMS) pueden hacer poco. A pesar de esto, lejos de ser un sustituto de estos, se revelan como un valioso complemento.
En la práctica, se puede argumentar que Hadoop cumple con todos los requerimientos para dar respuesta a las necesidades de tratamiento de datos que se almacenan a diario con el fin de realizar consultas, análisis y, por último, con el fin último de extraer valor estratégico.
El escalabilidad, alta disponibilidad y correcto funcionamiento del sistema, inclusive cuando falla el servidor, tres de sus características esenciales derivan de su particular arquitectura, lo que lo convierte en un sistema de procesamiento y almacenamiento de datos muy flexible, rápido y robusto. En suma, su funcionamiento se acerca mucho al ideal de consistencia, disponibilidad y tolerancia a fallos, conocido como el teorema CAP (por sus siglas en inglés) por el profesor Eric A. Brever, aportando ventajas como las siguientes:
-
Hadoop almacena y analiza gigantescos volúmenes de datos, de petabytes (un millón de gigabytes) a menor costo, puesto que su arquitectura le posibilita trabajar en un cluster, proporcionándole simplicidad y flexibilidad al agregar un nodo.
-
Rápido: HDFS posibilita analizar o consultar en cuestión de minutos u horas, pero no en tiempo real.
-
Funciona con datos heterogéneos, tanto estructurados como no estructurados, lo que posibilita analizarlos e inclusive cruzar bases de datos.
-
Robustez y fiabilidad: Map Reduce de Hadoop hace factible que el correcto funcionamiento no se vea perturbado por posibles fallas en caso de una factible caída del nodo.
El clúster de Hadoop: una arquitectura adaptable a bajo costo
Dado que Hadoop es una tecnología que almacena enormes volúmenes de información y posibilita poner en práctica analíticas predictivas a partir de datos masivos, su ejecución en un clúster de una determinada cantidad de nodos convierte a este sistema en un software adaptable a diferentes necesidades.
Al examinar el ventajas de distinto distribuciones, libre o comercial, por tanto, tendremos que determinar nuestros objetivos. En un principio, la distribución gratuita se suele usar para realizar pruebas experimentales que, si dan los resultados esperados, suelen conducir a la adquisición de una distribución comercial por una simple cuestión de funcionalidad en entornos corporativos.
Aunque no se puede negar que la versión opensource tiene la gran utilidad de ser gratuita, además es cierto que será difícil de instalar y configurar, puesto que carece de asistente de instalación o configuración y además de asistencia técnica al momento de corregir posibles errores. Por el contrario, los desarrollos a medida requieren una inversión, aún cuando el presupuesto necesario es infinitamente más alcanzable que el que representan las alternativas anteriores.
La ventaja del ecosistema rico en Hadoop
A pesar de esto, Hadoop es mucho más que su núcleo, que nació como un conjunto exitoso de soluciones en el entorno Apache open source, para hallar respuestas a la necesidad de procesar datos de diferentes fuentes y tipos.
Pese a todas estas ventajas, lógicamente, Hadoop tiene puntos débiles, y es gracias a la comunidad internacional open source que está perfeccionando el núcleo, y además su ecosistema. Existen innumerables funcionalidades que intentan ofrecer prestaciones más completas en combinación con Hadoop, como es el caso de Chispa – chispear, un marco de tipo Map Reduce (procesamiento de datos) que satisface los requerimientos en tiempo real, algo imposible con un clúster de Hadoop.
Gracias a esta complementariedad, se logra una nueva forma de arquitectura de datos, que combina las necesidades de un archivo por lotes, para lo cual Hadoop fue diseñado inicialmente para procesar, con análisis en tiempo real. A efectos prácticos, este link tiene ventajas en varios niveles, impulsando la cultura de datos a nivel corporativo, al tiempo que facilita la implementación y el mantenimiento.
Fuente de la imagen: renjith krishnan / FreeDigitalPhotos.net
Publicación relacionada:
