Chaves essenciais para entender a arquitetura do Hadoop

Conteúdo

arquitectura hadoop

Hadoop, como se conoce, es un sistema open source basado en una arquitectura que trabaja con el nó mestre y los nodos esclavos para crear un cacho, siempre desde un solo maestro y múltiples esclavos. Gracias a esta estructura, Hadoop es capaz de almacenar y analizar grandes volúmenes de datos, cientos de pentabytes e inclusive más.

Su núcleo nació como un conjunto de soluciones en el entorno Apache, bautizado con el nombre de Hadoop, e seu arquitectura maestro / escravo utiliza el nodo maestro para guardar los metadatos asociados con sus nodos esclavos dentro del bastidor del que forma parte. Por outro lado, el maestro mantiene el estado de sus nodos eslavos, mientras estos almacenan la información que está procesando en un momento específico.

Simplesmente, es una tecnología que almacena enormes volúmenes de informação y posibilita poner en práctica analítica previsiva a partir de datos estructurados y no estructurados, que se executan en un clúster Hadoop de un número específico de nodos.

Un ecossistema rico y en crescimento

La comunidad internacional open source está refinando el núcleo de Hadoop mientras hace crecer su ecosistema con contribuciones constante. Dado que el original no cubre las necessidades, comienzan a aparecer funcionalidades, como ocorre con Fagulha – fagulha, que cumple con los requerimientos en tiempo real que un clúster de Hadoop tradicional no puede cumplir sin su ayuda. Desta forma, esa comunidade open source se encarga de mantener, corregir erros y conceder nuevos pacotes para lograr nuevas funcionalidades.

Por sua vez, distribuciones comerciais Eles pegam o open source da Apache e acrescentam novas funcionalidades que satisfaçam os requisitos do mundo empresarial, com o objetivo de adaptá-lo, uma vez que o software open source tem a vantagem de ser gratuito, mas num ambiente corporativo são necessárias outras funcionalidades.

Adapte a arquitetura do Hadoop

No momento de desenhar um cluster Temos de responder a uma série de perguntas chave que nos permitam adaptar a arquitetura do Hadoop às diferentes necessidades de cada caso concreto. Teremos de escolher com quantos nós Vamos começar com base em aspetos como a quantidade de dados com os quais vamos trabalhar, onde se encontram, a sua natureza …

Além disso, será fundamental determinar o que quero analisar, onde cortar para viabilizar o procedimento sem prejudicar a concretização do objetivo, que não é outro senão descobrir tendências e, em conclusão, compreender padrões que permitam a extração de valor estratégico. .

o escolha de distribuição Hadoop dependerá do que nos oferece e de como se adapta ao que procuras. A distribuição gratuita de Hadoop é frequentemente utilizada para realizar testes que, se tiverem sucesso, frequentemente levam a um caso de negócio económico que necessita de uma distribuição comercial.

Ainda assim, a versão open source é uma alternativa a comercial. É verdade que não terão tantas aplicações corporativas e será mais difícil de instalar e configurar, uma vez que não teremos assistente de instalação ou configuração. Será más complejo poner en práctica un clúster de Hadoop y además faltará asistencia para implementarlo y corregir posibles errores.

El uso de Nuvem además puede servir como complemento poseer de herramientas que diseñen los análisis de forma más eficaz, aún cuando estos deben realizarse dentro del clúster. Un ejemplo podría ser el uso de herramientas de visualización que se ejecutarían en el clúster, no es necesario mover datos para a nuvem. Em geral, este tipo de ayudas se podem usar para analizar, validar resultados, hacer comparaciones o para poder poner en práctica un sistema, Digamos.

Fonte da imagem: jscreationzs / FreeDigitalPhotos.net

Postagem Relacionada:

Assine a nossa newsletter

Nós não enviaremos SPAM para você. Nós odiamos isso tanto quanto você.

Datapeaker