Hadoop es un marco open source para guardar datos y ejecutar aplicaciones en clústeres de hardware básicos. Proporciona almacenamiento masivo para cualquier tipo de datos, una enorme potenza de procesamiento y la capacità de manejar tareas o trabajos prácticamente ilimitados. Esto simplemente y de forma muy concreta es lo que que es hadoop. E, ¿para qué es esto?
Sopra algún otro post Hemos explicado la historia de Hadoop y cómo nació de la necesidad de Google de poder procesar todos los datos de la web. Veamos ahora otros conceptos importantes de Hadoop que nos darán las claves para por qué es esencial Hadoop, cuáles son los desafíos de utilizar hadoop, come viene utilizzata, … In sintesi, ¿qué es Hadoop y para qué sirve?.
¿Por qué es esencial Hadoop?
- Capacidad para guardar y procesar grandes cantidades de qualsiasi tipo de datos rápidamente. Con volúmenes y variedad de datos cada vez mayores, especialmente cuando se trata de redes sociales e Internet de las cosas, esta es una consideración clave.
- Poder de procesamiento. El modelo de computación distribuida de Hadoop procesa rápidamente Big Data. Cuantos más nodos de cómputo utilice, más potencia de procesamiento tendrá.
- Tolleranza ai guasti. El procesamiento de datos y aplicaciones está protegido contra fallas de hardware. Si un nodo deja de funcionar, los trabajos se redirigen automáticamente a otros nodos para garantizar que la computación distribuida no falle. Se almacenan automáticamente varias copias de todos los datos.
- Flessibilità. A differenza dei tradizionali database relazionali, non è necessario preelaborare i dati prima di memorizzarli. Può memorizzare quanti dati desidera e scegliere come usarli in seguito. Questo include dati non strutturati come testo, immagini e video.
- Basso costo. Il framework open source è gratuito e utilizza hardware di base per conservare grandi quantità di dati.
- Scalabilità. Può far crescere facilmente il sistema per gestire più dati semplicemente aggiungendo nodi. Richiede poca gestione.
Quali sono le sfide nell'utilizzo di Hadoop?
- Programmare con Riduci mappaMapReduce è un modello di programmazione progettato per elaborare e generare in modo efficiente set di dati di grandi dimensioni. Sviluppato da Google, Questo approccio suddivide il lavoro in attività più piccole, che sono distribuiti tra più nodi in un cluster. Ogni nodo elabora la sua parte e poi i risultati vengono combinati. Questo metodo consente di scalare le applicazioni e gestire enormi volumi di informazioni, essere fondamentali nel mondo dei Big Data.... non è una buona opzione per tutti i problemi. È utile per problemi e richieste di informazioni semplici che possono essere suddivisi in unità indipendenti, ma non è efficiente per compiti analitici, iterativi e interattivi. MapReduce richiede un uso intensivo di file e gli algoritmi iterativi necessitano di varie fasi di ordinamento e progettazione delle mappe per essere completati. Questo crea diversi file tra le fasi di MapReduce ed è inefficace per il calcolo analitico avanzato.
- Esiste un divario di competenze ampiamente riconosciuto. Può essere difficile trovare programmatori esperti con sufficienti conoscenze di Java per essere produttivi con MapReduce. Questa è una delle ragioni per cui i fornitori di distribuzione competono per mettere la tecnologia SQL relazionale sopra Hadoop. È molto più facile trovare programmatori con competenze in SQL che con competenze in MapReduce. E la gestione di Hadoop sembra essere in parte arte e in parte scienza, ciò che richiede una conoscenza di base dei sistemi operativi, l'hardware e la configurazione del kernel di Hadoop.
- La sicurezza dei dati. Un'altra sfida riguarda i problemi di sicurezza dei dati frammentati, anche quando stanno emergendo nuovi strumenti e tecnologie. Il protocollo di autenticazione Kerberos è un grande passo per proteggere gli ambienti Hadoop.
- Amministrazione e dati di governance. Hadoop non dispone di strumenti completi e facili da usare per la gestione dei dati, pulizia dei dati, la governance e i metadati. In particolare manca di strumenti per la standardizzazione e la qualità dei dati.
Come si usa Hadoop?
Oltre al suo obiettivo originale di cercare milioni o centinaia di milioni di pagine web e ottenere risultati pertinenti, cos'è Hadoop e a cosa serve è ciò che molte istituzioni cercano in Hadoop. Le aziende cercano che Hadoop diventi la loro prossima grande piattaforma dati. Gli usi più popolari oggi sono:
- Archiviazione e conservazione dei dati a basso costo. Il modesto costo dell'hardware rende Hadoop utile per conservare e combinare dati come quelli transazionali, social networks, sensori, macchine, dati scientifici, eccetera. Lo stoccaggio a basso costo consente di mantenere informazioni che al momento non sono considerate critiche ma che potrebbero necessitare di essere analizzate. dopo.
- Sandbox per scoperta e analisi. Poiché Hadoop è stato progettato per gestire volumi di dati in forme diverse, può eseguire algoritmi analitici. Il Analitica dei Big Data Hadoop può aiutare un'organizzazione a operare in modo più efficiente, scoprire nuove possibilità e ottenere un vantaggio competitivo. L'approccio sandbox o sandbox offre la possibilità di innovare con un investimento minimo.
- Data lake. I data lake permettono di memorizzare i dati nel loro formato originale o esatto, sia strutturato che non strutturato, e senza alcun tipo di elaborazione, al fine di offrire una visione non modificata o non raffinata dei dati agli analisti, affinché possano utilizzarli. per scoprire e analizzare. Aiuta a porre domande nuove o difficili senza restrizioni. I data lake non sostituiscono i data warehouse. In realtà, Come proteggere e controllare i data lake è un tema molto importante per l'IT.
- Integra il tuo data warehouse. Stiamo già vedendo che Hadoop viene fornito insieme agli ambienti di storage dei dati, così come alcuni set di dati che vengono scaricati dal data warehouse a Hadoop, o nuovi tipi di dati che vanno direttamente a Hadoop. L'obiettivo finale di ogni organizzazione è avere una piattaforma per conservare e elaborare dati di schemi diversi, formati, eccetera., per supportare diversi casi d'uso che possono essere integrati a vari livelli.
- IoT e Hadoop. Le cose in IoT devono sapere cosa comunicare e quando agire. Al centro di IoT c'è un flusso costante di un torrente di dati. Hadoop viene spesso utilizzato come data warehouse per milioni o centinaia di milioni di transazioni. Las capacidades de procesamiento y almacenamiento masivo además le posibilitan utilizar Hadoop como un espacio aislado de descubrimiento y definición de patrones para ser monitoreado para instrucciones prescrittivas. Puede mejorar de forma continua estas instrucciones a continuación, dado que Hadoop se utiliza constantemente con nuevos datos que no coinciden con los patrones definidos previamente.
conclusione
Hemos visto ¿Qué es Hadoop y para qué sirve? Al mismo tiempo de la relevancia que tiene en este momento para las compañías y los retos de utilizarlo por alguna complicación para hallar experts en la materia. Ahora puede comenzar a usarlo para aprovechar al máximo su grandi dati. Pero recuerda que si quieres aiutar, lo ideal es consultar con un esperto.
