O que é Apache Hadoop?

Mucha gente aún se pregunta que es Apache Hadoop. Tiene que ver con big data, Hortonworks está involucrado pero ¿en qué consiste verdaderamente? Apache Hadoop es un marco open source que posibilita el almacenamiento y el procesamiento distribuidos de grandes conjuntos de datos basados en hardware comercial. Em outras palavras, Hadoop posibilita a las instituciones obtener información rápidamente a partir de cantidades masivas de datos estructurados y no estructurados, posicionándolos al nivel de las demandas actuales del mercado en términos de dinamismo y capacidad.

spainter_vfx

o Ecosistema de Hadoop cuenta con soluciones de todo tipo para cubrir cualquier necesidad que se le presente al negocio con respecto a:

Son exactamente estas funcionalidades las que mejor definen que es Apache Hadoop ainda quando, para conocer verdaderamente las posibilidades de esta herramienta y el secreto de su versatilidad, es necesario comprender el origen de los beneficios que aporta; los que impulsan a muchas corporaciones a decantarse por esta alternativa para sus proyectos de big data. Todos los beneficios de Hadoop se centran en algunas de sus principales cualidades:

Escalabilidade: esta herramienta te posibilita almacenar y repartir enormes conjuntos de datos en sus cientos de servidores que operan en paralelo, permitiéndote olvidarte de los límites que imponen otras alternativas.
Velocidade– Garantiza una eficiencia de procesamiento que nadie puede igualar, ¿de qué otra manera se pueden procesar terabytes de información en minutos?
Eficácia de custos: El almacenamiento de datos se convierte en una realidad para las compañías dado que la inversión requerida pasa de ser decenas de cientos de euros por terabyte a reducirse a cientos de euros por terabyte.
Flexibilidade: ¿Nuevas fuentes de datos? não há problema, ¿nuevos tipos de datos? desde já… Apache Hadoop se adapta a las necesidades del negocio y lo acompaña en su expansión, aportando soluciones reales para cualquier iniciativa que surja.
Resistencia al fracaso: su tolerancia a errores es uno de sus atributos mejor valorados por los usuarios dado que toda la información contenida en cada nodo se replica en otros nodos del cluster. em caso de falha, siempre habrá una copia lista para ser utilizada.

Qué es Apache Hadoop: soluciones empresariales

Todo problema necesita una solución y, por tanto, acercarse para descubrir que es Apache Hadoop implica entrar en el Proyectos de Apache Software Foundation. Cada uno de ellos ha sido desarrollado para ofrecer una función explícita y, por isso, cada uno tiene su propia comunidad de desarrolladores, así como ciclos de lanzamiento individuales. Implemente, integre y trabaje con Hadoop está relacionado con:

1. Gestão de dados: El objetivo es almacenar y procesar grandes cantidades de datos en una capa de almacenamiento escalable y, para alcançar, viene el Sistema de archivos distribuido de Hadoop (HDFS). Esta tecnología, que funciona por medio de hardware de bajo costo, sienta las bases para una escala eficiente desde la capa de almacenamiento. Además se basa en Apache Hadoop THREAD, Proporciona una arquitectura conectable y administración de recursos para habilitar una amplia variedad de métodos de acceso a datos, lo que hace factible operar con datos almacenados en Hadoop en los niveles de rendimiento y servicio deseados. En resumen Apache Tez, que hace la magia, procesando big data casi en tiempo real, gracias a su generalización del paradigma Mapa pequeno que gana en eficiencia.

2. Acesso aos dados: No se puede tener la perspectiva necesaria para responder a la pregunta de qué es Apache Hadoop sin saber que uno de sus puntos fuertes es la accesibilidad que garantiza, al permitirle interactuar con los datos en una amplia variedad de formas y en tiempo real. Las aplicaciones que consiguen esto son:

Apache Hive: la tecnología de acceso a datos más ampliamente adoptada.
Mapa pequeno: lo que le posibilita crear aplicaciones que procesan grandes cantidades de datos estructurados y no estructurados en paralelo.
Porco apache: una plataforma para el procesamiento y análisis de grandes conjuntos de datos.
Apache HCatalog: que proporciona una forma centralizada para los sistemas de procesamiento de datos que hace factible comprender la estructura y ubicación de los datos almacenados en Apache Hadoop.
Apache Hive: almacén de datos que posibilita un resumen sencillo y el lanzamiento de consultas ad-hoc por medio de una interfaz equivalente a SQL para grandes conjuntos de datos almacenados en HDFS.
Apache HBase: Sistema de almacenamiento de datos orientado a columnas NoSQL que proporciona acceso para leer o escribir big data en tiempo real para cualquier aplicación.
Tormenta Apache: agrega capacidades confiables de procesamiento de datos en tiempo real.
Apache Kafka: es un sistema de mensajería de publicación-suscripción rápido y escalable que se utiliza a menudo en lugar de los intermediarios de mensajes tradicionales debido a su alto rendimiento, replicación y tolerancia a fallas.
Apache mahout– Proporciona algoritmos de aprendizaje automático escalables para Hadoop que ayudan enormemente a los científicos de datos en sus tareas de agrupación, clasificación y filtrado.
Apache Accumulo– Un dispositivo de almacenamiento de datos de alto rendimiento que incluye sistemas de recuperación.

3. Gobernanza e integración de datos: posibilita una carga de datos rápida y eficiente basada en la intervención de:

Apache Falcon: es un marco de administración de datos que simplifica la administración y el procesamiento del ciclo de vida de los datos, lo que posibilita a los usuarios configurar, administrar y orquestar el movimiento de datos, el procesamiento paralelo, la recuperación de errores y la retención de datos; basado en políticas de gobernanza.
Canal Apache– Le posibilita mover, de manera agregada y eficiente, grandes cantidades de datos de registro de muchas fuentes diferentes para Hadoop.
Apache Sqoop– Agiliza y facilita el movimiento de datos dentro y fuera de Hadoop.

4. Segurança: Apache Knox se encarga de proporcionar un único punto de autenticación y acceso a la Servicios de Apache Hadoop en un grupo. Desta forma, se asegura la simplicidad en términos de seguridad, tanto para los usuarios que acceden a los datos del clúster, como para los operadores que se encargan de administrar el clúster y controlar su acceso.

5. Operações: Apache Ambari proporciona la interfaz y las API imprescindibles para el aprovisionamiento, la administración y la supervisión y la integración del clúster de Hadoop con otro software de consola de administración. Apache Zookeeper coordina los procesos distribuidos, lo que posibilita que las aplicaciones distribuidas almacenen y medien cambios en la información de configuración importante. Finalmente, Apache Oozie se encarga de garantizar la lógica de trabajo en las tareas de programación.

Hoje, con las nuevas plataformas sin servidor, a nuvem, Fagulha, Kafka y el auge de la ingeniería de datos, Apache Hadoop ha perdido algo de relevancia. Es la consecuencia lógica de la transición de la inteligencia empresarial y el big data a la inteligencia artificial y el aprendizaje automático. Apesar disto, pese a los cambios, esta tecnología y su ecosistema seguirán adaptándose para, presumiblemente, volver a liderar, en alguna vez, la evolución digital, como ya lo hicieron en su día.