Com o objetivo de reduzir a latência das operações de processamento de big data e trazer uma série de melhorias, Apache Software Foundation (ASF) anunciou a disponibilidade da primeira versão do Spark, um software de análise de código aberto que acelera a execução de tarefas análise em tempo real na plataforma de processamento de dados Hadoop.
Conhecida como “a canivete suíço Hadoop”, o funcionamento desta nova ferramenta enriquece o ecossistema desse modelo de computação distribuída que oferece uma alternativa interessante a MapReduceO MapReduce é um modelo de programação projetado para processar e gerar grandes conjuntos de dados com eficiência. Desenvolvido pelo Google, Essa abordagem divide o trabalho em tarefas menores, que são distribuídos entre vários nós em um cluster. Cada nó processa sua parte e, em seguida, os resultados são combinados. Esse método permite dimensionar aplicativos e lidar com grandes volumes de informações, sendo fundamental no mundo do Big Data..... A sua substituição significa vantagens ao permitir a análise em tempo real em clusters de Hadoop e multiplicar a velocidade por 100 em memória em comparação com MapReduce e até 10 vezes mais em disco.
Em vez de executar os trabalhos em modo em lote, o que torna impossível a análise em tempo real entre clusters, Fagulha trabalha em micro-lotes intervalos de cinco segundos ou menos, o que também proporciona mais estabilidade do que outras ferramentas de processamento em tempo real.
Análise em tempo real e facilidade de utilização
Com esta versão 1.0 de Spark, Apache oferece uma interface de programação de aplicações estável sob licença Apache 2.0, como acontece com todo o software que surgiu da intensa atividade da incubadora da fundação. avançar, Databricks distribui-o na sua versão comercial.
Devido à sua compatibilidade, os desenvolvedores também podem utilizá-lo para introduzir código MapReduce nas suas próprias aplicações, assim como para criar outras escritas em Java, Scala ou Python, tres de los idiomas más frecuentes.
Ser capaz de analizar conjuntamente datos estructurados junto con otros datos no estructurados en la misma operación de análise y permitir su uso en equipos pequeños y grandes o Los CPD son otra de las características más destacadas de esta versión.
Además de ser compatível con las fuentes de datos del sistema de archivos HDFSHDFS, o Sistema de Arquivos Distribuído Hadoop, É uma infraestrutura essencial para armazenar grandes volumes de dados. Projetado para ser executado em hardware comum, O HDFS permite a distribuição de dados em vários nós, garantindo alta disponibilidade e tolerância a falhas. Sua arquitetura é baseada em um modelo mestre-escravo, onde um nó mestre gerencia o sistema e os nós escravos armazenam os dados, facilitando o processamento eficiente de informações.. (Hadoop's Distributed File System), é compatível com alguns dos seus componentes como FIOYARN é um gestor de pacotes para JavaScript que permite a instalação e gestão eficiente de dependências em projetos de desenvolvimento. Desenvolvido pelo Facebook, destaca-se pela sua rapidez e segurança em comparação com outros gestores. O YARN utiliza um sistema de cache para optimizar as instalações e fornece um arquivo de bloqueio para garantir a consistência das versões das dependências em diferentes ambientes de desenvolvimento.... (Yet Anoter Resource Netotiator) o con la base de dadosUm banco de dados é um conjunto organizado de informações que permite armazenar, Gerencie e recupere dados com eficiência. Usado em várias aplicações, De sistemas corporativos a plataformas online, Os bancos de dados podem ser relacionais ou não relacionais. O design adequado é fundamental para otimizar o desempenho e garantir a integridade das informações, facilitando assim a tomada de decisão informada em diferentes contextos.... distribuida HBaseO HBase é um banco de dados NoSQL projetado para lidar com grandes volumes de dados distribuídos em clusters. Com base no modelo de coluna, Permite acesso rápido e dimensionável às informações. O HBase se integra facilmente ao Hadoop, tornando-o uma escolha popular para aplicativos que exigem armazenamento e processamento massivos de dados. Sua flexibilidade e capacidade de crescimento o tornam ideal para projetos de big data...., una de las bases de datos de Hadoop. .
A un uso orientado al análisis permanente de datos en tiempo real se le suma outras funcionalidades que giran en torno a sua biblioteca de software, entre outros tratamentos gráficos ou cálculos em profundidade que envolvem aprendizagem automática, bem como consultas de dados interativas.
O laboratório AMP (Algoritmos, Máquinas e Pessoas) de Berkeley iniciou a criação do Spark, e em junho de 2013, há já um ano, a A comunidade ASF adotou o projeto para te dar o máximo impulso. Atualmente, O Spark está em uso em empresas de todo o mundo, como IBM, Cloudera Intel ou Pivotal já integraram o Spark nas suas distribuições de Hadoop, pelo que há grandes expectativas de que este novo software desempenhe um papel importante no processamento de dados de Big Data.
Criada em 1999, a Fundação supervisiona dezenas de projetos de código aberto e contribuiu com milhares de soluções de software que são distribuídas sob a licença Apache, incluido el célebre marco del servidor HTTP Apache, el sistema de procesamiento de datos distribuido más popular del mundo.
Postagem Relacionada:
Fonte da imagem: renjith krishnan / FreeDigitalPhotos.net
(função(d, s, Eu iria) {
var js, fjs = d.getElementsByTagName(s)[0];
E se (d.getElementById(Eu iria)) Retorna;
js = d.createElement(s); js.id = id;
js.src = “//connect.facebook.net/es_ES/all.js#xfbml=1&status = 0”;
fjs.parentNode.insertBefore(js, fjs);
}(documento, 'roteiro', 'facebook-jssdk'));
