Mapa pequeno é um modelo de programação para processar grandes conjuntos de dados em paralelo, Distribuído algoritmo num cluster (fonte: Wikipedia). MapReduce, quando combinado com HDFS, pode ser usado para gerir big data. Os princípios fundamentais deste sistema HDFS-MapReduce, que é comumente conhecido como Hadoop, foram discutidos no nosso post anterior.
A unidade básica de informação que é utilizada em MapReduceO MapReduce é um modelo de programação projetado para processar e gerar grandes conjuntos de dados com eficiência. Desenvolvido pelo Google, Essa abordagem divide o trabalho em tarefas menores, que são distribuídos entre vários nós em um cluster. Cada nó processa sua parte e, em seguida, os resultados são combinados. Esse método permite dimensionar aplicativos e lidar com grandes volumes de informações, sendo fundamental no mundo do Big Data.... é um par (chave, valor). Todos os tipos de dados estruturados e não estruturados devem ser traduzidos para esta unidade básica, antes de alimentar os dados no modelo MapReduce. Como o nome sugere, O modelo MapReduce consiste em duas rotinas separadas, a saber, função map e função reduce. Este post irá ajudá-lo a compreender a funcionalidade passo a passo do modelo MapReduce. O cálculo de uma entrada (Em outras palavras, num conjunto de pares) no modelo MapReduce ocorre em três etapas:
Paso 1: a etapa do mapa
Paso 2: a etapa de embaralhamento aleatório
Paso 3: a etapa de redução.
Semanticamente, as fases de mapa e embaralhamento distribuem os dados, e a etapa de redução realiza o cálculo. Neste post analisaremos em detalhe cada uma dessas etapas.
[stextbox id="section"] A etapa do mapa [/stextbox]
A lógica do MapReduce, ao contrário de outros frameworks de dados, não se limita a conjuntos de dados estruturados. Além disso, possui uma ampla capacidade para lidar com dados não estruturados. A etapa do mapa é o passo crítico que a torna viável. MapeadorO Mapper é uma ferramenta que facilita a visualização e análise de dados geoespaciais. Permite que os usuários criem mapas interativos e personalizáveis, integrando informações diversas, como dados demográficos, Infra-estruturas e recursos naturais. Seu uso se estende em setores como o planejamento urbano, Pesquisa Ambiental e Gestão de Recursos, contribuir para a tomada de decisões informadas e o desenvolvimento sustentável. O Mapper tornou-se uma solução essencial em... fornece uma estrutura aos dados não estruturados. Como um exemplo, se eu quiser contar a quantidade de fotografias no meu portátil pela localização (Cidade), onde a foto foi tirada, preciso analisar dados não estruturados. O atribuidor cria pares (chave, valor) a partir deste conjunto de dados. Para este caso, a chave será a localização e o valor será a fotografia. Uma vez que o atribuidor termina a sua tarefa, temos uma estrutura para todo o conjunto de dados.
Na etapa de mapa, o atribuidor pega um único par (chave, valor) como entrada e produz qualquer número de pares (chave, valor) como uma saída. É essencial pensar na operação do mapa como sem estado, Em outras palavras, a sua lógica opera em um único par de cada vez (mesmo que, na prática, sejam enviados vários pares de entrada para o mesmo atribuidor). Para resumir, para a etapa de mapa, o utilizador simplesmente desenha uma função de mapa que atribui um par de entrada (chave, valor) a qualquer número (inclusive nenhum) de pares de saída. A maioria das vezes, a etapa de mapeamento é utilizada simplesmente para especificar a localização desejada do valor de entrada alterando a sua chave.
[stextbox id="section"] A etapa de embaralhamento [/stextbox]
A etapa de reprodução aleatória é gerida automaticamente pelo framework MapReduce, Em outras palavras, o engenheiro não tem nada a fazer nesta etapa. O sistema subjacente que implementa o MapReduce encaminha todos os valores associados a uma chave individual para o mesmo reductor.
[stextbox id="section"] A etapa de redução [/stextbox]
Na etapa de redução, o reductor pega em todos os valores associados a uma única chave k e gera qualquer número de pares (chave, valor). Isto destaca um dos aspetos sequenciais do cálculo do MapReduce: todos os mapas devem ser concluídos antes de a etapa de redução poder começar. Dado que el reductor tiene acceso a todos los valores con la misma clave, puede realizar cálculos secuenciales sobre estos valores. En el paso de disminución, el paralelismo se explota al observar que los reductores que operan en diferentes teclas pueden ejecutarse simultáneamente. Para resumir, para la etapa de disminución, el usuario diseña una función que toma como entrada una lista de valores asociados con una sola tecla y genera cualquier número de pares. Frequentemente, las teclas de salida de un reductor son iguales a la tecla de entrada (na realidade, en el papel MapReduce original, la tecla de salida tem que igual a la clave de entrada, pero Hadoop relajó esta restricción).
Em geral, un programa en el paradigma MapReduce puede constar de muchas rondas (de forma general llamadas trabalho) de diferentes funciones de mapa y disminución, hechas secuencialmente una tras otra.
[stextbox id="section"] Um exemplo [/stextbox]
Consideremos un ejemplo para comprender Map-Reduce en profundidad. Tenemos las siguientes 3 frases:
1. El zorro marrón veloz
2. El zorro se comió al ratón
3. ¿Cómo ahora vaca marrón
Nuestro objetivo es contar la frecuencia de cada palabra en todas las frases. Imagine que cada una de estas oraciones adquiere una gran cantidad de memoria y, por isso, se asignan a diferentes nodos de datos. Mapper se hace cargo de estos datos no estructurados y crea pares clave-valor. Para este caso, la clave es la palabra y el valor es el recuento de esta palabra en el texto disponible en este nóO Nodo é uma plataforma digital que facilita a conexão entre profissionais e empresas em busca de talentos. Através de um sistema intuitivo, permite que os usuários criem perfis, Compartilhar experiências e acessar oportunidades de trabalho. Seu foco em colaboração e networking torna o Nodo uma ferramenta valiosa para quem deseja expandir sua rede profissional e encontrar projetos que se alinhem com suas habilidades e objetivos.... De dados. Como um exemplo, el nodo 1st Map genera 4 pares clave-valor: (a, 1), (brown, 1), (fox, 1), (quick, 1). Os primeiros 3 pares clave-valor van al primer reductor y el último valor clave al segundo reductor.
de forma similar, as funções de mapeamento 2 e 3 fazem o mapeamento das outras duas frases. Ao misturar, todas as palavras semelhantes chegam ao mesmo final. Uma vez que os pares chave-valor estão ordenados, a função redutora opera sobre estes dados estruturados para gerar um resumo.
[stextbox id="section"] Notas finais: [/stextbox]
Vamos ver um exemplo do uso da função Map-Reduce na indústria:
• No motor de busca do Google:
– Construção de índices para a pesquisa do Google
– Agrupamento de posts para o Google News
– Tradução automática estatística
• No Yahoo !:
– Criação de índices para o Yahoo! Olhe para
– Deteção de spam para o Yahoo! Correspondência
• No Facebook:
– Processamento de dados
– Otimização de anúncios
– Exemplo de deteção de spam
• Na Amazon:
– Agrupamento de produtos
– Tradução automática estatística
A limitação de utilizar a função Map-Reduce é que o utilizador tem de seguir um formato lógico. Esta lógica é gerar pares chave-valor usando a função Map e depois resumir usando a função Reduce. Mas, por sorte, a maioria das operações de manipulação de dados podem ser adaptadas a este formato. No próximo post iremos ver alguns exemplos, como fazer uma fusão de conjuntos de dados, multiplicação de matrizes, transposição de matrizes, etc. usando Map-Reduce.
A postagem foi útil para você? Partilhe connosco outros exemplos práticos da função Map-Reduce. Deixe-nos saber sua opinião sobre esta postagem na caixa abaixo..
