Dans l'article précédent, nous discutons de l'écosystème Hadoop (relier). Nous avons également parlé des deux outils Hadoop les plus utilisés, c'est-à-dire, COCHONLe cochon, un mammifère domestiqué de la famille des Suidés, est connu pour sa polyvalence dans l'agriculture et la production alimentaire. Originaire d'Asie, son élevage s'est étendu dans le monde entier. Les cochons sont omnivores et possèdent une grande capacité d'adaptation à divers habitats. En outre, ils jouent un rôle important dans l'économie, fournissant de la viande, du cuir et d'autres produits dérivés. Leur intelligence et leur comportement social sont également... Oui HIVEHive est une plateforme de réseaux sociaux décentralisée qui permet à ses utilisateurs de partager du contenu et de se connecter avec d'autres sans l'intervention d'une autorité centrale. Elle utilise la technologie blockchain pour garantir la sécurité et la propriété des données. Contrairement à d'autres réseaux sociaux, Hive permet aux utilisateurs de monétiser leur contenu via des récompenses en cryptomonnaies, ce qui favorise la création et l'échange actif d'informations..... Les deux langues ont leurs adeptes et il n'y a pas de préférence particulière entre les deux, en général. Cependant, dans les cas où l'équipe utilisant ces outils est plus orientée programmation, parfois PIG est choisi sur HIVE, car cela leur donne plus de liberté lors de l'encodage. Dans les cas où l'équipe n'est pas très experte en programmation, HIVE est probablement une meilleure option, étant donné sa similitude avec les requêtes SQL. Les requêtes sur PIG sont écrites en latin PIG. Dans cet article, nous allons vous présenter PIG Latin à l'aide d'un exemple pratique simple.
Installation de porc
Le moteur PIG s'exécute sur le serveur du client. C'est simplement un interpréteur qui convertit votre code simple en opérations de réduction de carte complexes. Il est carteréduireMapReduce est un modèle de programmation conçu pour traiter et générer efficacement de grands ensembles de données. Propulsé par Google, Cette approche décompose le travail en tâches plus petites, qui sont répartis entre plusieurs nœuds d’un cluster. Chaque nœud traite sa partie, puis les résultats sont combinés. Cette méthode vous permet de faire évoluer les applications et de gérer d’énormes volumes d’informations, fondamental dans le monde du Big Data.... ahora se maneja en la red distribuida de Hadoop. Notez que l'ensemble du réseau ne saura même pas que la requête a été exécutée à partir d'un moteur PIG. PIG ne reste que dans l'interface utilisateur et est destiné à faciliter le codage pour l'utilisateur.
Suivez les étapes ci-dessous dans votre shell pour installer PIG:
Pour installer des systèmes compatibles Pig On Red Hat:
$ sudo miam installer cochon
Pour installer Pig sur les systèmes SLES:
$ sudo zypper installer cochon
Pour installer Pig sur Ubuntu et d'autres systèmes Debian:
$ sudo apt-get install pig
Si vous envisagez d'exécuter Pig sous Windows, vous devriez simplement faire fonctionner une machine virtuelle sur Linux, puis travailler dessus. Vous pouvez utiliser VMWare Player ou Oracle VirtualBox pour en démarrer un.
Après avoir installé le package PIG, vous pouvez commencer avec la coquille de grognement.
Pour démarrer le Grunt Shell (MRv1):
$ exporter PIG_CONF_DIR=/usr/lib/pig/conf $ export PIG_CLASSPATH=/usr/lib/hbase/hbase-0.94.2-cdh4.2.1-security.jar:/usr/lib/ zookeeper"gardien de zoo" est un jeu vidéo de simulation lancé en 2001, où les joueurs assument le rôle d'un gardien de zoo. La mission principale consiste à gérer et à prendre soin de diverses espèces d'animaux, en veillant à leur bien-être et à la satisfaction des visiteurs. Tout au long du jeu, les utilisateurs peuvent concevoir et personnaliser leur zoo, en affrontant des défis incluant l'alimentation, l'habitat et la santé des animaux..../zookeeper-3.4.5-cdh4.2.1.jar $ cochon 2012-02-08 23:39:41,819 [principale] INFO org.apache.pig.Main - Consignation des messages d'erreur dans: /maison/arvind/cochon-0.9.2-cdh4b1/bin/pig_1328773181817.log 2012-02-08 23:39:41,994 [principale] INFO org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connexion au système de fichiers hadoop à: hdfsHDFS, o Système de fichiers distribués Hadoop, Il s’agit d’une infrastructure clé pour stocker de gros volumes de données. Conçu pour fonctionner sur du matériel commun, HDFS permet la distribution des données sur plusieurs nœuds, Garantir une disponibilité élevée et une tolérance aux pannes. Son architecture est basée sur un modèle maître-esclave, où un nœud maître gère le système et les nœuds esclaves stockent les données, faciliter le traitement efficace de l’information..://hôte local/ ... grognement> Pour démarrer le Grunt Shell (FILYARN est un gestionnaire de paquets pour JavaScript qui permet l'installation et la gestion efficace des dépendances dans les projets de développement. Développé par Facebook, Il se caractérise par sa rapidité et sa sécurité par rapport à d'autres gestionnaires. YARN utilise un système de cache pour optimiser les installations et fournit un fichier de verrouillage pour garantir la cohérence des versions des dépendances dans différents environnements de développement....):
$ exporter PIG_CONF_DIR=/usr/lib/pig/conf
$ export PIG_CLASSPATH=/usr/lib/hbase/hbase-0.94.2-cdh4.2.1 -security.jar:/usr/lib/zookeeper/zookeeper-3.4.5-cdh4.2.1.jar
$ cochon ... grognement>
Une fois que je vois « gronder> », vous pouvez commencer à coder en PIG.
Contexte du cas
Vous êtes le leader de l'analyse dans un magasin de vente au détail appelé XYZ. XYZ conserve une trace de tous les clients qui achètent dans ce magasin. Votre tâche pour cet exercice consiste à créer une nouvelle colonne appelée taxe de vente., quel est le 5% de la vente. Alors, filtrer les personnes pour lesquelles le montant de la taxe est inférieur à $ 35. Une fois ce sous-ensemble terminé, choisir la 2 clients principaux avec le moins de clients. Vous trouverez ci-dessous un exemple de tableau pour le magasin de détail qui est enregistré au format .csv.
Écrire une requête en PIG Latin
Construisons cette requête étape par étape. Voici les étapes que vous devez suivre:
Paso 1 : Téléchargez l'ensemble de données dans le format compréhensible de PIG et stockage temporaire à partir duquel la requête PIG peut référencer directement la table
Sales = LOAD 'dataset.csv' USING PigStorage (',') COMME (Client,Ventes);
Tenga en cuenta que el comando anterior no carga la variableEn statistique et en mathématiques, ongle "variable" est un symbole qui représente une valeur qui peut changer ou varier. Il existe différents types de variables, et qualitatif, qui décrivent des caractéristiques non numériques, et quantitatif, représentation de grandeurs numériques. Les variables sont fondamentales dans les expériences et les études, puisqu’ils permettent l’analyse des relations et des modèles entre différents éléments, faciliter la compréhension de phénomènes complexes.... âge. Tout en travaillant avec le Big Data, vous devez être très précis sur les variables que vous devez utiliser et, donc, assurez-vous de ne choisir que les variables qui sont importantes pour vous dans votre code.
Paso 2: créer une nouvelle table avec des valeurs fiscales.
Taxe = FOREACH Ventes GÉNÉRER Client,Ventes,Ventes*0,05 en tant que taxe : flotter;
La commande ci-dessus génère une nouvelle table appelée taxes qui a les trois colonnes. Le tableau ressemblera maintenant à ce qui suit:
Paso 3: Sous-ensemble de la table entière sur le client avec une valeur fiscale ci-dessous $ 35.
Lowtax = FILTRE Taxe PAR Taxe < $35;
Le résultat de cette commande sera vu choisir les cellules jaunes dans le tableau suivant:
Paso 4: Maintenant, nous devons trier la table de sous-ensemble par client (identifiant) et choisissez les deux Clients principaux.
triécust = ORDER Lowtax BY Customer;
top_two = LIMIT triée 2;
Paso 5: stocker le fichier temporaire dans un fichier csv permanent
STORE sortedcust INTO 'salesreport' USING PIGSTORAGE (',');
Dans cette étape, notre tâche est terminée et vous obtiendrez les numéros de client requis avec tous les détails. Ensuite, le code complet qui peut être exécuté à la fois est affiché:
Sales = LOAD 'dataset.csv' USING PigStorage (',') COMME (Client,Ventes);
Taxe = FOREACH Ventes GÉNÉRER Client,Ventes,Ventes*0,05 en tant que taxe : flotter;
Lowtax = FILTRE Taxe PAR Taxe < $35;
triécust = ORDER Lowtax BY Customer;
top_two = LIMIT triée 2;
STORE sortedcust INTO 'salesreport' USING PIGSTORAGE (',');
Remarques finales
Dans cet article, nous avons appris à écrire du code de base en PIG Latin. Cependant, nous avons limité cet article à de simples instructions de filtrage et de tri, nous parlerons également de fusions plus complexes et d'autres déclarations dans certains des prochains articles.
L'article vous a-t-il été utile? Partagez avec nous toutes les applications pratiques de PIG que vous avez trouvées dans votre travail. Faites-nous part de vos impressions sur cet article dans la case ci-dessous..
