introduction
Plusieurs entreprises ont massivement investi dans le Big Data ces dernières années. Cette augmentation de l'utilisation de l'analyse du Big Data a entraîné une forte demande de professionnels du Big Data formés.. Bien qu'il y ait eu beaucoup de débats sur l'utilité de cette dépense, il y a une nette augmentation des emplois dans le Big Data. Voici ce que dit une recherche rapide:
Compte tenu de la forte augmentation de la demande, le big data est devenu un domaine lucratif pour booster vos compétences. Malgré cela, si tu es quelqu'un comme moi, vous avez besoin d'une bonne vue d'ensemble et d'une bonne compréhension des avantages pratiques avant d'apprendre quelque chose de manière plus formelle, vous aurez probablement du mal à trouver des ressources structurées comme je l'ai fait il y a longtemps.
Il existe de nombreuses technologies et terminologies associées au Big Data, qui peut constituer un obstacle supplémentaire pour démarrer. Des noms comme Hadoop, CarteRéduireMapReduce est un modèle de programmation conçu pour traiter et générer efficacement de grands ensembles de données. Propulsé par Google, Cette approche décompose le travail en tâches plus petites, qui sont répartis entre plusieurs nœuds d’un cluster. Chaque nœud traite sa partie, puis les résultats sont combinés. Cette méthode vous permet de faire évoluer les applications et de gérer d’énormes volumes d’informations, fondamental dans le monde du Big Data...., Étincelle, MongoDB, RucheHive est une plateforme de réseaux sociaux décentralisée qui permet à ses utilisateurs de partager du contenu et de se connecter avec d'autres sans l'intervention d'une autorité centrale. Elle utilise la technologie blockchain pour garantir la sécurité et la propriété des données. Contrairement à d'autres réseaux sociaux, Hive permet aux utilisateurs de monétiser leur contenu via des récompenses en cryptomonnaies, ce qui favorise la création et l'échange actif d'informations.... ils nécessitent un certain temps pour s'habituer! Après avoir reçu une réponse écrasante dans mon post précédent sur les meilleures vidéos YouTube sur l'apprentissage automatique, l'apprentissage en profondeurL'apprentissage en profondeur, Une sous-discipline de l’intelligence artificielle, s’appuie sur des réseaux de neurones artificiels pour analyser et traiter de grands volumes de données. Cette technique permet aux machines d’apprendre des motifs et d’effectuer des tâches complexes, comme la reconnaissance vocale et la vision par ordinateur. Sa capacité à s’améliorer continuellement au fur et à mesure que de nouvelles données lui sont fournies en fait un outil clé dans diverses industries, de la santé..., réseaux de neurones et observer le manque de ressources structurées, La solution était simple! Voici un autre spécial YouTube pour les aspirants au Big Data: Juste mon point de vue sur la plongée dans le Big Data !!
Avertissement: Nous n'avons PAS l'intention de promouvoir une marque ou un service via ce message.. Les vidéos répertoriées dans cet article se concentrent uniquement sur leur pertinence / utile au public.
Qui devrait profiter le plus du visionnage de ces vidéos?
J'ai écrit cet article en pensant à la fraternité des débutants du Big Data. Pour cela, ce poste est le mieux adapté aux candidats qui souhaitent commencer leur carrière dans l'analyse de données volumineuses. Si vous êtes déjà un professionnel avec une expérience dans le big data, il est possible que ce poste ne soit pas ce que vous recherchez. Malgré cela, peut encore consommer « inspiration » des conférences TED listées ci-dessous.
La structure de cet article est conçue pour fournir une description complète des différentes technologies utilisées dans Big Data Analytics. Les conférences TED présentées au début sont destinées à ajouter une pincée d'inspiration à votre parcours d'apprentissage.. Ces conférences vous proposent d'imaginer un monde passionnant conduit par les chiffres, technologies et analyses de données volumineuses.
TED parle du Big Data
1. Introduction au Big Data par Hilary Mason, Scientifique en chef des données de Bitly
Durée: 11:30 min
résumé: Dans cette courte vidéo, Hilary parle de l'essor du Big Data et de son impact sur notre environnement de travail. Il met également en évidence les changements mineurs mais significatifs apportés par les mégadonnées., y compris le processeur, données et algorithmes. Plus tard, examiner le profil d'un data scientist dans votre style. Met en évidence les applications Big Data et leur utilisation au quotidien.
2. Big Data, Petit monde: Kirk Borne et TEDxGeorgeMasonU
Durée: 22:00 min
résumé: Le médecin. Kirk Borne commence par parler de son parcours pour devenir data scientist. Plus tard, couvre certaines des meilleures idées appliquées derrière l'exploration de données et comment elle peut être appliquée à notre vie quotidienne. De plus, il parle du ‘phénomène du petit monde’ et la ‘séparation de 6 degrés’. Plus tard, révèle des statistiques surprenantes sur les mégadonnées qui garantissent que le monde futur sera axé sur les données.
3. Kenneth Sucre: Les mégadonnées sont de meilleures données
Durée: 16:00 min
résumé: Kenneth se concentre fortement sur l'utilisation des données disponibles au niveau granulaire. Chaque octet de données a quelque chose à révéler, il suffit d'un ingénieur pour le découvrir. Il croit que, avec la quantité d'informations disponibles, nous pouvons trouver des réponses à toutes les questions auxquelles il était difficile de penser avant. Les données nous ont rendus plus puissants. Les données peuvent être notre plus grand pouvoir si nous en disposons de manière intuitive.
4. Que faire de tout ce Big Data?
Durée: 12:29 min
résumé: Susan croit ‘Nous ne sommes pas des consommateurs passifs de données et de technologies. Très bien, nous façonnons les données et leur donnons du sens.‘. Dans cette courte vidéo, partage son point de vue sur l'essor du big data et les différentes alternatives pour utiliser les données pour son utilisation optimale. Les données ne créent pas de sens, Nous faisons. Les données nous offrent un vaste océan d'informations qui doivent être brassées pour extraire des informations utiles.
5. Comment trouver le pire endroit pour se garer à New York en utilisant le Big Data?
Durée: 11:53 min
résumé: Le titre dit tout. L'orateur utilise des statistiques et des visualisations pour déduire le pire endroit où se garer à New York. Assurez-vous de ne manquer aucune information importante, il a donc capturé toutes les variables importantes dans ses représentations graphiques. Si à tout moment vous vouliez voir l'utilisation des données en temps réel, À ne pas manquer.
Connaître les terminologies du Big Data
Je recommande fortement ces vidéos YouTube aux personnes qui débutent dans l'analyse de données volumineuses.. Regardez ces vidéos rapides (~ 3 minutes) vous donner un aperçu clair des différentes technologies Big Data et des relations entre elles.
1. Qu'est-ce que HBase? Durée – 3 minutes
2. Qu'est-ce que Hadoop? Durée – 3:12 min
3. Qu'est-ce que MapReduce? Durée – 2:39 min
4. Qu'est-ce que HDFS? Durée – 2:51 min
5. Qu'est-ce que Flume? Durée – 2:59 min
6. Qu'est-ce que PIG? Durée – 3:01 minutes
7. Qu'est-ce que la ruche? Durée – 2:52 min
8. Qu'est-ce qu'Avro? Durée – 3:00 min
9. Qu'est-ce qu'Oozie? Durée – 2:28 min
10. Qu'est-ce que Zookeeper? Durée – 3:26 minutes
10 tutoriels sur l'analyse du Big Data
1. Atelier de cours intensif Hadoop
Durée – 55:32 minutes
résumé: Comme le nom le suggère, cette vidéo couvre tout sur Hadoop et le concept associé en moins d'une heure. L'orateur commence par une brève introduction à Hadoop, suivi d'une explication détaillée de l'écosystème et de la distribution Hadoop, HDFSHDFS, o Système de fichiers distribués Hadoop, Il s’agit d’une infrastructure clé pour stocker de gros volumes de données. Conçu pour fonctionner sur du matériel commun, HDFS permet la distribution des données sur plusieurs nœuds, Garantir une disponibilité élevée et une tolérance aux pannes. Son architecture est basée sur un modèle maître-esclave, où un nœud maître gère le système et les nœuds esclaves stockent les données, faciliter le traitement efficace de l’information... Plus tard, Expliquer plusieurs composants Hadoop comme Mapreduce, FilYARN est un gestionnaire de paquets pour JavaScript qui permet l'installation et la gestion efficace des dépendances dans les projets de développement. Développé par Facebook, Il se caractérise par sa rapidité et sa sécurité par rapport à d'autres gestionnaires. YARN utilise un système de cache pour optimiser les installations et fournit un fichier de verrouillage pour garantir la cohérence des versions des dépendances dans différents environnements de développement...., Teint utilisant des histoires intéressantes. En conclusion, Terminez ce cours accéléré en révélant certains des moyens pas si populaires mais super utiles d'accéder aux données.
2. Principes de base de MapReduce
Durée – 32:03 minutes
résumé: Ceci est un tutoriel complet pour apprendre les bases de MapReduce. Cette série de tutoriels est divisée en 5 les pièces, dont chacun couvre un module MapReduce spécifique. Cette vidéo d'introduction sur MapReduce fournit une description détaillée de sa pertinence, opportunités d'emploi associées, applications et utilisation. En parcourant les parties suivantes, couvrira les arguments essentiels de MapReduce. Consultez la section Suivant pendant que vous y êtes!!
3. Activer R dans Hadoop
Durée – 40:25 minutes
résumé: Ce tutoriel vous apprend les connaissances de l'intégration hadoop avec R. Speaker suit une procédure étape par étape pour installer Hadoop dans R. Des concepts comme RHadoop ont été discutés, RHive et plusieurs bibliothèques R associées. En même temps, discute plus en détail de l'utilisation variée de R et de l'évolution de la programmation R au fil des ans.
4. Introduction au deep learning dans Hadoop
Durée – 41: 14minutes
résumé: Le conférencier explique à merveille le concept d'apprentissage en profondeur à l'aide de hadoop. L'apprentissage en profondeur est l'un des sujets les plus discutés dans la communauté de la science des données. Les scientifiques et les chercheurs travaillent dur pour découvrir de nouveaux modèles en utilisant l'apprentissage en profondeur. Le concept de deep learning a été expliqué de manière simpliste dans cette vidéo. En outre, des questions telles que les réseaux de croyances profondes ont été discutées, l'implémentation Hadoop / FIL.
5. Présentation d'Apache Cassandra
Durée – 1:15:06 temps
résumé: J'ai trouvé très peu de vidéos sur Apache Cassandra, mais cela compense tout. Voici une introduction complète à Apache Cassandra à partir de zéro. La montée en puissance d'Apache Cassandra attire l'attention des entreprises et des professionnels du monde entier. Dans cette vidéo, le conférencier explique les algorithmes utilisés, ses caractéristiques essentielles, avantages et concept / cause derrière le lancement d'Apache Cassandra ~ 6 il y a des années.
6. Introduction au PIG
Durée – 30:56 minutes
résumé: Ceci est un tutoriel complet pour apprendre sur COCHONLe cochon, un mammifère domestiqué de la famille des Suidés, est connu pour sa polyvalence dans l'agriculture et la production alimentaire. Originaire d'Asie, son élevage s'est étendu dans le monde entier. Les cochons sont omnivores et possèdent une grande capacité d'adaptation à divers habitats. En outre, ils jouent un rôle important dans l'économie, fournissant de la viande, du cuir et d'autres produits dérivés. Leur intelligence et leur comportement social sont également.... Dans ce tutoriel, l'instructeur commence par donner un aperçu de Pig suivi de la comparaison entre Pig et SQL. Puisque les deux sont très similaires, fait une comparaison intéressante. Il explique également sur l'utilisation de Pig latin. Surtout ça, De plus, les étapes de base de l'installation de Pig ont été illustrées..
7. Présentation d'Apache Spark
Durée – 1:06:14 temps
résumé: Ce tutoriel justifie à juste titre son titre en enseignant la technologie Spark et comment elle peut aider à façonner le monde.. Le guide commence par un examen rapide de mapreduce suivi de spark et de l'avantage d'utiliser cette technologie. L'orateur a merveilleusement expliqué ces concepts.
8. Introduction à Hive et HiveQL
Durée – 1:06:19 temps
résumé: Hive est construit sur hadoop pour assurer la gestion, requêtes et analyse de données. Ce tutoriel analyse l'architecture de la ruche, opérations de la ruche et autres fonctions associées. Ce tutoriel ne vous enrichit pas seulement de connaissances théoriques, mais montre également l'aspect pratique et démontre la même chose dans le terminal.
9. Introduction à NoSQL
Durée – 54:51 minutes
résumé: C'est l'une des meilleures vidéos que j'ai trouvées sur les bases de données NoSQL. Vous y trouverez une introduction aux bases de données NoSQL ainsi que toutes les autres connaissances essentielles de ce concept que vous devriez avoir. Ce tutoriel couvre l'application, les avantages, les désavantages, compatibilité, l'utilisation, les fonctionnalités et autres fonctionnalités essentielles de NoSQL. Je recommanderai cette vidéo à tout le monde.
10. Tutoriel MongoDB pour les débutants
Durée – 4:34:47 temps
résumé: Si à un moment donné vous avez envie d'apprendre MongoDB, ici vous avez la ressource complète. Ce tutoriel couvre de manière exhaustive tous les aspects des bases de données MongoDB et NoSQL. Malgré cela, ça a l'air assez long (> 4 Heures), vous pouvez voir ces tutoriels dans les pauses. Une connaissance préalable de Javascript serait avantageuse pour apprendre MongoDB à travers ce tutoriel. Ce tutoriel commence par une introduction aux bases de données NoSQL suivie d'une explication de mongodb, comment exécuter des requêtes mongodb, node.js, traitement avancé des données et méthode pour apprendre mongodb sur ubuntu dans le cloud.
Ressource alternative: Cours MongoDB sur Udacity
Remarques finales
Si vous avez regardé les vidéos ci-dessus, vous serez déjà équipé des éléments essentiels du Big Data. Dans ce billet, J'ai présenté les vidéos YouTube et les conférences TED les plus utiles que j'ai trouvées sur Internet. Les vidéos répertoriées ont pour but de développer vos bases du big data et de faciliter votre parcours d'apprentissage.
Si vous voulez profiter au maximum de ces vidéos, J'insisterais pour prendre des notes et me salir les mains en regardant ces vidéos. Au cas où j'aurais raté une vidéo importante, n'hésitez pas à le mentionner dans la section commentaire ci-dessous.
