Utiliser Google Colab pour les modèles d'apprentissage en profondeur et d'apprentissage automatique

Partager sur Facebook
Partager sur Twitter
Partager sur lié
Partager sur télégramme
Partager sur WhatsApp

Contenu

Google Colab: créez maintenant d'excellents modèles d'apprentissage en profondeur sur votre machine.

“Erreur de mémoire”: ce message familier et redouté dans les blocs-notes Jupyter lorsque vous essayez d'exécuter un algorithme d'apprentissage automatique ou d'apprentissage en profondeur sur un grand ensemble de données. La plupart d'entre nous n'ont pas accès à une puissance de calcul illimitée sur nos machines.. Et avouons-le, cela coûte un bras et une jambe pour obtenir un GPU décent auprès des fournisseurs de cloud existants.

Ensuite, Comment pouvons-nous créer de bons modèles d'apprentissage en profondeur sans mettre un trou dans nos poches ??

Intensifier: ¡Google Colab! C'est incroyable plate-forme en ligne basée sur un navigateur qui nous permet de former gratuitement nos modèles sur des machines. Cela semble trop beau pour être vrai, mais grâce à google, maintenant nous pouvons travailler avec de grands ensembles de données, créer des modèles complexes et même partager notre travail de manière transparente avec d'autres. C'est la puissance de Google Colab.

Featured_image-2-8594261

Franchement, travailler avec Colab m'a ouvert tellement de voies que je pensais auparavant impossibles. Nous n'avons plus la restriction d'une faible puissance de calcul dans nos machines. Les GPU gratuits sont à portée de main, ensuite, Qu'est ce que tu attends?

Si vous êtes nouveau dans le monde de l'apprentissage en profondeur, J'ai d'excellentes ressources pour vous aider à démarrer de manière complète et structurée:

Table des matières

Qu'est-ce que Google Colab?

Collaboratif Google il est un environnement de bloc-notes Jupyter en ligne gratuit basé sur le cloud qui nous permet de former nos modèles d'apprentissage automatique et d'apprentissage en profondeur sur les processeurs, GPU et TPU.

C'est ce que j'aime vraiment chez Colab. Peu importe l'ordinateur que vous avez, quelle est votre configuration et quel âge elle peut avoir. Vous pouvez toujours utiliser Google Colab! Tout ce dont vous avez besoin est un compte Google et un navigateur Web. Et voici la cerise sur le gâteau: vous avez accès au GPU comme Tesla K80 et même un TPU, gratuite!

Les TPU sont bien plus chers qu'un GPU et vous pouvez les utiliser gratuitement chez Colab. Il vaut la peine de répéter encore et encore: c'est une offre pas comme les autres.

Utilisez-vous toujours le même ordinateur portable Jupyter dans votre système pour former des modèles? crème, vous allez adorer Google Colab.

GPU et TPU dans Google Colab

Demandez à tous ceux qui utilisent Colab pourquoi ils l'aiment. La réponse est unanime: la disponibilité des GPU et TPU gratuits. Les modèles de formation, en particulier ceux d'apprentissage en profondeur, nécessitent plusieurs heures sur un CPU. Nous avons tous rencontré ce problème sur nos machines locales. GPU et TPU, d'un autre côté, ils peuvent entraîner ces modèles en quelques minutes ou secondes.

Si vous avez encore besoin d'une raison pour travailler avec des GPU, découvrez cette excellente explication de Faizan Shaikh.

Si est un hackathon sur la science des données ou un projet de deep learning, Je préfère toujours un GPU à tout autre CPU en raison de la grande puissance de calcul et de la vitesse d'exécution. Mais tout le monde ne peut pas se permettre un GPU car c'est cher. C'est là qu'intervient Google Colab..

Vous donne un GPU décent gratuitement, que vous pouvez courir en continu pendant 12 Heures. Pour la plupart des spécialistes de la science des données, cela suffit pour répondre à vos besoins informatiques. Surtout si vous êtes débutant, Je vous recommande de commencer à utiliser Google Colab.

Google Colab nous propose trois types de runtime pour nos ordinateurs portables:

Comme je le mentionne, Colab nous propose 12 heures de fonctionnement continu. Après cela, toute la machine virtuelle est effacée et nous devons recommencer. Nous pouvons exécuter plusieurs instances de CPU, GPU et TPU simultanément, mais nos ressources sont partagées entre ces instances.

Jetons un œil aux spécifications des différents runtimes proposés par Google Colab:

uc2-e1583900164853-300x74-4698612

Il vous en coûtera BEAUCOUP d'acheter un GPU ou un TPU sur le marché. Pourquoi ne pas économiser cet argent et utiliser Google Colab dans le confort de votre propre machine?

Présentation de Google Colab

Vous pouvez accéder à Google Colab en utilisant ce lien. Voici l'écran que vous obtiendrez lorsque vous ouvrirez Colab:

uc1-5934919

Clique sur le NOUVEAU CARNET pour créer un nouveau bloc-notes Colab. Vous pouvez également télécharger votre bloc-notes local dans Colab en cliquant sur le bouton de téléchargement:

uc17-3993356

Vous pouvez également importer votre ordinateur portable depuis Google Drive ou GitHub, mais nécessitent un processus d'authentification.

uc3-300x132-1205564

Vous pouvez changer le nom de votre bloc-notes en cliquant sur le nom du bloc-notes et le changer en ce que vous voulez. Je les nomme généralement en fonction du projet sur lequel je travaille.

Environnements d'exécution de Google Colab: choix de l'option GPU ou TPU

La possibilité de choisir différents types d'environnements d'exécution est ce qui rend Colab si populaire et puissant. Voici les étapes pour changer le temps d'exécution de votre ordinateur portable:

Paso 1: Cliquez sur « Exécution’ dans le menu du haut et sélectionnez « Modifier le type d'exécution »:

uc14-300x262-5668042

Paso 2: Ici, vous pouvez modifier le temps d'exécution en fonction de vos besoins:

uc4-1277397

Un homme sage a dit un jour: “Un grand pouvoir implique de grandes responsabilités”. Je vous implore d'éteindre votre ordinateur portable après avoir terminé votre travail afin que d'autres puissent utiliser ces ressources car elles sont partagées par plusieurs utilisateurs. Vous pouvez finir votre ordinateur portable comme ceci:

uc15-e1583920445689-2428502

Utiliser les commandes de terminal dans Google Colab

Vous pouvez utiliser la cellule Colab pour exécuter des commandes de terminal. La plupart des bibliothèques populaires sont installées par défaut dans Google Colab. Oui, Piton des bibliothèques comme Pandas, NumPy, scikit-apprendre ils sont tous pré-installés.

Si vous souhaitez exécuter une bibliothèque Python différente, vous pouvez toujours l'installer dans votre notebook Colab de cette façon:

!pip installer nom_bibliothèque

assez facile, vérité? Tout est similaire à la façon dont cela fonctionne dans un terminal normal. Vous n'avez qu'à mettre un exclamation(!) avant de taper chaque commande comme:

!ls

O:

!pwd

Clonage de référentiels sur Google Colab

Vous pouvez également cloner un référentiel Git dans Google Colaboratory. Accédez simplement à votre référentiel GitHub et copiez le lien de clonage du référentiel:

uc5-300x139-1724668

Alors, juste courir:

!clone git https://github.com/analyticsvidhya/Complete-Guide-to-Parameter-Tuning-in-XGBoost-with-codes-in-Python.git

uc6-7278709

Et voilà!

Télécharger des fichiers et des ensembles de données

C'est un aspect que tout data scientist devrait connaître. La possibilité d'importer votre ensemble de données dans Colab est la première étape de votre parcours d'analyse de données.

L'approche la plus simple consiste à télécharger votre ensemble de données directement dans Colab:

uc7-300x239-6521716

Vous pouvez utiliser cette approche si votre ensemble de données ou votre fichier est très petit car la vitesse de chargement dans cette méthode est assez faible. Une autre approche que je recommande consiste à télécharger votre ensemble de données sur Google Drive et à monter votre disque dans Colab. Vous pouvez le faire en un seul clic de souris:

uc8-300x239-7869186

Vous pouvez également télécharger votre ensemble de données sur n'importe quelle autre plate-forme et y accéder via son lien. J'ai tendance à opter pour la deuxième approche la plupart du temps (quand c'est possible).

Enregistrez votre bloc-notes

Tous les blocs-notes Colab sont stockés sur votre Google Drive. La meilleure chose à propos de Colab est que votre carnet est automatiquement enregistré après un certain temps et vous ne perdez pas votre progression.

Si vous le souhaitez, vous pouvez exporter et enregistrer votre cahier dans des formats * .py oui * .ipynb:

uc13-2339002

Non seulement cela, vous pouvez également enregistrer une copie de votre bloc-notes directement sur GitHub, ou vous pouvez créer un GitHub Gist:

uc10-185x300-2245243

J'aime la variété d'options que nous avons.

Exportation de données / Fichiers Google Colab

Vous pouvez exporter vos fichiers directement vers Google Drive, ou vous pouvez les exporter vers l'instance de VM et les télécharger vous-même:

uc9-6816546

L'exportation directe vers Drive est une meilleure option lorsque vous avez des fichiers plus volumineux ou plusieurs fichiers. Vous apprendrez ces nuances en travaillant sur des projets plus importants dans Colab.

Partagez votre bloc-notes

Google Colab nous offre également un moyen simple de partager notre travail avec d'autres. C'est l'une des meilleures choses à propos de Colab:

uc11-e1583901050742-4951056

Cliquez simplement sur le Partager , et nous donne la possibilité de créer un lien à partager que nous pouvons partager via n'importe quelle plate-forme. Vous pouvez également inviter d'autres personnes en utilisant leurs identifiants de messagerie. C'est exactement la même chose que de partager un document Google ou une feuille Google.. La complexité et la simplicité de l'écosystème Google sont stupéfiantes !!

uc12-300x132-6718933

Suivant?

Google Colab propose désormais également une plateforme de paiement appelée Google Colab Pro, Au prix de $ 9,99 un mois. Dans ce régime, vous pouvez obtenir le Tesla T4 O Tesla P100 GPU et la possibilité de sélectionner une instance avec une RAM élevée d'environ 27 FR. En outre, son temps de calcul maximum double de 12 heures à 24 Heures. À quel point cela est cool?

Vous pouvez envisager ce plan si vous avez besoin d'une puissance de calcul élevée, car il est encore assez bon marché par rapport à d'autres fournisseurs de GPU cloud comme AWS, Azure et même GCP.

Je travaille également sur un autre article où je vous donnerai tous les trucs et astuces à connaître pour maîtriser Google Colab. Si vous avez trouvé cet article informatif, Partagez-le avec vos amis et commentez ci-dessous avec vos commentaires ou questions.

Abonnez-vous à notre newsletter

Nous ne vous enverrons pas de courrier SPAM. Nous le détestons autant que vous.