Cet article a été publié dans le cadre du Blogathon sur la science des données
introduction
, O “Al” abréger, sont des blocs-notes Jupyter hébergés par Google qui vous permettent d'écrire et d'exécuter du code Python via votre navigateur. Il est facile d'utiliser un Colab et il est lié à votre compte Google. Colab offre un accès gratuit au GPU et au TPU, aucune configuration requise et partage facile de votre code avec la communauté.
Colab a une histoire fascinante. C'est un outil interne d'analyse de données dans Google. Cependant, plus tard, il a été rendu public et, depuis, de nombreuses personnes utilisent cet outil pour accomplir leurs tâches d'apprentissage automatique. La plupart des étudiants et des utilisateurs sans GPU utilisent Colab comme ressource gratuite pour exécuter leurs expériences de science des données.
Cet article rassemble quelques trucs et astuces utiles que j'utilise pour faciliter mon travail chez Colab. J'ai essayé de lister la plupart des sources où je les ai lues en premier. Ces conseils vous aideront à tirer le meilleur parti de vos cahiers Colab.
Utilisation des environnements d'exécution locaux
Normalement, Colab vous offre des ressources GPU gratuites. Cependant, si vous possédez déjà vos GPU et souhaitez utiliser l'interface utilisateur de Colab, il y a une solution. Les utilisateurs peuvent utiliser l'interface utilisateur Colab avec un environnement d'exécution local comme suit:
Vous pouvez utiliser cette méthode pour exécuter du code sur votre matériel local et accéder à votre système de fichiers local sans quitter le bloc-notes Colab.. La documentation suivante explique comment cela fonctionne. Regarde ça document pour plus de détails.
Bloc-notes
Si vous créez plusieurs blocs-notes avec des noms comme “sans titre.ipynb” Oui “sans titre1.ipynb”, etc. Je pense que certains d'entre nous pourraient naviguer dans le même bateau à cet égard.. Alors lui Cahier avec bloc-notes nuage ça pourrait être pour toi si c'est le cas.
Le bloc-notes cloud est un cahier spécifique disponible à l'URL: https://colab.research.google.com/notebooks/empty.ipynb il n'est pas automatiquement enregistré sur votre compte de disque. Il est utile pour l'expérimentation ou le travail non trivial et ne prend pas de place dans Google Drive.
Recevez des notifications sur les exécutions de cellules terminées
Les utilisateurs reçoivent des notifications une fois l'exécution terminée, même s'ils passent à un autre onglet, fenêtre ou application. Les utilisateurs peuvent l'activer via Outils> Réglage> Placer> Afficher les notifications sur le bureau (et autoriser les notifications du navigateur une fois que vous y êtes invité) pour le vérifier.
Voici comment la notification apparaît même si elle se trouve dans un autre onglet.
Voici une démo de notification qui apparaît même si vous accédez à un autre onglet.
Image de l'auteur
Les notebooks GitHub Jupyter s'ouvrent directement dans Colab
Les notebooks Colab ont été développés de manière à pouvoir être facilement intégrés à Github. Cela signifie que vous pouvez télécharger et enregistrer des blocs-notes Colab directement sur GitHub. Nous avons un moyen facile de le faire, grâce à Seungjae Ryan Lee.
Lorsque vous êtes dans un bloc-notes sur Github que vous souhaitez voir dans Colab, remplacer github par githubtocolab dans l'url, laisser tout le reste inchangé.
Image de l'auteur
Ensembles de données Kaggle dans Google Colab
A l'époque du petit budget et avait consommé sa part de GPU à Kaggle, cette astuce pourrait être une pause pour vous. Tout jeu de données peut être téléchargé de manière transparente depuis Kaggle vers votre espace de travail Colab. C'est ce que tu devrais faire:
Après avoir cliqué sur l'onglet "Créer un nouveau jeton API", un fichier kaggle.json est généré composé de votre jeton API. Créer un dossier Kaggle sur votre Google Drive et stockez-y le fichier kaggle.json
Monter l'unité dans un ordinateur portable Colab
Remplacez le chemin de configuration par 'Kaggle.json’ et changer le répertoire de travail actuel
importer le système d'exploitation os.environ["KAGGLE_CONFIG_DIR"] = "/contenu/lecteur/Mon lecteur/Kaggle"
%cd /content/drive/MyDrive/Kaggle
Copier l'API de l'ensemble de données à télécharger
L'API est présente dans l'onglet ‘Données’ pour les jeux de données liés aux compétitions.
Image de l'auteur
Finalement, exécutez l'une des commandes suivantes pour télécharger l'ensemble de données
!téléchargement des ensembles de données kaggle -d alexanderbader/forbes-billionaires-2021-30
!téléchargement des compétitions kaggle -c google-smartphone-decimeter-challenge
Image de l'auteur
Trouvez vos ordinateurs portables dans le lecteur
Si vous souhaitez trouver un ordinateur portable Colab spécifique dans l'unité? Accédez à la zone de recherche de lecteur et ajoutez:
application/vnd.google.colaboratoire
Il listera tous vos blocs-notes sur votre Google Drive. En outre, vous pouvez également spécifier le titre et la propriété du bloc-notes. Par exemple, si j'ai besoin de retrouver un cahier créé il y a longtemps, Qu'est-ce que le transfert a?’ dans ton titre, ce qui suit aide à l'obtenir:
Extension de table de données
Colab comprend un extension pour charger des trames de données de pandas dans des affichages interactifs qui peuvent être classés, filtrer et parcourir dynamiquement. Écrivez le code suivant dans la cellule du bloc-notes pour activer l'affichage du tableau de données pour les blocs de données Pandas.
%load_ext google.colab.data_table #Pour diable l'affichage %unload_ext google.colab.data_table
Voici une démo rapide:
Image de l'auteur
Comparatif des ordinateurs portables
Lors de l'utilisation de Colab, il est facile de comparer deux ordinateurs portables. Utiliser la version> Différenciez les blocs-notes dans le menu Colab ou accédez à https://colab.research.google.com/diff et dans la zone de saisie, collez les urls des cahiers pour voir la différence.
Empêcher Colab de se déconnecter
Déconnecté pour cause d'inactivité:
C'est un inconvénient important de Google Colab et je suis sûr que beaucoup d'entre vous l'ont expérimenté au moins une fois.. Décider de faire une pause, mais quand il revient, Votre ordinateur portable est déconnecté!
En réalité, si nous laissons l'ordinateur portable inactif pendant plus de 30 minutes, Google Colab vous déconnecte automatiquement.
Ouvrez Chrome DevTools en appuyant sur F12 sous Windows ou ctrl + décalage + dans un Linux, puis écrivez le code javascript suivant dans votre console:
fonction KeepClick(){
console.log("En cliquant");
document.querySelector("bouton-connexion-colab").Cliquez sur() }
setInterval(Continuez à cliquer,60000)
Tous 60 secondes, cette fonction clique sur le bouton de connexion. Par conséquent, Colab pense que l'ordinateur portable n'est pas inactif et que vous ne devriez pas vous soucier de vous déconnecter.
Déconnexion pendant l'exécution d'une tâche:
Pour commencer, notez que lors de la connexion à un GPU, Vous ne pouvez utiliser la machine dans le cloud que pendant un maximum de 12 heures à la fois.
Vous pouvez être déconnecté à un moment donné pendant ces 12 Heures. “Collaboratory est conçu pour une utilisation interactive”, selon la foire aux questions de Colab. Des calculs en arrière-plan exécutés depuis longtemps, surtout sur les GPU, peut être finalisé.
Usa Tensorboard avec Colab
TensorBoard est un outil permettant d'afficher des métriques et des visualisations tout au long d'un workflow d'apprentissage en profondeur. Peut être utilisé immédiatement dans Colab.
Veuillez d'abord charger l'extension pour ordinateur portable TensorBoard:
%load_ext tensorboard
Une fois votre modèle terminé, démarrez TensorBoard à l'intérieur de l'ordinateur portable en tapant:
%tensorboard --logdir journaux
conclusion
Ce sont des astuces que j'ai trouvé très utiles, surtout lorsqu'il s'agit de former des modèles ML sur GPU. Bien que les notebooks Colab ne puissent fonctionner que pendant un maximum de 12 Heures, avec des astuces précédemment partagées, vous devriez pouvoir tirer le meilleur parti de votre session.
J'espère que vous avez trouvé cet article utile et passez une excellente journée., Merci.
Les médias présentés dans cet article ne sont pas la propriété de DataPeaker et sont utilisés à la discrétion de l'auteur.
