Dieser Artikel wurde im Rahmen der Data Science Blogathon
Einführung
, Ö “al” Um es abzukürzen, sind von Google gehostete Jupyter Notebooks, mit denen Sie Python-Code über Ihren Browser schreiben und ausführen können. Es ist einfach, ein Colab zu verwenden und es ist mit Ihrem Google-Konto verknüpft. Colab bietet kostenlosen Zugriff auf GPU und TPU, keine Einrichtung erforderlich und einfach, Ihren Code mit der Community zu teilen.
Colab hat eine faszinierende Geschichte. Es ist ein internes Tool zur Datenanalyse in Google. Aber trotzdem, später wurde es öffentlich veröffentlicht und, seit damals, Viele Leute haben dieses Tool verwendet, um ihre maschinellen Lernaufgaben zu erledigen. Die meisten Studenten und Benutzer ohne GPU verwenden Colab als kostenlose Ressource, um ihre datenwissenschaftlichen Experimente durchzuführen.
Dieser Artikel sammelt einige nützliche Tipps und Tricks, die ich verwende, um meine Arbeit bei Colab zu erleichtern. Ich habe versucht, die meisten Quellen dort aufzulisten, wo ich sie zuerst gelesen habe. Diese Tipps helfen Ihnen, das Beste aus Ihren Colab-Notizbüchern herauszuholen.
Lokale Laufzeiten verwenden
Normalerweise, Colab bietet Ihnen kostenlose GPU-Ressourcen. Aber trotzdem, wenn Sie bereits über Ihre GPUs verfügen und die Colab-Benutzeroberfläche verwenden möchten, es gibt eine lösung. Benutzer können die Colab-Benutzeroberfläche mit einer lokalen Laufzeit wie folgt verwenden:
Sie können diese Methode verwenden, um Code auf Ihrer lokalen Hardware auszuführen und auf Ihr lokales Dateisystem zuzugreifen, ohne das Colab-Notebook zu verlassen.. Die folgende Dokumentation befasst sich mit der Funktionsweise. Schau dir das an dokumentieren für mehr Details.
Notizblock
Wenn Sie mehrere Notizbücher mit Namen wie . erstellen “untitled.ipynb” Ja “untitled1.ipynb”, etc. Ich denke, einige von uns könnten diesbezüglich in einem Boot segeln.. So dass er Notizbuch mit Cloud-Notizblock es könnte für dich sein, wenn das der Fall ist.
Der Cloud-Notizblock ist ein spezielles Notizbuch, das unter der URL verfügbar ist: https://colab.research.google.com/notebooks/empty.ipynb es wird nicht automatisch auf Ihrem Festplattenkonto gespeichert. Es ist nützlich für Experimente oder nicht-triviale Arbeiten und nimmt keinen Platz in Google Drive ein.
Benachrichtigungen über abgeschlossene Zellenausführungen erhalten
Benutzer erhalten Benachrichtigungen, nachdem die Ausführung abgeschlossen ist, auch wenn sie zu einer anderen Registerkarte wechseln, Fenster oder App. Benutzer können es über Tools aktivieren> Einstellung> Seite? ˅> Desktop-Benachrichtigungen anzeigen (und erlauben Sie Browserbenachrichtigungen, sobald Sie dazu aufgefordert werden) um es zu überprüfen.
So wird die Benachrichtigung angezeigt, auch wenn sie sich in einer anderen Registerkarte befindet.
Hier ist eine Benachrichtigungsdemo, die auch dann angezeigt wird, wenn Sie zu einer anderen Registerkarte navigieren.
Bild des Autors
GitHub Jupyter-Notebooks werden direkt in Colab geöffnet
Colab-Notebooks wurden so entwickelt, dass sie sich problemlos in Github integrieren lassen. Das bedeutet, dass Sie Colab-Notebooks direkt auf GitHub hochladen und speichern können. Wir haben einen einfachen Weg, es zu tun, Dank an Seungjae Ryan Lee.
Wenn Sie sich in einem Notizbuch auf Github befinden, das Sie in Colab sehen möchten, github durch githubtocolab in der URL ersetzen, alles andere unverändert lassen.
Bild des Autors
Kaggle-Datensätze in Google Colab
Zu der Zeit des niedrigen Budgets und hatte seinen Anteil an GPU in Kaggle verbraucht, dieser Trick könnte eine Pause für dich sein. Jeder Datensatz kann nahtlos von Kaggle in Ihren Colab-Arbeitsbereich heruntergeladen werden. Das sollten Sie tun:
Nachdem Sie auf die Registerkarte "Neuen API-Token erstellen" geklickt haben, eine kaggle.json-Datei wird generiert, die aus Ihrem API-Token besteht. Einen Ordner erstellen Kaggle auf Ihrem Google Drive und speichern Sie die Datei kaggle.json darin
Montieren Sie das Gerät in einem Colab-Laptop
Ändern Sie den Konfigurationspfad in "Kaggle.json".’ und aktuelles Arbeitsverzeichnis ändern
Importieren von OS os.environ['KAGGLE_CONFIG_DIR'] = "/Inhalt/Laufwerk/Mein Laufwerk/Kaggle"
%cd /content/drive/MyDrive/Kaggle
Datensatz-API zum Herunterladen kopieren
Die API ist in der Registerkarte "Daten" vorhanden’ für Datensätze, die mit Wettbewerben verknüpft sind.
Bild des Autors
Schließlich, Führen Sie einen der folgenden Befehle aus, um den Datensatz herunterzuladen
!Kaggle-Datensätze herunterladen -d alexanderbader/forbes-billionaires-2021-30
!Kaggle-Wettbewerbe herunterladen -c google-smartphone-decimeter-challenge
Bild des Autors
Finden Sie Ihre Laptops im Laufwerk
Wenn Sie einen bestimmten Colab-Laptop im Gerät finden möchten? Gehen Sie zum Laufwerkssuchfeld und fügen Sie hinzu:
application/vnd.google.colaboratory
Es listet alle Ihre Notizbücher auf Ihrem Google Drive auf. Was ist mehr, Sie können auch den Titel und das Eigentum des Notizbuchs angeben. Zum Beispiel, wenn ich ein vor langer Zeit erstelltes Notizbuch finden muss, Was hat der Transfer?’ in deinem titel, Folgendes hilft, es zu bekommen:
Datentabellenerweiterung
Colab enthält a Verlängerung um Pandas-Datenrahmen in interaktive Displays zu laden, die klassifiziert werden können, dynamisch filtern und durchsuchen. Schreiben Sie den folgenden Code in die Notebook-Zelle, um die Anzeige der Datentabelle für Pandas-Datenrahmen zu aktivieren.
%load_ext google.colab.data_table #Um die Anzeige zu deaktivieren %unload_ext google.colab.data_table
Hier ist eine kurze Demo:
Bild des Autors
Notebook-Vergleich
Bei Verwendung von Colab, es ist einfach, zwei Laptops zu vergleichen. Verwenden Sie Ver> Unterscheiden Sie Notizbücher im Colab-Menü oder navigieren Sie zu https://colab.research.google.com/diff und im Eingabefeld, Fügen Sie die URLs der Notizbücher ein, um den Unterschied zu sehen.
Verhindern, dass Colab die Verbindung trennt
Getrennt wegen Inaktivität:
Dies ist ein erheblicher Nachteil von Google Colab und ich bin sicher, viele von Ihnen haben es mindestens einmal erlebt.. Entscheide dich für eine Pause, aber wenn er zurückkommt, Ihr Laptop ist nicht verbunden!
Eigentlich, wenn wir den Laptop länger als im Leerlauf lassen 30 Protokoll, Google Colab trennt Sie automatisch.
Öffnen Sie Chrome DevTools, indem Sie F12 unter Windows oder Strg drücken + Schicht + in einem Linux, und schreibe dann den folgenden Javascript-Code in deine Konsole:
Funktion Weiterklicken(){
Konsole.log("Klicken");
document.querySelector("Colab-Connect-Button").klicken() }
setInterval(Weiterklicken,60000)
Jeden 60 Sekunden, diese Funktion klickt auf die Schaltfläche Verbinden. Infolge, Colab ist der Meinung, dass der Laptop nicht im Leerlauf ist und Sie sich keine Sorgen machen sollten, dass die Verbindung getrennt wird.
Verbindung trennen, während eine Aufgabe ausgeführt wird:
Anfangen, Beachten Sie, dass beim Verbinden mit einer GPU, Sie können die Maschine in der Cloud nur maximal 12 Stunden am Stück.
Möglicherweise wird die Verbindung während dieser Zeit unterbrochen 12 Std. “Collaboratory ist für die interaktive Nutzung konzipiert”, laut Colabs häufig gestellten Fragen. Hintergrundberechnungen, die schon länger laufen, vor allem auf GPUs, kann abgeschlossen werden.
Usa Tensorboard mit Colab
TensorBoard ist ein Tool zur Anzeige von Metriken und Visualisierungen in einem Deep-Learning-Workflow. Kann sofort in Colab verwendet werden.
Bitte laden Sie zuerst die TensorBoard Laptop-Erweiterung auf:
%load_ext-Tensorboard
Sobald Ihr Modell fertig ist, Starten Sie TensorBoard im Laptop, indem Sie tippen:
%tensorboard --logdir logs
Fazit
Das waren einige Tricks, die ich sehr nützlich fand, insbesondere wenn es um das Training von ML-Modellen auf der GPU geht. Obwohl Colab-Notebooks nur maximal 12 Std, mit zuvor geteilten Cheats, Sie sollten in der Lage sein, das Beste aus Ihrer Sitzung herauszuholen.
Ich hoffe, Sie fanden diesen Artikel nützlich und haben einen schönen Tag., Danke.
Die in diesem Artikel gezeigten Medien sind nicht Eigentum von DataPeaker und werden nach Ermessen des Autors verwendet.
