Suggerimenti di Google Colab | Suggerimenti e trucchi per Google Colab

Condividere su Facebook
Condividere su twitter
Condividere su linkato
Condividere su telegramma
Condividere su WhatsApp

Contenuti

Questo articolo è stato pubblicato nell'ambito del Blogathon sulla scienza dei dati

introduzione

, oh “al” Per abbreviare, sono Jupyter Notebook ospitati da Google che ti consentono di scrivere ed eseguire codice Python tramite il tuo browser. È facile usare un Colab ed è collegato al tuo account Google. Colab fornisce accesso gratuito a GPU e TPU, nessuna configurazione richiesta e facile condividere il tuo codice con la community.

Colab ha una storia affascinante. È uno strumento interno per l'analisi dei dati in Google. tuttavia, in seguito è stato rilasciato pubblicamente e, da allora, molte persone hanno utilizzato questo strumento per svolgere le proprie attività di apprendimento automatico. La maggior parte degli studenti e degli utenti senza GPU utilizza colab come risorsa gratuita per eseguire i propri esperimenti di data science.

Questo articolo raccoglie alcuni suggerimenti e trucchi utili che utilizzo per facilitare il mio lavoro in Colab. Ho cercato di elencare la maggior parte delle fonti dove le ho lette per prime. Questi suggerimenti ti aiuteranno a ottenere il massimo dai tuoi taccuini Colab.

Utilizzo di runtime locali

Normalmente, Colab ti offre risorse GPU gratuite. tuttavia, se hai già le tue GPU e vuoi usare l'interfaccia utente di Colab, c'è una soluzione. Gli utenti possono utilizzare l'interfaccia utente di Colab con un runtime locale come segue:

38382ulr-1686677
Immagine dell'autore

È possibile utilizzare questo metodo per eseguire il codice sull'hardware locale e accedere al file system locale senza uscire dal notebook Colab.. La seguente documentazione approfondisce come funziona. guarda questo documento per ulteriori dettagli.

Bloc notes

Se stai creando più taccuini con nomi come “untitled.ipynb” e “untitled1.ipynb”, eccetera. Penso che alcuni di noi potrebbero navigare sulla stessa barca in questo senso.. Così lui Taccuino con blocco note nuvola potrebbe essere per te se è così.

62409graffio-9214982
Immagine dell'autore

Il blocco note cloud è un taccuino specifico disponibile all'URL: https://colab.research.google.com/notebooks/empty.ipynb che non viene salvato automaticamente nell'account del tuo disco. È utile per la sperimentazione o per lavori non banali e non occupa spazio in Google Drive.

Ricevi notifiche sulle esecuzioni di celle completate

Gli utenti ricevono notifiche al termine dell'esecuzione, anche se passano a un'altra scheda, finestra o app. Gli utenti possono abilitarlo tramite Strumenti> Collocamento> Posto> Mostra notifiche desktop (e consenti le notifiche del browser una volta richiesto) per verificarlo.

Ecco come appare la notifica anche se si trova in un'altra scheda.

332551_sgv8gjbbplsdnu92qcxuca-8172581
Immagine dell'autore

Ecco una demo di notifica che appare anche se accedi a un'altra scheda.

196891_sgv8gjbbplsdnu92qcxuca-7541754

Immagine dell'autore

I taccuini GitHub Jupyter si aprono direttamente in Colab

I taccuini Colab sono stati sviluppati in modo tale da poter essere facilmente integrati con Github. Significa che puoi caricare e salvare i taccuini Colab direttamente su GitHub. Abbiamo un modo semplice per farlo, grazie a Seungjae Ryan Lee.

Quando sei in un taccuino su Github che vuoi vedere in Colab, sostituisci github con githubtocolab nell'URL, lasciando tutto il resto invariato.

13923seghe-4174919

Immagine dell'autore

Set di dati Kaggle in Google Colab

Al momento del budget ridotto e aveva consumato la sua quota di GPU in Kaggle, questo trucco potrebbe essere una pausa per te. Qualsiasi set di dati può essere scaricato senza problemi da Kaggle al tuo spazio di lavoro Colab. Questo è quello che dovresti fare:

85172k-1987911
Immagine dell'autore

Dopo aver fatto clic sulla scheda "Crea nuovo token API", viene generato un file kaggle.json composto dal tuo token API. Crea una cartella Kaggle sul tuo Google Drive e archivia il file kaggle.json al suo interno

55861k1-4395768
Immagine dell'autore

Montare l'unità in un laptop colab

55892k2-5388607
Immagine dell'autore

Modifica il percorso di configurazione in "Kaggle.json"’ e cambia la directory di lavoro corrente

importare il sistema operativo
os.environ['KAGGLE_CONFIG_DIR'] = "/contenuto/unità/I miei file/Kaggle"
%cd /content/drive/MyDrive/Kaggle

Copia l'API del set di dati da scaricare

41185tempsnip-3310314
Immagine dell'autore

L'API è presente nella "scheda Dati"’ per set di dati legati a concorsi.

40614tempsnip1-5453318

Immagine dell'autore

Finalmente, eseguire uno dei seguenti comandi per scaricare il set di dati

!download di set di dati kaggle -d alexanderbader/forbes-billionaires-2021-30
!download gare kaggle -c google-smartphone-decimeter-challenge
21027k5-5587774

Immagine dell'autore

Trova i tuoi laptop nell'unità

Se vuoi trovare un laptop Colab specifico nell'unità? Vai alla casella di ricerca dell'unità e aggiungi:

 application/vnd.google.colaboratory

Elencherà tutti i tuoi taccuini sul tuo Google Drive. Cosa c'è di più, puoi anche specificare il titolo e la proprietà del taccuino. Ad esempio, se ho bisogno di trovare un taccuino creato molto tempo fa, Che cos'ha il Transfer?’ nel tuo titolo, quanto segue aiuta a ottenerlo:

87004ricerca-8722952
Immagine dell'autore

Estensione tabella dati

Colab include a estensione caricare i frame di dati dei panda in display interattivi che possono essere classificati, filtra e naviga in modo dinamico. Scrivi il seguente codice nella cella del notebook per abilitare la visualizzazione della tabella dati per i frame di dati Pandas.

%load_ext google.colab.data_table #Per disabilitare il display
%unload_ext google.colab.data_table

Ecco una rapida demo:

93530da-2460976

Immagine dell'autore

Confronto notebook

Quando si utilizza Colab, è facile confrontare due laptop. Usa Ver> Differenzia i taccuini nel menu Colab o vai a https://colab.research.google.com/diff e nella casella di input, incolla gli URL dei taccuini per vedere la differenza.

66826dif-7169568
Immagine dell'autore

Impedisci a Colab di disconnettersi

Disconnesso per inattività:

Questo è uno svantaggio significativo di Google Colab e sono sicuro che molti di voi lo avranno sperimentato almeno una volta.. Decidi di fare una pausa, ma quando torna, Il tuo laptop è disconnesso!

Infatti, se lasciamo il laptop inattivo per più di 30 minuti, Google Colab ti disconnette automaticamente.

Apri Chrome DevTools premendo F12 su Windows o ctrl + spostare + in un Linux, e poi scrivi il seguente codice javascript nella tua console:

funzione KeepClicking(){
console.log("Facendo clic su");
document.querySelector("pulsante di connessione colab").clic() }
setInterval(Continua a fare clic,60000)

Ogni 60 secondi, questa funzione fa clic sul pulsante di connessione. Di conseguenza, Colab ritiene che il laptop non sia inattivo e che non dovresti preoccuparti di disconnetterti.

Disconnessione durante l'esecuzione di un'attività:

Iniziare, nota che quando ti colleghi a una GPU, Puoi utilizzare la macchina solo nel cloud per un massimo di 12 ore alla volta.

Potresti essere disconnesso ad un certo punto durante questi 12 ore. “Collaboratory è progettato per un uso interattivo”, secondo le domande frequenti di Colab. Calcoli in background in esecuzione da molto tempo, soprattutto su GPU, può essere finalizzato.

Usa Tensorboard con Colab

TensorBoard è uno strumento per visualizzare metriche e visualizzazioni in un flusso di lavoro di deep learning. Può essere utilizzato immediatamente all'interno di Colab.

Si prega di caricare prima l'estensione per laptop TensorBoard:

%load_ext tensorboard

Una volta che il tuo modello è completo, avvia TensorBoard all'interno del laptop digitando:

%tensorboard --logdir logs
274720_1uqmvhdnttwcimpp-7086917
immagine per autore

conclusione

Questi sono stati alcuni trucchi che ho trovato molto utili, soprattutto quando si tratta di addestrare modelli ML su GPU. Sebbene i notebook Colab possano funzionare solo per un massimo di 12 ore, con trucchi precedentemente condivisi, dovresti essere in grado di ottenere il massimo dalla tua sessione.

Spero che questo articolo ti sia stato utile e ti auguro una splendida giornata., Grazie.

Il supporto mostrato in questo articolo non è di proprietà di DataPeaker e viene utilizzato a discrezione dell'autore.

Iscriviti alla nostra Newsletter

Non ti invieremo posta SPAM. Lo odiamo quanto te.