Questo articolo è stato pubblicato nell'ambito del Blogathon sulla scienza dei dati
introduzione
, oh “al” Per abbreviare, sono Jupyter Notebook ospitati da Google che ti consentono di scrivere ed eseguire codice Python tramite il tuo browser. È facile usare un Colab ed è collegato al tuo account Google. Colab fornisce accesso gratuito a GPU e TPU, nessuna configurazione richiesta e facile condividere il tuo codice con la community.
Colab ha una storia affascinante. È uno strumento interno per l'analisi dei dati in Google. tuttavia, in seguito è stato rilasciato pubblicamente e, da allora, molte persone hanno utilizzato questo strumento per svolgere le proprie attività di apprendimento automatico. La maggior parte degli studenti e degli utenti senza GPU utilizza colab come risorsa gratuita per eseguire i propri esperimenti di data science.
Questo articolo raccoglie alcuni suggerimenti e trucchi utili che utilizzo per facilitare il mio lavoro in Colab. Ho cercato di elencare la maggior parte delle fonti dove le ho lette per prime. Questi suggerimenti ti aiuteranno a ottenere il massimo dai tuoi taccuini Colab.
Utilizzo di runtime locali
Normalmente, Colab ti offre risorse GPU gratuite. tuttavia, se hai già le tue GPU e vuoi usare l'interfaccia utente di Colab, c'è una soluzione. Gli utenti possono utilizzare l'interfaccia utente di Colab con un runtime locale come segue:
È possibile utilizzare questo metodo per eseguire il codice sull'hardware locale e accedere al file system locale senza uscire dal notebook Colab.. La seguente documentazione approfondisce come funziona. guarda questo documento per ulteriori dettagli.
Bloc notes
Se stai creando più taccuini con nomi come “untitled.ipynb” e “untitled1.ipynb”, eccetera. Penso che alcuni di noi potrebbero navigare sulla stessa barca in questo senso.. Così lui Taccuino con blocco note nuvola potrebbe essere per te se è così.
Il blocco note cloud è un taccuino specifico disponibile all'URL: https://colab.research.google.com/notebooks/empty.ipynb che non viene salvato automaticamente nell'account del tuo disco. È utile per la sperimentazione o per lavori non banali e non occupa spazio in Google Drive.
Ricevi notifiche sulle esecuzioni di celle completate
Gli utenti ricevono notifiche al termine dell'esecuzione, anche se passano a un'altra scheda, finestra o app. Gli utenti possono abilitarlo tramite Strumenti> Collocamento> Posto> Mostra notifiche desktop (e consenti le notifiche del browser una volta richiesto) per verificarlo.
Ecco come appare la notifica anche se si trova in un'altra scheda.
Ecco una demo di notifica che appare anche se accedi a un'altra scheda.
Immagine dell'autore
I taccuini GitHub Jupyter si aprono direttamente in Colab
I taccuini Colab sono stati sviluppati in modo tale da poter essere facilmente integrati con Github. Significa che puoi caricare e salvare i taccuini Colab direttamente su GitHub. Abbiamo un modo semplice per farlo, grazie a Seungjae Ryan Lee.
Quando sei in un taccuino su Github che vuoi vedere in Colab, sostituisci github con githubtocolab nell'URL, lasciando tutto il resto invariato.
Immagine dell'autore
Set di dati Kaggle in Google Colab
Al momento del budget ridotto e aveva consumato la sua quota di GPU in Kaggle, questo trucco potrebbe essere una pausa per te. Qualsiasi set di dati può essere scaricato senza problemi da Kaggle al tuo spazio di lavoro Colab. Questo è quello che dovresti fare:
Dopo aver fatto clic sulla scheda "Crea nuovo token API", viene generato un file kaggle.json composto dal tuo token API. Crea una cartella Kaggle sul tuo Google Drive e archivia il file kaggle.json al suo interno
Montare l'unità in un laptop colab
Modifica il percorso di configurazione in "Kaggle.json"’ e cambia la directory di lavoro corrente
importare il sistema operativo os.environ['KAGGLE_CONFIG_DIR'] = "/contenuto/unità/I miei file/Kaggle"
%cd /content/drive/MyDrive/Kaggle
Copia l'API del set di dati da scaricare
L'API è presente nella "scheda Dati"’ per set di dati legati a concorsi.
Immagine dell'autore
Finalmente, eseguire uno dei seguenti comandi per scaricare il set di dati
!download di set di dati kaggle -d alexanderbader/forbes-billionaires-2021-30
!download gare kaggle -c google-smartphone-decimeter-challenge
Immagine dell'autore
Trova i tuoi laptop nell'unità
Se vuoi trovare un laptop Colab specifico nell'unità? Vai alla casella di ricerca dell'unità e aggiungi:
application/vnd.google.colaboratory
Elencherà tutti i tuoi taccuini sul tuo Google Drive. Cosa c'è di più, puoi anche specificare il titolo e la proprietà del taccuino. Ad esempio, se ho bisogno di trovare un taccuino creato molto tempo fa, Che cos'ha il Transfer?’ nel tuo titolo, quanto segue aiuta a ottenerlo:
Estensione tabella dati
Colab include a estensione caricare i frame di dati dei panda in display interattivi che possono essere classificati, filtra e naviga in modo dinamico. Scrivi il seguente codice nella cella del notebook per abilitare la visualizzazione della tabella dati per i frame di dati Pandas.
%load_ext google.colab.data_table #Per disabilitare il display %unload_ext google.colab.data_table
Ecco una rapida demo:
Immagine dell'autore
Confronto notebook
Quando si utilizza Colab, è facile confrontare due laptop. Usa Ver> Differenzia i taccuini nel menu Colab o vai a https://colab.research.google.com/diff e nella casella di input, incolla gli URL dei taccuini per vedere la differenza.
Impedisci a Colab di disconnettersi
Disconnesso per inattività:
Questo è uno svantaggio significativo di Google Colab e sono sicuro che molti di voi lo avranno sperimentato almeno una volta.. Decidi di fare una pausa, ma quando torna, Il tuo laptop è disconnesso!
Infatti, se lasciamo il laptop inattivo per più di 30 minuti, Google Colab ti disconnette automaticamente.
Apri Chrome DevTools premendo F12 su Windows o ctrl + spostare + in un Linux, e poi scrivi il seguente codice javascript nella tua console:
funzione KeepClicking(){
console.log("Facendo clic su");
document.querySelector("pulsante di connessione colab").clic() }
setInterval(Continua a fare clic,60000)Ogni 60 secondi, questa funzione fa clic sul pulsante di connessione. Di conseguenza, Colab ritiene che il laptop non sia inattivo e che non dovresti preoccuparti di disconnetterti.
Disconnessione durante l'esecuzione di un'attività:
Iniziare, nota che quando ti colleghi a una GPU, Puoi utilizzare la macchina solo nel cloud per un massimo di 12 ore alla volta.
Potresti essere disconnesso ad un certo punto durante questi 12 ore. “Collaboratory è progettato per un uso interattivo”, secondo le domande frequenti di Colab. Calcoli in background in esecuzione da molto tempo, soprattutto su GPU, può essere finalizzato.
Usa Tensorboard con Colab
Scheda TensorBoardTensorBoard è uno strumento di visualizzazione che accompagna TensorFlow, Progettato per facilitare l'analisi dei modelli di machine learning. Consente agli utenti di monitorare metriche come la perdita e l'accuratezza, oltre a visualizzare grafici e strutture del modello. Grazie alla sua interfaccia intuitiva, TensorBoard aiuta gli sviluppatori a comprendere meglio le prestazioni dei loro modelli e ad apportare le modifiche necessarie durante il processo di addestramento.... è uno strumento per la visualizzazione di metriche e visualizzazioni in un flusso di lavoro di apprendimento profondoApprendimento profondo, Una sottodisciplina dell'intelligenza artificiale, si affida a reti neurali artificiali per analizzare ed elaborare grandi volumi di dati. Questa tecnica consente alle macchine di apprendere modelli ed eseguire compiti complessi, come il riconoscimento vocale e la visione artificiale. La sua capacità di migliorare continuamente man mano che vengono forniti più dati lo rende uno strumento chiave in vari settori, dalla salute.... Può essere utilizzato immediatamente all'interno di Colab.
Si prega di caricare prima l'estensione per laptop TensorBoard:
%load_ext tensorboard
Una volta che il tuo modello è completo, avvia TensorBoard all'interno del laptop digitando:
%tensorboard --logdir logs
conclusione
Questi sono stati alcuni trucchi che ho trovato molto utili, soprattutto quando si tratta di addestrare modelli ML su GPU. Sebbene i notebook Colab possano funzionare solo per un massimo di 12 ore, con trucchi precedentemente condivisi, dovrebbe essere in grado di sfruttare al meglio il tuo sessioneIl "Sessione" È un concetto chiave nel campo della psicologia e della terapia. Si riferisce a un incontro programmato tra un terapeuta e un cliente, dove si esplorano i pensieri, Emozioni e comportamenti. Queste sessioni possono variare in durata e frequenza, e il suo scopo principale è quello di facilitare la crescita personale e la risoluzione dei problemi. L'efficacia delle sessioni dipende dalla relazione tra il terapeuta e il terapeuta...
Spero che questo articolo ti sia stato utile e ti auguro una splendida giornata., Grazie.
Il supporto mostrato in questo articolo non è di proprietà di DataPeaker e viene utilizzato a discrezione dell'autore.
