Google Colab: ora crea fantastici modelli di deep learning sulla tua macchina.
“Errore di memoria”: quel messaggio familiare e temuto nei notebook Jupyter quando si tenta di eseguire un algoritmo di machine learning o deep learning su un set di dati di grandi dimensioni. La maggior parte di noi non ha accesso a una potenza di calcolo illimitata sulle nostre macchine.. E ammettiamolo, costa un braccio e una gamba per ottenere una GPU decente dai fornitori di cloud esistenti.
Quindi, Come possiamo costruire grandi modelli di deep learning senza metterci un buco nelle tasche??
Fai un passo avanti: ¡Google Colab! È incredibile piattaforma online basata su browser che ci consente di addestrare gratuitamente i nostri modelli sulle macchine. Sembra troppo bello per essere vero, ma grazie a google, ora possiamo lavorare con grandi set di dati, creare modelli complessi e persino condividere il nostro lavoro senza problemi con gli altri. Questo è il potere di Google Colab.
Onestamente, lavorare con Colab mi ha aperto così tante strade che prima pensavo non fossero possibili. Non abbiamo più la restrizione della poca potenza di calcolo nelle nostre macchine. Le GPU gratuite sono a portata di mano, poi, Che cosa state aspettando?
Se sei nuovo nel mondo del deep learning, Ho delle ottime risorse per aiutarti a iniziare in modo completo e strutturato:
Sommario
Che cos'è Google Colab??
Google Collaborativo è un ambiente notebook Jupyter online gratuito basato su cloud che ci consente di addestrare i nostri modelli di machine learning e deep learning sulle CPU, GPU e TPU.
Questo è ciò che amo davvero di Colab. Non importa quale computer hai, qual è la tua configurazione e quanti anni potrebbe avere. Puoi ancora utilizzare Google Colab! Tutto ciò di cui hai bisogno è un account Google e un browser web. Ed ecco la ciliegina sulla torta: hai accesso alla GPU come Tesla K80 e anche un TPU, gratuito!
Le TPU sono molto più costose di una GPU e puoi usarle gratuitamente su Colab. Vale la pena ripeterlo più e più volte: è un'offerta come nessun'altra.
Stai ancora utilizzando lo stesso laptop Jupyter nel tuo sistema per addestrare i modelli?? crema, adorerai Google Colab.
GPU e TPU in Google Colab
Chiedi a chiunque utilizzi Colab perché lo adora. La risposta è unanime: la disponibilità di GPU e TPU gratuite. I modelli di allenamento, soprattutto quelli di apprendimento profondo, richiedono diverse ore su una CPU. Abbiamo tutti affrontato questo problema sulle nostre macchine locali. GPU e TPU, In secondo luogo, possono addestrare questi modelli in pochi minuti o secondi.
Se hai ancora bisogno di un motivo per lavorare con le GPU, dai un'occhiata a questa eccellente spiegazione di Faizan Shaikh.
Se è uno hackathon di scienza dei dati o un progetto di deep learning, Preferisco sempre una GPU a qualsiasi altra CPU per via della grande potenza di calcolo e velocità di esecuzione. Ma non tutti possono permettersi una GPU perché è costosa. È qui che entra in gioco Google Colab..
Ti offre una GPU decente gratuitamente, per cui puoi correre continuamente 12 ore. Per la maggior parte degli esperti di data science, questo è sufficiente per soddisfare le tue esigenze informatiche. Soprattutto se sei un principiante, Ti consiglio di iniziare a utilizzare Google Colab.
Google Colab ci offre tre tipi di runtime per i nostri laptop:
Come ho già detto, Colab ci offre 12 ore di autonomia continua. Successivamente, l'intera macchina virtuale viene cancellata e dobbiamo ricominciare da capo. Possiamo eseguire più istanze di CPU, GPU e TPU contemporaneamente, ma le nostre risorse sono condivise tra queste istanze.
Diamo un'occhiata alle specifiche dei diversi runtime offerti da Google Colab:
Ti costerà MOLTO acquistare una GPU o TPU dal mercato. Perché non risparmiare e utilizzare Google Colab comodamente dalla tua macchina??
Introduzione a Google Colab
Puoi andare su Google Colab usando questo link. Questa è la schermata che otterrai quando apri Colab:
Clicca sul NUOVO TACCUINO per creare un nuovo taccuino Colab. Puoi anche caricare il tuo taccuino locale su Colab facendo clic sul pulsante di caricamento:
Puoi anche importare il tuo laptop da Google Drive o GitHub, ma richiedono un processo di autenticazione.
Puoi cambiare il nome del tuo taccuino facendo clic sul nome del taccuino e cambiarlo in quello che vuoi. Di solito li nomino in base al progetto a cui sto lavorando.
Runtime di Google Colab: scelta dell'opzione GPU o TPU
La possibilità di scegliere diversi tipi di runtime è ciò che rende Colab così popolare e potente. Ecco i passaggi per modificare il runtime del tuo laptop:
passo 1: Fare clic su "Runtime"’ nel menu in alto e seleziona 'Cambia tipo di runtime':
passo 2: Qui puoi modificare il runtime in base alle tue esigenze:
Un uomo saggio una volta disse: “Con un grande potere viene una grande responsabilità”. Ti imploro di spegnere il tuo laptop dopo aver completato il tuo lavoro in modo che altri possano utilizzare queste risorse perché sono condivise da più utenti. Puoi finire il tuo laptop in questo modo:
Utilizzo dei comandi del terminale in Google Colab
Puoi usare la cella Colab per eseguire i comandi del terminale. La maggior parte delle librerie popolari sono installate di default in Google Colab. sì, Chiodo biblioteche come panda, NumPy, scikit-impara sono tutti preinstallati.
Se vuoi eseguire una libreria Python diversa, puoi sempre installarlo all'interno del tuo taccuino Colab in questo modo:
!pip install nome_libreria
abbastanza facile, verità? Tutto è simile a come funziona in un normale terminale. Devi solo mettere un esclamazione(!) prima di digitare ogni comando come:
!ls
oh:
!pwd
Clonazione dei repository su Google Colab
Puoi anche clonare un repository Git all'interno di Google Colaboratory. Vai al tuo repository GitHub e copia il link clone del repository:
Dopo, corri:
!git clone https://github.com/analyticsvidhya/Complete-Guide-to-Parameter-Tuning-in-XGBoost-with-codes-in-Python.git
Ed ecco qua!
Carica file e set di dati
Questo è un aspetto che ogni data scientist dovrebbe conoscere. La possibilità di importare il tuo set di dati in Colab è il primo passo nel tuo percorso di analisi dei dati.
L'approccio più semplice è caricare il tuo set di dati direttamente su Colab:
Puoi usare questo approccio se il tuo set di dati o file è molto piccolo perché la velocità di caricamento in questo metodo è piuttosto bassa. Un altro approccio che consiglio è caricare il tuo set di dati su Google Drive e montare il tuo disco in Colab. Puoi farlo con un solo clic del mouse:
Puoi anche caricare il tuo set di dati su qualsiasi altra piattaforma e accedervi tramite il suo link. Tendo ad andare per il secondo approccio la maggior parte del tempo (quando possibile).
Salva il tuo taccuino
Tutti i taccuini Colab sono archiviati sul tuo Google Drive. La cosa migliore di Colab è che il tuo taccuino viene salvato automaticamente dopo un certo periodo di tempo e non perdi i tuoi progressi.
Se desideri, puoi esportare e salvare il tuo taccuino in formati * .py y * .ipynb:
Non solo quello, puoi anche salvare una copia del tuo taccuino direttamente su GitHub, oppure puoi creare un GitHub Gist:
Adoro la varietà di opzioni che abbiamo.
Esportazione dati / File di Google Colab
Puoi esportare i tuoi file direttamente su Google Drive, oppure puoi esportarli nell'istanza VM e scaricarli tu stesso:
L'esportazione diretta su Drive è un'opzione migliore quando si hanno file più grandi o più di un file. Imparerai queste sfumature mentre lavorerai su progetti più grandi in Colab.
Condividi il tuo taccuino
Google Colab ci offre anche un modo semplice per condividere il nostro lavoro con gli altri. Questa è una delle cose migliori di Colab:
Basta fare clic su Condividere , e ci dà la possibilità di creare un collegamento da condividere che possiamo condividere attraverso qualsiasi piattaforma. Puoi anche invitare altre persone utilizzando i loro ID e-mail. È esattamente come condividere un documento Google o un foglio Google.. Le complessità e la semplicità dell'ecosistema di Google sono sbalorditive!!
Qual è il prossimo?
Google Colab ora offre anche una piattaforma di pagamento chiamata Google Colab Pro, Al prezzo di $ 9,99 un mese. In questo piano, puoi ottenere il Tesla T4 oh Tesla P100 GPU e l'opzione per selezionare un'istanza con una RAM elevata di circa 27 GB. Cosa c'è di più, il suo tempo massimo di calcolo raddoppia da 12 ore a 24 ore. Quant'è fico?
Puoi prendere in considerazione questo piano se hai bisogno di un'elevata potenza di calcolo perché è ancora abbastanza economico rispetto ad altri fornitori di GPU cloud come AWS, Azure e persino GCP.
Sto anche lavorando a un altro articolo in cui ti darò tutti i suggerimenti e i trucchi che devi sapere per padroneggiare Google Colab. Se hai trovato questo articolo informativo, Condividilo con i tuoi amici e commenta qui sotto con i tuoi commenti o domande.
