Usa Google Colab per i modelli di deep learning e machine learning

Google Colab: ora crea fantastici modelli di deep learning sulla tua macchina.

“Errore di memoria”: ese mensaje tan familiar y temido en los cuadernos de Jupyter cuando intentamos ejecutar un algoritmo de aprendizaje automático o apprendimento profondoApprendimento profondo, Una sottodisciplina dell'intelligenza artificiale, si affida a reti neurali artificiali per analizzare ed elaborare grandi volumi di dati. Questa tecnica consente alle macchine di apprendere modelli ed eseguire compiti complessi, come il riconoscimento vocale e la visione artificiale. La sua capacità di migliorare continuamente man mano che vengono forniti più dati lo rende uno strumento chiave in vari settori, dalla salute... en un conjunto de datos de gran tamaño. La maggior parte di noi non ha accesso a una potenza di calcolo illimitata sulle nostre macchine.. E ammettiamolo, costa un braccio e una gamba per ottenere una GPU decente dai fornitori di cloud esistenti.

Quindi, Come possiamo costruire grandi modelli di deep learning senza metterci un buco nelle tasche??

Fai un passo avanti: ¡Google Colab! È incredibile piattaforma online basata su browser che ci consente di addestrare gratuitamente i nostri modelli sulle macchine. Sembra troppo bello per essere vero, ma grazie a google, ora possiamo lavorare con grandi set di dati, creare modelli complessi e persino condividere il nostro lavoro senza problemi con gli altri. Questo è il potere di Google Colab.

Onestamente, lavorare con Colab mi ha aperto così tante strade che prima pensavo non fossero possibili. Non abbiamo più la restrizione della poca potenza di calcolo nelle nostre macchine. Le GPU gratuite sono a portata di mano, poi, Che cosa state aspettando?

Se sei nuovo nel mondo del deep learning, Ho delle ottime risorse per aiutarti a iniziare in modo completo e strutturato:

GPU e TPU in Google Colab

Chiedi a chiunque utilizzi Colab perché lo adora. La risposta è unanime: la disponibilità di GPU e TPU gratuite. Los modelos de addestramentoLa formazione è un processo sistematico volto a migliorare le competenze, conoscenze o abilità fisiche. Viene applicato in vari ambiti, come lo sport, Formazione e sviluppo professionale. Un programma di allenamento efficace include la pianificazione degli obiettivi, Pratica regolare e valutazione dei progressi. L'adattamento alle esigenze individuali e la motivazione sono fattori chiave per ottenere risultati di successo e sostenibili in qualsiasi disciplina...., soprattutto quelli di apprendimento profondo, richiedono diverse ore su una CPU. Abbiamo tutti affrontato questo problema sulle nostre macchine locali. GPU e TPU, In secondo luogo, possono addestrare questi modelli in pochi minuti o secondi.

Se hai ancora bisogno di un motivo per lavorare con le GPU, dai un'occhiata a questa eccellente spiegazione di Faizan Shaikh.

Se è uno hackathon di scienza dei dati o un progetto di deep learning, Preferisco sempre una GPU a qualsiasi altra CPU per via della grande potenza di calcolo e velocità di esecuzione. Ma non tutti possono permettersi una GPU perché è costosa. È qui che entra in gioco Google Colab..

Ti offre una GPU decente gratuitamente, per cui puoi correre continuamente 12 ore. Per la maggior parte degli esperti di data science, questo è sufficiente per soddisfare le tue esigenze informatiche. Soprattutto se sei un principiante, Ti consiglio di iniziare a utilizzare Google Colab.

Google Colab ci offre tre tipi di runtime per i nostri laptop:

Come ho già detto, Colab ci offre 12 ore di autonomia continua. Successivamente, l'intera macchina virtuale viene cancellata e dobbiamo ricominciare da capo. Possiamo eseguire più istanze di CPU, GPU e TPU contemporaneamente, ma le nostre risorse sono condivise tra queste istanze.

Diamo un'occhiata alle specifiche dei diversi runtime offerti da Google Colab:

Ti costerà MOLTO acquistare una GPU o TPU dal mercato. Perché non risparmiare e utilizzare Google Colab comodamente dalla tua macchina??

Puoi cambiare il nome del tuo taccuino facendo clic sul nome del taccuino e cambiarlo in quello che vuoi. Di solito li nomino in base al progetto a cui sto lavorando.

Runtime di Google Colab: scelta dell'opzione GPU o TPU

La possibilità di scegliere diversi tipi di runtime è ciò che rende Colab così popolare e potente. Ecco i passaggi per modificare il runtime del tuo laptop:

passo 1: Fare clic su "Runtime"’ nel menu in alto e seleziona 'Cambia tipo di runtime':

passo 2: Qui puoi modificare il runtime in base alle tue esigenze:

Un uomo saggio una volta disse: “Con un grande potere viene una grande responsabilità”. Ti imploro di spegnere il tuo laptop dopo aver completato il tuo lavoro in modo che altri possano utilizzare queste risorse perché sono condivise da più utenti. Puoi finire il tuo laptop in questo modo:

Utilizzo dei comandi del terminale in Google Colab

Puoi usare la cella Colab per eseguire i comandi del terminale. La maggior parte delle librerie popolari sono installate di default in Google Colab. sì, Chiodo biblioteche come panda, NumPy, scikit-impara sono tutti preinstallati.

Se vuoi eseguire una libreria Python diversa, puoi sempre installarlo all'interno del tuo taccuino Colab in questo modo:

!pip install nome_libreria

abbastanza facile, verità? Tutto è simile a come funziona in un normale terminale. Devi solo mettere un esclamazione(!) prima di digitare ogni comando come:

!ls

oh:

!pwd

Clonazione dei repository su Google Colab

Puoi anche clonare un repository Git all'interno di Google Colaboratory. Vai al tuo repository GitHub e copia il link clone del repository:

Dopo, corri:

!git clone https://github.com/analyticsvidhya/Complete-Guide-to-Parameter-Tuning-in-XGBoost-with-codes-in-Python.git

Ed ecco qua!

Carica file e set di dati

Questo è un aspetto che ogni data scientist dovrebbe conoscere. La possibilità di importare il tuo set di dati in Colab è il primo passo nel tuo percorso di analisi dei dati.

L'approccio più semplice è caricare il tuo set di dati direttamente su Colab:

Puoi usare questo approccio se il tuo set di dati o file è molto piccolo perché la velocità di caricamento in questo metodo è piuttosto bassa. Un altro approccio che consiglio è caricare il tuo set di dati su Google Drive e montare il tuo disco in Colab. Puoi farlo con un solo clic del mouse:

Puoi anche caricare il tuo set di dati su qualsiasi altra piattaforma e accedervi tramite il suo link. Tendo ad andare per il secondo approccio la maggior parte del tempo (quando possibile).

Salva il tuo taccuino

Tutti i taccuini Colab sono archiviati sul tuo Google Drive. La cosa migliore di Colab è che il tuo taccuino viene salvato automaticamente dopo un certo periodo di tempo e non perdi i tuoi progressi.

Se desideri, puoi esportare e salvare il tuo taccuino in formati * .py y * .ipynb:

Non solo quello, puoi anche salvare una copia del tuo taccuino direttamente su GitHub, oppure puoi creare un GitHub Gist:

Adoro la varietà di opzioni che abbiamo.

Esportazione dati / File di Google Colab

Puoi esportare i tuoi file direttamente su Google Drive, oppure puoi esportarli nell'istanza VM e scaricarli tu stesso:

L'esportazione diretta su Drive è un'opzione migliore quando si hanno file più grandi o più di un file. Imparerai queste sfumature mentre lavorerai su progetti più grandi in Colab.

Condividi il tuo taccuino

Google Colab ci offre anche un modo semplice per condividere il nostro lavoro con gli altri. Questa è una delle cose migliori di Colab:

Basta fare clic su Condividere , e ci dà la possibilità di creare un collegamento da condividere che possiamo condividere attraverso qualsiasi piattaforma. Puoi anche invitare altre persone utilizzando i loro ID e-mail. È esattamente come condividere un documento Google o un foglio Google.. Le complessità e la semplicità dell'ecosistema di Google sono sbalorditive!!

Qual è il prossimo?

Google Colab ora offre anche una piattaforma di pagamento chiamata Google Colab Pro, Al prezzo di $ 9,99 un mese. In questo piano, puoi ottenere il Tesla T4 oh Tesla P100 GPU e l'opzione per selezionare un'istanza con una RAM elevata di circa 27 GB. Cosa c'è di più, il suo tempo massimo di calcolo raddoppia da 12 ore a 24 ore. Quant'è fico?

Puoi prendere in considerazione questo piano se hai bisogno di un'elevata potenza di calcolo perché è ancora abbastanza economico rispetto ad altri fornitori di GPU cloud come AWS, Azure e persino GCP.

Sto anche lavorando a un altro articolo in cui ti darò tutti i suggerimenti e i trucchi che devi sapere per padroneggiare Google Colab. Se hai trovato questo articolo informativo, Condividilo con i tuoi amici e commenta qui sotto con i tuoi commenti o domande.

Imparentato