Use o Google Colab para modelos de aprendizado profundo e aprendizado de máquina

Google Colab: agora crie ótimos modelos de aprendizado profundo em sua máquina.

“Erro de memória”: aquela mensagem familiar e temida nos notebooks Jupyter ao tentar executar um aprendizado de máquina ou algoritmo de aprendizado profundo em um grande conjunto de dados. A maioria de nós não tem acesso ao poder de computação ilimitado em nossas máquinas.. E vamos enfrentá-lo, custa um braço e uma perna obter uma GPU decente de provedores de nuvem existentes.

Então, Como podemos construir ótimos modelos de aprendizagem profunda sem colocar um buraco no bolso??

Um passo adiante: ¡Google Colab! É incrível plataforma online baseada em navegador que nos permite treinar nossos modelos em máquinas gratuitamente. Parece bom demais para ser verdade, mas graças ao google, agora podemos trabalhar com grandes conjuntos de dados, criar modelos complexos e até mesmo compartilhar nosso trabalho perfeitamente com outras pessoas. Esse é o poder do Google Colab.

Honestamente, trabalhar com Colab abriu tantos caminhos para mim que antes eu pensava que não seriam possíveis. Não temos mais a restrição de pouco poder computacional em nossas máquinas. GPUs gratuitas ao seu alcance, então, O que está esperando?

Se você é novo no mundo do aprendizado profundo, Tenho alguns recursos excelentes para ajudá-lo a começar de uma forma abrangente e estruturada:

GPU e TPU no Google Colab

Pergunte a qualquer pessoa que usa Colab por que o adora. A resposta é unânime: a disponibilidade de GPUs e TPUs gratuitas. Os modelos de treinamento, especialmente aqueles de aprendizagem profunda, requer várias horas em uma CPU. Todos nós enfrentamos esse problema em nossas máquinas locais. GPUs e TPUs, por outro lado, eles podem treinar esses modelos em questão de minutos ou segundos.

Se você ainda precisa de um motivo para trabalhar com GPUs, confira esta excelente explicação de Faizan Shaikh.

Se é um hackathon de ciência de dados ou um projeto de aprendizado profundo, Sempre prefiro uma GPU a qualquer outra CPU devido ao grande poder computacional e velocidade de execução. Mas nem todos podem pagar por uma GPU porque ela é cara. É aí que entra o Google Colab..

Oferece uma GPU decente de graça, que você pode executar continuamente para 12 horas. Para a maioria do pessoal da ciência de dados, isso é o suficiente para atender às suas necessidades de computação. Especialmente se você é um iniciante, Eu recomendo que você comece a usar o Google Colab.

O Google Colab nos oferece três tipos de tempo de execução para nossos laptops:

Como eu mencionei, Colab nos oferece 12 horas de execução contínua. Depois disso, toda a máquina virtual é apagada e temos que começar de novo. Podemos executar várias instâncias de CPU, GPU e TPU simultaneamente, mas nossos recursos são compartilhados entre essas instâncias.

Vamos dar uma olhada nas especificações dos diferentes tempos de execução oferecidos pelo Google Colab:

Custará MUITO comprar uma GPU ou TPU do mercado. Por que não economizar esse dinheiro e usar o Google Colab no conforto da sua máquina?

Você pode alterar o nome do seu bloco de notas clicando no nome do bloco de notas e alterá-lo para o que você quiser. Costumo nomeá-los de acordo com o projeto em que estou trabalhando.

Tempos de execução do Google Colab: escolha de opção de GPU ou TPU

A capacidade de escolher diferentes tipos de tempos de execução é o que torna o Colab tão popular e poderoso. Aqui estão as etapas para alterar o tempo de execução do seu laptop:

Paso 1: Clique em 'Runtime’ no menu superior e selecione 'Alterar tipo de tempo de execução':

Paso 2: Aqui você pode alterar o tempo de execução de acordo com suas necessidades:

Um homem sábio disse uma vez: “Com grandes poderes vem grandes responsabilidades”. Imploro-lhe que desligue o seu laptop após ter concluído o seu trabalho para que outras pessoas possam usar esses recursos, porque eles são compartilhados por vários usuários. Você pode terminar seu laptop assim:

Usando comandos de terminal no Google Colab

Você pode usar a célula Colab para executar comandos de terminal. A maioria das bibliotecas populares são instaladas por padrão no Google Colab. sim, Piton bibliotecas como Pandas, NumPy, scikit-learn eles estão todos pré-instalados.

Se você deseja executar uma biblioteca Python diferente, você sempre pode instalá-lo dentro do seu notebook Colab desta forma:

!pip install library_name

Bastante fácil, verdade? Tudo é parecido com o funcionamento de um terminal normal. Você só tem que colocar um exclamação(!) antes de digitar cada comando como:

!ls

o:

!pwd

Clonando repositórios no Google Colab

Você também pode clonar um repositório Git no Google Colaboratory. Basta ir ao seu repositório GitHub e copiar o link do clone do repositório:

Mais tarde, apenas corra:

!git clone https://github.com/analyticsvidhya/Complete-Guide-to-Parameter-Tuning-in-XGBoost-with-codes-in-Python.git

E pronto!

Faça upload de arquivos e conjuntos de dados

Este é um aspecto que qualquer cientista de dados deve saber. A capacidade de importar seu conjunto de dados para o Colab é a primeira etapa em sua jornada de análise de dados.

A abordagem mais básica é fazer o upload do seu conjunto de dados para o Colab diretamente:

Você pode usar esta abordagem se o seu conjunto de dados ou arquivo for muito pequeno porque a velocidade de carregamento neste método é muito baixa. Outra abordagem que recomendo é enviar seu conjunto de dados para o Google Drive e montar seu disco no Colab. Você pode fazer isso com apenas um clique do mouse:

Você também pode enviar seu conjunto de dados para qualquer outra plataforma e acessá-lo por meio de seu link. Eu costumo usar a segunda abordagem na maioria das vezes (quando possivel).

Salve seu caderno

Todos os notebooks Colab são armazenados em seu Google Drive. O melhor do Colab é que o seu notebook é salvo automaticamente após um certo período de tempo e você não perde o seu progresso.

Se você desejar, você pode exportar e salvar seu notebook em formatos * .py y * .ipynb:

Não só isso, você também pode salvar uma cópia do seu bloco de notas diretamente no GitHub, ou você pode criar um GitHub Gist:

Eu amo a variedade de opções que temos.

Exportação de dados / Arquivos do Google Colab

Você pode exportar seus arquivos diretamente para o Google Drive, ou você pode exportá-los para a instância de VM e baixá-los você mesmo:

Exportar diretamente para o Drive é uma opção melhor quando você tem arquivos maiores ou mais de um arquivo. Você aprenderá essas nuances ao trabalhar em projetos maiores no Colab.

Compartilhe seu caderno

O Google Colab também nos oferece uma maneira fácil de compartilhar nosso trabalho com outras pessoas. Esta é uma das melhores coisas sobre o Colab:

Basta clicar no Compartilhado , e nos dá a opção de criar um link para compartilhar que podemos compartilhar em qualquer plataforma. Você também pode convidar outras pessoas usando seus IDs de e-mail. É exatamente o mesmo que compartilhar um Documento ou Planilha Google.. As complexidades e simplicidade do ecossistema do Google são impressionantes!!

Que segue?

O Google Colab agora também oferece uma plataforma de pagamento chamada Google Colab Pro, A um preço de $ 9,99 um mês. Neste plano, você pode pegar o Tesla T4 o Tesla P100 GPU e a opção de selecionar uma instância com alta RAM de cerca de 27 GB. O que mais, seu tempo máximo de cálculo dobra de 12 horas para 24 horas. Quão legal é isso?

Você pode considerar este plano se precisar de alto poder de computação, porque ainda é muito barato em comparação com outros provedores de GPU em nuvem como AWS, Azure e até mesmo GCP.

Também estou trabalhando em outro artigo onde darei todas as dicas e truques que você precisa saber para dominar o Google Colab. Se você achou este artigo informativo, Compartilhe com seus amigos e comente abaixo com seus comentários ou dúvidas.

Relacionado