Este artigo foi publicado como parte do Data Science Blogathon
Introdução
, o “al” Para abreviar, são Jupyter Notebooks hospedados pelo Google que permitem que você escreva e execute código Python através de seu navegador. É fácil de usar um Colab e está vinculado à sua conta do Google. Colab oferece acesso gratuito a GPU e TPU, nenhuma configuração necessária e fácil de compartilhar seu código com a comunidade.
Colab tem uma história fascinante. É uma ferramenta interna para análise de dados no Google. Porém, mais tarde foi lançado publicamente e, desde então, muitas pessoas têm usado essa ferramenta para realizar suas tarefas de aprendizado de máquina. A maioria dos alunos e usuários sem uma GPU usa o colab como um recurso gratuito para realizar seus experimentos de ciência de dados.
Este artigo reúne algumas dicas e truques úteis que uso para facilitar meu trabalho no Colab. Tentei listar a maioria das fontes onde as li primeiro. Estas dicas irão ajudá-lo a obter o máximo dos seus notebooks Colab.
Usando tempos de execução locais
Normalmente, Colab oferece recursos de GPU gratuitos. Porém, se você já tem suas GPUs e deseja usar a IU do Colab, existe uma solução. Os usuários podem usar a IU do Colab com um tempo de execução local da seguinte maneira:
Você pode usar este método para executar código em seu hardware local e acessar seu sistema de arquivos local sem sair do bloco de notas Colab.. A documentação a seguir analisa como funciona. Olha isto documento para mais detalhes.
Bloco de anotações
Se você estiver criando vários blocos de notas com nomes como “untitled.ipynb” e “untitled1.ipynb”, etc. Acho que alguns de nós poderiam navegar no mesmo barco nesse aspecto.. Então o Notebook com bloco de notas em nuvem pode ser para você se for esse o caso.
O bloco de notas na nuvem é um caderno específico disponível na URL: https://colab.research.google.com/notebooks/empty.ipynb que não é salvo automaticamente em sua conta de disco. É útil para experimentação ou trabalho não trivial e não ocupa espaço no Google Drive.
Receber notificações sobre execuções de células concluídas
Os usuários recebem notificações após a conclusão da execução, mesmo se eles mudarem para outra guia, janela ou aplicativo. Os usuários podem habilitá-lo por meio de Ferramentas> Configuração> Local> Mostrar notificações na área de trabalho (e permitir notificações do navegador quando solicitado) para verificar isso.
É assim que a notificação aparece mesmo se estiver em outra guia.
Aqui está uma demonstração de notificação que aparece mesmo se você navegar para outra guia.
Imagem do Autor
Notebooks do GitHub Jupyter abrem diretamente no Colab
Os notebooks Colab foram desenvolvidos de forma que possam ser facilmente integrados ao Github. Isso significa que você pode fazer upload e salvar notebooks Colab no GitHub diretamente. Temos uma maneira fácil de fazer isso, graças a Seungjae Ryan Lee.
Quando em um notebook no Github que você deseja ver no Colab, substituir github por githubtocolab no url, deixando todo o resto inalterado.
Imagem do Autor
Conjuntos de dados Kaggle no Google Colab
Na época de baixo orçamento e havia consumido sua cota de GPU no Kaggle, este truque pode ser uma pausa para você. Qualquer conjunto de dados pode ser baixado perfeitamente do Kaggle para o seu espaço de trabalho Colab. Isso é o que você deve fazer:
Depois de clicar na guia 'Criar novo token de API', um arquivo kaggle.json é gerado consistindo em seu token de API. Crie uma pasta Kaggle no Google Drive e armazene o arquivo kaggle.json nele
Monte a unidade em um laptop colab
Altere o caminho de configuração para 'Kaggle.json’ e mudar o diretório de trabalho atual
importar os os.environ['KAGGLE_CONFIG_DIR'] = "/content / drive / My Drive / Kaggle"
%cd / content / drive / MyDrive / Kaggle
Copie a API do conjunto de dados para fazer o download
A API está presente na guia ‘Dados’ para conjuntos de dados ligados a competições.
Imagem do Autor
Por último, execute qualquer um dos seguintes comandos para baixar o conjunto de dados
!download de conjuntos de dados kaggle -d alexanderbader / forbes-bilionários-2021-30
!Competições kaggle download -c google-smartphone-decimeter-challenge
Imagem do Autor
Encontre seus laptops na unidade
Se você deseja encontrar um laptop Colab específico na unidade? Vá para a caixa de pesquisa do Drive e adicione:
application / vnd.google.colaboratory
Ele irá listar todos os seus blocos de notas em seu Google Drive. O que mais, você também pode especificar o título e propriedade do bloco de notas. Por exemplo, se eu precisar encontrar um caderno criado há muito tempo, O que 'Transfer tem?’ em seu título, o seguinte ajuda a consegui-lo:
Extensão da tabela de dados
Colab inclui um extensão para carregar frames de dados do pandas em telas interativas que podem ser classificadas, filtrar e navegar dinamicamente. Escreva o seguinte código na célula do notebook para habilitar a exibição da tabela de dados para os quadros de dados do Pandas.
%load_ext google.colab.data_table #Para desabilitar a exibição % unload_ext google.colab.data_table
Aqui está uma demonstração rápida:
Imagem do Autor
Comparação de notebooks
Ao usar Colab, é fácil comparar dois laptops. Use Ver> Diferencie os cadernos no menu Colab ou navegue até https://colab.research.google.com/diff e na caixa de entrada, cole os urls dos cadernos para ver a diferença.
Impedir que o Colab desligue
Desconectado por inatividade:
Esta é uma desvantagem significativa do Google Colab e tenho certeza de que muitos de vocês já passaram por isso pelo menos uma vez.. Decida fazer uma pausa, mas quando ele voltar, Seu laptop está desconectado!
De fato, se deixarmos o laptop ocioso por mais de 30 minutos, O Google Colab desconecta você automaticamente.
Abra o Chrome DevTools pressionando F12 no Windows ou Ctrl + mudança + em um Linux, e, em seguida, escreva o seguinte código javascript em seu console:
função KeepClicking(){
console.log("Clicando");
document.querySelector("botão de conexão colab").clique() }
setInterval(KeepClicking,60000)
Cada 60 segundos, esta função clica no botão de conexão. Como resultado, Colab acredita que o laptop não está ocioso e que você não deve se preocupar em desconectar.
Desconexão durante a execução de uma tarefa:
Para iniciar, observe que ao se conectar a uma GPU, Você só pode usar a máquina na nuvem por um período máximo de 12 horas de cada vez.
Você pode ser desconectado em algum momento durante esses 12 horas. “Collaboratory é projetado para uso interativo”, de acordo com as perguntas mais frequentes do Colab. Cálculos em segundo plano que estão em execução há muito tempo, especialmente em GPUs, pode ser finalizado.
EUA Tensorboard com Colab
TensorBoard é uma ferramenta para exibir métricas e visualizações em um fluxo de trabalho de aprendizado profundo. Pode ser usado imediatamente no Colab.
Carregue a extensão de laptop TensorBoard primeiro:
%load_ext tensorboard
Assim que seu modelo estiver completo, inicie o TensorBoard dentro do laptop digitando:
%tensorboard --logdir logs
conclusão
Esses foram alguns truques que achei muito úteis, especialmente quando se trata de treinar modelos de ML em GPU. Embora os notebooks Colab só funcionem por um período máximo de 12 horas, com cheats compartilhados anteriormente, você deve ser capaz de tirar o máximo proveito de sua sessão.
Espero que você tenha achado este artigo útil e tenha um dia maravilhoso., Obrigado.
A mídia mostrada neste artigo não é propriedade da DataPeaker e é usada a critério do autor.
