Utilice Google Colab para modelos de aprendizaje profundo y aprendizaje automático

Google Colab: ahora cree grandes modelos de aprendizaje profundo en su máquina.

«Error de memoria»: ese mensaje tan familiar y temido en los cuadernos de Jupyter cuando intentamos ejecutar un algoritmo de aprendizaje automático o aprendizaje profundoEl aprendizaje profundo, una subdisciplina de la inteligencia artificial, se basa en redes neuronales artificiales para analizar y procesar grandes volúmenes de datos. Esta técnica permite a las máquinas aprender patrones y realizar tareas complejas, como el reconocimiento de voz y la visión por computadora. Su capacidad para mejorar continuamente a medida que se le proporcionan más datos la convierte en una herramienta clave en diversas industrias, desde la salud... en un conjunto de datos de gran tamaño. La mayoría de nosotros no tenemos acceso a una potencia computacional ilimitada en nuestras máquinas. Y seamos realistas, cuesta un brazo y una pierna obtener una GPU decente de los proveedores de nube existentes.

Entonces, ¿cómo construimos grandes modelos de aprendizaje profundo sin hacernos un agujero en los bolsillos?

Intensifique: ¡Google Colab! Es increible plataforma en línea basada en navegador que nos permite entrenar a nuestros modelos en máquinas de forma gratuita. Suena demasiado bueno para ser verdad, pero gracias a Google, ahora podemos trabajar con grandes conjuntos de datos, crear modelos complejos e incluso compartir nuestro trabajo sin problemas con otros. Ese es el poder de Google Colab.

Honestamente, trabajar con Colab me ha abierto tantas vías que antes pensaba que no eran posibles. Ya no tenemos la restricción de un escaso poder computacional en nuestras máquinas. Las GPU gratuitas están al alcance de la mano, entonces, ¿a qué estás esperando?

Si es nuevo en el mundo del aprendizaje profundo, tengo algunos recursos excelentes para ayudarlo a comenzar de manera integral y estructurada:

GPU y TPU en Google Colab

Pregúntele a cualquiera que use Colab por qué le encanta. La respuesta es unánime: la disponibilidad de GPU y TPU gratuitas. Los modelos de entrenamientoEl entrenamiento es un proceso sistemático diseñado para mejorar habilidades, conocimientos o capacidades físicas. Se aplica en diversas áreas, como el deporte, la educación y el desarrollo profesional. Un programa de entrenamiento efectivo incluye la planificación de objetivos, la práctica regular y la evaluación del progreso. La adaptación a las necesidades individuales y la motivación son factores clave para lograr resultados exitosos y sostenibles en cualquier disciplina...., especialmente los de aprendizaje profundo, requieren varias horas en una CPU. Todos nos hemos enfrentado a este problema en nuestras máquinas locales. Las GPU y TPU, por otro lado, pueden entrenar estos modelos en cuestión de minutos o segundos.

Si aún necesita una razón para trabajar con GPU, consulte esta excelente explicación de Faizan Shaikh.

Si es un hackathon de ciencia de datos o un proyecto de aprendizaje profundo, siempre prefiero una GPU a cualquier otra CPU debido a la gran potencia computacional y la velocidad de ejecución. Pero no todo el mundo puede pagar una GPU porque es cara. Ahí es donde entra en juego Google Colab.

Le brinda una GPU decente de forma gratuita, que puede ejecutar continuamente durante 12 horas. Para la mayoría de la gente de ciencia de datos, esto es suficiente para satisfacer sus necesidades de computación. Especialmente si es un principiante, le recomiendo que comience a usar Google Colab.

Google Colab nos ofrece tres tipos de tiempo de ejecución para nuestros portátiles:

Como mencioné, Colab nos brinda 12 horas de tiempo de ejecución continua. Después de eso, se borra toda la máquina virtual y tenemos que empezar de nuevo. Podemos ejecutar varias instancias de CPU, GPU y TPU simultáneamente, pero nuestros recursos se comparten entre estas instancias.

Echemos un vistazo a las especificaciones de los diferentes tiempos de ejecución ofrecidos por Google Colab:

Te costará MUCHO comprar una GPU o TPU del mercado. ¿Por qué no ahorrar ese dinero y utilizar Google Colab desde la comodidad de su propia máquina?

Puede cambiar el nombre de su cuaderno haciendo clic en el nombre del cuaderno y cambiarlo por el que desee. Normalmente los nombro de acuerdo con el proyecto en el que estoy trabajando.

Tiempos de ejecución de Google Colab: elección de la opción GPU o TPU

La capacidad de elegir diferentes tipos de tiempos de ejecución es lo que hace que Colab sea tan popular y poderoso. Estos son los pasos para cambiar el tiempo de ejecución de su computadora portátil:

Paso 1: Haga clic en ‘Tiempo de ejecución’ en el menú superior y seleccione ‘Cambiar tipo de tiempo de ejecución’:

Paso 2: Aquí puede cambiar el tiempo de ejecución según sus necesidades:

Un hombre sabio dijo una vez: «Un gran poder conlleva una gran responsabilidad». Le imploro que apague su computadora portátil después de haber completado su trabajo para que otros puedan usar estos recursos porque varios usuarios los comparten. Puede terminar su computadora portátil de esta manera:

Uso de comandos de terminal en Google Colab

Puede usar la celda Colab para ejecutar comandos de terminal. La mayoría de las bibliotecas populares vienen instaladas de forma predeterminada en Google Colab. Sí, Pitón bibliotecas como Pandas, NumPy, scikit-learn están todos preinstalados.

Si desea ejecutar una biblioteca de Python diferente, siempre puede instalarla dentro de su cuaderno Colab de esta manera:

!pip install library_name

Bastante fácil, ¿verdad? Todo es similar a cómo funciona en una terminal normal. Solo hay que poner un exclamación(!) antes de escribir cada comando como:

!ls

o:

!pwd

Repositorios de clonación en Google Colab

También puede clonar un repositorio de Git dentro de Google Colaboratory. Simplemente vaya a su repositorio de GitHub y copie el enlace de clonación del repositorio:

Luego, simplemente ejecute:

!git clone https://github.com/analyticsvidhya/Complete-Guide-to-Parameter-Tuning-in-XGBoost-with-codes-in-Python.git

¡Y ahí tienes!

Carga de archivos y conjuntos de datos

Este es un aspecto que debe conocer cualquier científico de datos. La capacidad de importar su conjunto de datos a Colab es el primer paso en su viaje de análisis de datos.

El enfoque más básico es cargar su conjunto de datos a Colab directamente:

Puede utilizar este enfoque si su conjunto de datos o archivo es muy pequeño porque la velocidad de carga en este método es bastante baja. Otro enfoque que recomiendo es cargar su conjunto de datos en Google Drive y montar su disco en Colab. Puede hacer esto con solo un clic de su mouse:

También puede cargar su conjunto de datos en cualquier otra plataforma y acceder a él mediante su enlace. Tiendo a optar por el segundo enfoque la mayoría de las veces (cuando es posible).

Guardar su cuaderno

Todos los cuadernos de Colab se almacenan en su Google Drive. Lo mejor de Colab es que su cuaderno se guarda automáticamente después de un cierto período de tiempo y no pierde su progreso.

Si lo desea, puede exportar y guardar su cuaderno en formatos * .py y * .ipynb:

No solo eso, también puede guardar una copia de su cuaderno directamente en GitHub, o puede crear un Gist de GitHub:

Me encanta la variedad de opciones que tenemos.

Exportación de datos / archivos de Google Colab

Puede exportar sus archivos directamente a Google Drive, o puede exportarlos a la instancia de VM y descargarlos usted mismo:

Exportar directamente a Drive es una mejor opción cuando tiene archivos más grandes o más de un archivo. Aprenderá estos matices mientras trabaja en proyectos más grandes en Colab.

Compartir su cuaderno

Google Colab también nos ofrece una forma sencilla de compartir nuestro trabajo con otros. Esta es una de las mejores cosas de Colab:

Simplemente haga clic en el Cuota , y nos da la opción de crear un enlace para compartir que podemos compartir a través de cualquier plataforma. También puede invitar a otras personas utilizando sus ID de correo electrónico. Es exactamente lo mismo que compartir un documento de Google o una hoja de Google. ¡Las complejidades y la simplicidad del ecosistema de Google son asombrosas!

¿Que sigue?

Google Colab ahora también ofrece una plataforma de pago llamada Google Colab Pro, a un precio de $ 9,99 un mes. En este plan, puede obtener el Tesla T4 o Tesla P100 GPU y la opción de seleccionar una instancia con una RAM alta de alrededor de 27 GB. Además, su tiempo máximo de cálculo se duplica de 12 horas a 24 horas. ¿Cuan genial es eso?

Puede considerar este plan si necesita una alta potencia de cálculo porque todavía es bastante barato en comparación con otros proveedores de GPU en la nube como AWS, Azure e incluso GCP.

También estoy trabajando en otro artículo en el que te daré todos los consejos y trucos que necesitas saber para dominar Google Colab. Si este artículo le pareció informativo, compártalo con sus amigos y comente a continuación con sus comentarios o consultas.

Relacionado