Uno de los grandes retos tecnológicos a los que se disponen que hacer frente las compañías es, indudablemente, el crecimiento de los datos. ¿Quién no ha oído hablar de terabytes, petabytes y exabytes? Hoy son términos comunes en casi todos los sectores, especialmente cuando se habla de capacidad de almacenamiento.
Una cosa está clara: la aparición de nuevas tecnologías en Internet se ha traducido en un acceso y almacenamiento excesivo de información tanto de los propios clientes como de los clientes potenciales. Y, dada la gran cantidad de datos, es fundamental tener un sistema que los mantenga seguros, como Data Lake.
¿Qué es un lago de datos?
De acuerdo con Servicios web de Amazon la definición de Data Lake es:
Repositorio centralizado que posibilita almacenar todos los datos estructurados y no estructurados a cualquier escala. Puede almacenar sus datos como están, sin tener que estructurarlos primero, y ejecutar diferentes tipos de análisis, desde paneles y visualizaciones hasta procesamiento de big data, análisis en tiempo real y aprendizaje automático para tomar mejores decisiones.
El término Data Lake (literalmente, lago de datos en inglés) fue acuñado por James Dixon, director de tecnología de Pentaho, y se refiere a la naturaleza particular de los datos en este sistema, en contraste con los datos limpios y procesados almacenados en los sistemas tradicionales de almacenamiento de datos o Data Mart.
Según Dixon, “Si piensa en un Data Mart como un almacén de agua embotellada limpia, empaquetada y estructurada para un consumo fácil, un Data Lake sería una gran masa de agua en un estado más natural. Su contenido proviene de una fuente que llena el lago y varios usuarios del mismo pueden acercarse a examinar, bucear o tomar muestras ”.
Los Data Lakes de forma general se configuran en un clúster de hardware de consumo escalable y económico, lo que posibilita que los datos se vuelquen en él en caso de que se necesiten más adelante sin tener que preocuparse por la capacidad de almacenamiento. Estos clústeres pueden existir localmente o en la nube.
Por qué usar un lago de datos
Según el estudio Buscando conocimiento en el lago de datos actual En Aberdeen, las instituciones que generen valor comercial con éxito a partir de sus datos superarán a sus competidores. En realidad, las compañías que implementaron un lago de datos superaron a sus pares en un 9% en el crecimiento orgánico de los ingresos.
Por eso, pudieron realizar nuevos tipos de análisis, como el aprendizaje automático, en nuevas fuentes, como archivos de registro, datos de transmisión de clics, redes sociales y dispositivos conectados a Internet almacenados en un lago de datos.
Esto les ayudó a identificar y actuar sobre las posibilidades de crecimiento empresarial más rápidamente, atrayendo y reteniendo clientes, impulsando la productividad, manteniendo proactivamente los dispositivos y tomando decisiones informadas.
5 ventajas de un lago de datos
Entre los principales beneficios de un Data Lake se encuentran los siguientes:
- Posibilita centralizar todos los datos en un mismo lugar, sea cual sea su origen. Una vez incluidos en su respectivo silo de información, se pueden procesar con herramientas de Big Data. Es factible que ante tal disparidad de información existan datos que necesiten un tratamiento especial con respecto a seguridad, pero es un aspecto solucionable con este sistema.
- La fuente original de los datos puede estar desactualizada o deshabilitada, pero su contenido aún puede ser valioso para el análisis. Con este sistema puede entrar a esta información.
- Todos los datos que llegan al sistema se pueden normalizar y enriquecer.
- Los datos se preparan de acuerdo a las necesidades del momento, lo que reduce significativamente costos y tiempos.
- Cualquier usuario autorizado puede entrar y enriquecer la información desde cualquier lugar, ayudando a la organización a recolectar más fácilmente los datos necesarios para tomar decisiones.
Data Lake frente a Data Warehouse
Cuando se habla de almacenamiento de datos suele surgir otro concepto relacionado con el tema que nos ocupa: el Data Warehouse o data warehouse. Se trata de una base de datos optimizada para analizar datos relacionales de sistemas transaccionales y aplicaciones de línea de negocio.
A pesar de esto, aún cuando ambos paradigmas se enfocan en el almacenamiento de datos, existen algunas diferencias entre un lago de datos y un almacén de datos:
- Estructura de datos: un almacén de datos solo recopila datos estructurados, mientras que un lago de datos recopila datos estructurados y no estructurados.
- Finalidad de los datos: este aspecto puede estar definido o no en un Data Lake, mientras que en un Data Warehouse no hay margen para la improvisación.
- Flexibilidad: en un Data Lake es más fácil hacer cambios debido a que no tiene estructura, pero en un Data Warehouse es más complejo debido a que intervienen otros procesos.
- Esquema: los lagos de datos se centran en esquemas en lectura y almacenes de datos en esquemas en escritura.
- Usuarios: en un Data Lake los datos son administrados por analistas, mientras que en un Data Warehouse cualquier usuario con acceso puede administrar los datos.
- Accesibilidad: mientras que en un Data Lake hay una gran y fácil accesibilidad, en un Data Warehouse esta sección es más cara y compleja.
- Almacenamiento: un Data Lake tiene un costo limitado con oportunidad de expansión en la nube, mientras que un Data Warehouse es de forma general más caro.
En última instancia, ambos sistemas están destinados a aquellas instituciones que basan sus decisiones en datos y que pueden poner en práctica estrategias y comunicaciones más personalizadas o centradas en el cliente.
Lago de datos de Azure
Lago de datos de Azure es el repositorio de hiperescala de Microsoft para grandes cargas de trabajo de análisis de datos en la nube. Este servicio está diseñado para la nube, es compatible con HDFS (Hadoop Distributed File System) y se escala sin límites con un rendimiento masivo y capacidades de nivel empresarial.
Azure Data Lake resuelve muchos de los desafíos de productividad y escalabilidad que impiden que las instituciones maximicen el valor de los recursos de datos con un servicio que está listo para satisfacer sus necesidades comerciales actuales y futuras.
Entre los diferentes servicios incluidos en Azure Data Lake se encuentran los siguientes:
- Data Lake Analytics: servicio de trabajo de análisis en la nube ilimitado que le posibilita desarrollar y ejecutar programas de procesamiento y transformación de datos en paralelo usando lenguajes U-SQL, R, Python y .Net.
- HDInsight: servicio en la nube de Apache Spark y Hadoop para compañías que proporciona clústeres de análisis open source para Spark, Hive, Map Reduce, HBase, Storm, Kafka y R-Server, respaldado por un acuerdo de nivel de servicio del 99,9%.
- Data Lake Store: repositorio ilimitado de datos en la nube para análisis de big data que se puede escalar y construir de forma masiva según el estándar abierto HDFS.
