Para confiar en Big Data es necesario comprender su Linaje de datos. Sin Data Lineage, Big Data se convierte en la última frase del juego de teléfono roto. Los datos originales cambian a lo largo del camino para convertirse en algo totalmente distinto cuando llegan al final. Y muy pocos entienden cómo llegaron a ser tan diferentes de la versión original.
Más del noventa por ciento de los datos del mundo actual se han creado en los últimos años. Esta explosión de datos es el resultado del número creciente de sistemas y la automatización en todos los niveles y en instituciones de todos los tamaños. Aunque esta información facilita el acceso a la data en el mundo del trabajo, además ha contribuido a crear un nuevo conjunto de problemas..
¿Qué es el linaje de datos?
Linaje de datos describe el origen, los movimientos, las características y la calidad de los datos. Podría decirse que Data Lineage regularmente ha descrito dónde comienza cada dato y cómo se transforma para lograr resultados en diferentes proyectos comerciales.
El linaje de datos se puede comparar con una tabla y un mapa de combinación, lo que le posibilita orientar qué SQL usar para elegir, resumir o agrupar los datos. Aún cuando esto Es un enfoque muy tradicional que, en la actualidad, no es suficiente para explicar el alcance de Linaje de datos.
En realidad, aplicar solo el enfoque tradicional al linaje de datos encuentra bloqueos, especialmente con respecto a las líneas de datos. datos maestros, como información sobre personas, procesos y ítems que forman el núcleo del negocio.
Para obtener una visión más realista y un linaje más significativo, es necesario incluir aspectos adicionales del Linaje de datoscomo quién utiliza qué datos, qué significan, cuándo se accede a la data, por qué se almacenan los datos y cómo se relacionan los ítems de los datos. Tener esta perspectiva más integral ayuda a mitigar los estorbos en los proyectos de datos, acortando el período de tiempo para el desarrollo y las pruebas.
Entre los dimensiones de Linaje de datos que no deben faltar son:
- OMS
- Ese
- Donde
- Por qué
- Cómo
¿Por qué realizar un seguimiento del linaje de los datos?
El El linaje de datos está relacionado con numerosos beneficios comerciales, que incluyen lo siguiente:
- Gobernanza de datos más eficaz. La gobernanza de datos necesita la administración de metadatos. Esto es necesario para garantizar que Big Data cumpla con los estándares comerciales. Una solución de linaje de datos une los metadatos y proporciona comprensión y validación del uso óptimo de datos y los riesgos de la información que deben mitigarse.
- Mayor capacidad de cumplimiento. Data Lineage proporciona evidencia de que los informes reflejan adecuadamente los datos, algo esencial para permitir que los usuarios comerciales, clientes o auditores confíen en los datos reportados mientras la organización responde rápidamente a las posibilidades que surgen y enfrenta desafíos regulatorios.
- Un impulso a la calidad de los datos. Los desafíos para la calidad de los datos incluyen el movimiento, la transformación, la interpretación y la selección de datos por medio de personas y procesos. La presión para demostrar de manera confiable el origen y la transformación de los datos en toda la organización solo se puede administrar por medio de una solución de Data Lineage, que proporciona visibilidad de un extremo a otro.
