Processus ETL: Transformation. En quoi consiste?

Contenu

Dans le Processus ETLDespués de la extracción de los datos de la fuente o fuentes de origen viene la segunda etapa: La transformation.La etapa de transformación de un procedimiento ETL se trata de la aplicación de una serie de funciones o reglas de negocio sobre los datos extraídos para convertirlos en datos que después se cargarán en la nueva fuente. ETL_Pentaho.jpg

¿Por qué es necesario un procedimiento de transformación?

Para comprender la necesidad de un procedimiento de transformación, debemos prestar atención que en un procedimiento ETL se manejan diversas fuentes, algunas de ellas ajenas a la propia organización: información bursátil de una página web ajena a la compañía, cualquier tipo de descarga desde Internet, un paquete de Office, etc. Esta variedad de bases de datos, a veces de varios países, con diferentes idiomas y diferentes unidades de mesure, hace imposible o difícil realizar comparaciones si no se realizan conversiones y formateados de antemano. De ahí la necesidad de procesos de transformación.

Acciones de transformación

Las acciones o procesos más habituales son:

  • Reformateo de datos.
  • Conversión de unidades. Par exemple, convertir millas a kilómetros por hora o viceversa. Algo muy frecuente cuando se extraen datos de países con distintas unidades métricas. Otro caso sería la conversión de distintas monedas (libras, euros …) en un único valor estándar.
  • Selección de columnas para posterior carga. Par exemple, haga que las columnas con valores nulos no se carguen.
  • Agregación de columnas. Agregar una columna con el origen de ciertos autos sería un ejemplo.
  • Diviser une colonne en plusieurs. Esta acción es muy útil para, par exemple, separar en tres columnas, una para el nombre y dos para el apellido, la identificación de una persona que previamente estaba en un solo campo.
  • Traduire les codes. Par exemple, si la fuente de origen almacena una “H” para hombres y una “M” para mujeres, dé las instrucciones indispensables para que el destino almacene un “1” para hombres y un “2” para mujeres.
  • Obtenir de nouvelles valeurs calculées.
  • Unir datos de múltiples fuentes.
  • Búsquedas. Es cuando se toman datos y se comparan con otro tipo de datos, cruzando información. Par exemple, capturar un código de cliente de una base de données y cruzarlo con otra base de préstamos concedidos para saber si dicho cliente disfruta o no de ese préstamo.
  • Pivotando. Procedimiento semejante a las búsquedas pero con un mayor grado de complejidad, puesto que se cruzan datos de diferentes fuentes.

¿Quién se encarga de llevar adelante estas transformaciones?

Este rol corresponde al desarrollador o analista del procedimiento ETL en cuestión. La definición de las transformaciones a realizar se realiza en base a un análisis previo y la etapa de limpieza que, como ya hemos señalado y profundizaremos más adelante, es un procedimiento separado pero muy ligado al de transformación.

Transformation: un procedimiento vital para análisis y comparaciones posteriores

La transformación de los datos, tras la extracción de los mismos y como paso previo a su carga, no puede considerarse una etapa secundaria o prescindible. Sin un buen trabajo de transformación de datos no sería factible realizar comparaciones y análisis. En d'autres termes, se perdería uno de los grandes beneficios para las instituciones de poner en práctica un procedimiento ETL.

Abonnez-vous à notre newsletter

Nous ne vous enverrons pas de courrier SPAM. Nous le détestons autant que vous.