Processos ETL: Transformação. Em que consiste?

Conteúdo

No Processos ETLDespués de la extracción de los datos de la fuente o fuentes de origen viene la segunda etapa: la transformación.La etapa de transformación de un procedimiento ETL se trata de la aplicación de una serie de funciones o reglas de negocio sobre los datos extraídos para convertirlos en datos que después se cargarán en la nueva fuente. ETL_Pentaho.jpg

¿Por qué es necesario un procedimiento de transformación?

Para comprender la necesidad de un procedimiento de transformación, debemos prestar atención que en un procedimiento ETL se manejan diversas fuentes, algunas de ellas ajenas a la propia organización: información bursátil de una página web ajena a la compañía, cualquier tipo de descarga desde Internet, un paquete de Office, etc. Esta variedad de bases de datos, a veces de varios países, con diferentes idiomas y diferentes unidades de medida, hace imposible o difícil realizar comparaciones si no se realizan conversiones y formateados de antemano. De ahí la necesidad de procesos de transformación.

Acciones de transformación

Las acciones o procesos más habituales son:

  • Reformateo de datos.
  • Conversión de unidades. Como um exemplo, convertir millas a kilómetros por hora o viceversa. Algo muy frecuente cuando se extraen datos de países con distintas unidades métricas. Otro caso sería la conversión de distintas monedas (libras, euros …) en un único valor estándar.
  • Selección de columnas para posterior carga. Como um exemplo, haga que las columnas con valores nulos no se carguen.
  • Agregación de columnas. Agregar una columna con el origen de ciertos autos sería un ejemplo.
  • Divida una columna en varias. Esta acción es muy útil para, como um exemplo, separar en tres columnas, una para el nombre y dos para el apellido, la identificación de una persona que previamente estaba en un solo campo.
  • Traducir códigos. Como um exemplo, si la fuente de origen almacena una “H” para hombres y una “M” para mujeres, dé las instrucciones indispensables para que el destino almacene un “1” para hombres y un “2” para mujeres.
  • Obtenga nuevos valores calculados.
  • Unir datos de múltiples fuentes.
  • Búsquedas. Es cuando se toman datos y se comparan con otro tipo de datos, cruzando información. Como um exemplo, capturar un código de cliente de una base de datos y cruzarlo con otra base de préstamos concedidos para saber si dicho cliente disfruta o no de ese préstamo.
  • Pivotando. Procedimiento semejante a las búsquedas pero con un mayor grado de complejidad, puesto que se cruzan datos de diferentes fuentes.

¿Quién se encarga de llevar adelante estas transformaciones?

Este rol corresponde al desarrollador o analista del procedimiento ETL en cuestión. La definición de las transformaciones a realizar se realiza en base a un análisis previo y la etapa de limpieza que, como ya hemos señalado y profundizaremos más adelante, es un procedimiento separado pero muy ligado al de transformación.

Transformação: un procedimiento vital para análisis y comparaciones posteriores

La transformación de los datos, tras la extracción de los mismos y como paso previo a su carga, no puede considerarse una etapa secundaria o prescindible. Sin un buen trabajo de transformación de datos no sería factible realizar comparaciones y análisis. Em outras palavras, se perdería uno de los grandes beneficios para las instituciones de poner en práctica un procedimiento ETL.

Assine a nossa newsletter

Nós não enviaremos SPAM para você. Nós odiamos isso tanto quanto você.