Todo mundo Processos ETL Constan de tres fases diferentes:
1) Extração.
2) Transformação.
3) Carga.
A estas tres partes debe agregarse la etapa de limpeza naquela, como hemos comentado, se entiende en este momento como una parte separada del propio procedimiento.
A seguir, vamos a explicar los principales aspectos del funcionamiento de cada una de las fases, así como sus claves y cuestiones a considerar en su planteamiento e implementación.
Los diferentes passos del procedimiento de extracción.
La primera parte del procedimiento ETL es extraer los datos del sistema de origen. Esta etapa consta de tres pasos:
-
Análise previa de necessidades. Regularmente, existe una primeira etapa de análise donde se evalúan las necesidades específicas de la organización en términos de movimento y transformação de dados. Em geral, no comienzas extrayendo toda la informação, mas começa-se com o tratamento de dados específicos de acordo com uma necessidade específica e depois fazem-se extensões à medida que vão sendo necessárias.
-
Identificação de ficheiro. Antes de extrair os dados, identifica-se que tipo e em que formato são os sistemas de origem. Como um exemplo, se se trata de bases de dados relacionais ou não relacionais, ficheiros planos, ficheiros complexos, ficheiros VSAM, WebServices, Enquadramento principal, Ficheiros de Excel, etc. Regularmente, os dados dos sistemas de origem provêm de diferentes formatos, que deverão ser fundidos.
-
Extração de dados. Dependendo das necessidades detetadas, extraem-se os próprios dados.
Modos de extração
Simplesmente, existem três modos diferentes de extração. O tipo de necessidade da organização é o que, regularmente, determinará a escolha de uma forma ou outra.
Extrato completo ou extração total
Este método se trata de extraer todos los datos. Nesta circunstância, se barren tablas completas que pueden tener millones de registros.
Extracto incremental o extracción incremental
Solo lo que se modificó o agregó se processa en lotes. Además puede haber filas que se eliminen por estar duplicadas, dados incorretos, etc.
Notificación de actualización o notificación de actualización
Nesta circunstância, los datos solo se extraen cuando se produce una actualización (como um exemplo, una inserción).
Estos tres tipos de extracción son manejados por un módulo llamado Captura de datos modificados (CENTROS PARA EL CONTROL Y LA PREVENCIÓN DE ENFERMEDADES).
Claves del procedimiento de extracción
El procedimiento de extracción ideal es el que apenas se nota.
Qualquer organização, A empresa deve exigir que o procedimento de extração de dados da sua fonte ou fontes de origem cause o menor impacto possível. Em outras palavras, não representa qualquer problema para os trabalhadores que lidam diariamente com os dados e registos.
A extração de uma quantidade demasiado grande de dados de uma só vez pode tornar o sistema mais lento e até mesmo bloqueá-lo. Por ele, é essencial avaliar cuidadosamente as necessidades e o alcance da operação a realizar e, quando aplicável, realizar a operação de forma escalonada em blocos mais pequenos e / ou nas datas e horários mais adequados para alcançar esse impacto mínimo.
