Pre-elaborazione dei dati nel data mining: una guida pratica

Rumoroso di solito significa errore casuale o contenente punti dati non necessari. Ecco alcuni dei metodi per gestire i dati rumorosi.

• Binning: Questo metodo viene utilizzato per semplificare o gestire dati rumorosi. Primo, I dati vengono ordinati e quindi i valori ordinati vengono separati e memorizzati sotto forma di contenitori. Esistono tre metodi per semplificare i dati del contenitore. Levigatura con il metodo bin mean: In questo metodo, i valori del contenitore vengono sostituiti dal valore medio del contenitore; Suavizado por medianoLa mediana è una misura statistica che rappresenta il valore centrale di un insieme di dati ordinati. Per calcolarlo, I dati sono organizzati dal più basso al più alto e viene identificato il numero al centro. Se c'è un numero pari di osservazioni, I due valori fondamentali sono mediati. Questo indicatore è particolarmente utile nelle distribuzioni asimmetriche, poiché non è influenzato da valori estremi.... de bin: In questo metodo, i valori del contenitore sono sostituiti dal valore mediano; Levigatura dei bordi del contenitore: In questo metodo, Vengono presi i valori di utilizzo minimo e massimo dei valori di ubicazione e i valori vengono sostituiti dal valore limite più vicino.
• Regressione: Viene utilizzato per facilitare i dati e aiuterà a gestire i dati quando ci sono dati non necessari. Per l'analisi, la regresión de propósito ayuda a decidir la variabileIn statistica e matematica, un "variabile" è un simbolo che rappresenta un valore che può cambiare o variare. Esistono diversi tipi di variabili, e qualitativo, che descrivono caratteristiche non numeriche, e quantitativo, che rappresentano quantità numeriche. Le variabili sono fondamentali negli esperimenti e negli studi, poiché consentono l'analisi delle relazioni e dei modelli tra elementi diversi, facilitare la comprensione di fenomeni complessi.... que es adecuada para nuestro análisis.
• Raggruppamento: Utilizzato per trovare valori anomali e anche per raggruppare i dati. La agrupación en clústeres se utiliza generalmente en el Apprendimento non supervisionatoL'apprendimento non supervisionato è una tecnica di apprendimento automatico che consente ai modelli di identificare modelli e strutture nei dati senza etichette predefinite. Attraverso algoritmi come k-means e analisi delle componenti principali, Questo approccio viene utilizzato in una varietà di applicazioni, come la segmentazione dei clienti, Rilevamento delle anomalie e compressione dei dati. La sua capacità di rivelare informazioni nascoste lo rende uno strumento prezioso....

Integrazione dei dati:

Il processo di combinazione di più origini in un unico set di dati. Il processo di integrazione dei dati è uno dei componenti principali nella gestione dei dati. Ci sono alcuni problemi di cui essere a conoscenza durante l'integrazione dei dati.

• Integrazione dello schema: Integrare i metadati (un dataset che descrive altri dati) da fonti diverse.
• Problema di identificazione dell'entità: Identificazione di entità da più database. Ad esempio, el sistema o el uso deben saber el _id de estudiante de una Banca datiUn database è un insieme organizzato di informazioni che consente di archiviare, Gestisci e recupera i dati in modo efficiente. Utilizzato in varie applicazioni, Dai sistemi aziendali alle piattaforme online, I database possono essere relazionali o non relazionali. Una progettazione corretta è fondamentale per ottimizzare le prestazioni e garantire l'integrità delle informazioni, facilitando così il processo decisionale informato in diversi contesti.... y el nombre de estudiante de otra base de datos pertenece a la misma entidad.
• Scopri e risolvi i concetti relativi al valore dei dati: I dati tratti da diverse banche dati durante la fusione possono differire. In che modo i valori degli attributi di un database possono differire da un altro database. Ad esempio, Il formato della data può differire come “MILLIMETRO / DD / AAAA” oh “DD / MILLIMETRO / AAAA”.

Riduzione dei dati:

Questo processo consente di ridurre il volume di dati, che facilita l'analisi e produce lo stesso o quasi lo stesso risultato. Questa riduzione aiuta anche a ridurre lo spazio di archiviazione.. Alcune delle tecniche di riduzione dei dati sono la riduzione della dimensionalità, Riduzione della numerosità, Compressione dei dati.

• Riduzione della dimensionalità: Questo processo è necessario per le applicazioni del mondo reale, Poiché la dimensione dei dati è grande. In questo processo, La riduzione degli attributi o delle variabili casuali viene eseguita in modo da ridurre la dimensionalità del dataset. Combinare e unire gli attributi dei dati senza perdere le caratteristiche originali. Ciò aiuta anche a ridurre lo spazio di archiviazione e i tempi di calcolo. Quando i dati sono molto dimensionali, Il problema chiamato “La maledizione della dimensionalità”.
• Riduzione della numerosità: In questo metodo, La rappresentazione dei dati diventa più piccola riducendo il volume. Non ci sarà alcuna perdita di dati in questa riduzione.
• Compressione dei dati: La forma compressa dei dati è chiamata compressione dei dati. Questa compressione può essere lossless o lossy. Quando non c'è perdita di informazioni durante la compressione, si chiama compressione senza perdita di dati. Mentre la compressione con perdita di dati riduce le informazioni, ma rimuove solo le informazioni non necessarie.

Trasformazione dei dati:

La modifica apportata al formato o alla struttura dei dati è denominata trasformazione dei dati. Questo passaggio può essere semplice o complesso a seconda dei requisiti. Esistono alcuni metodi nella trasformazione dei dati.

• Levigatura: Con l'aiuto di algoritmi, Possiamo rimuovere il rumore dal set di dati e aiuta a conoscere le caratteristiche importanti del set di dati. Smussando possiamo anche trovare un semplice cambiamento che aiuta nella previsione.
• Aggregazione: In questo metodo, i dati vengono memorizzati e presentati in forma sintetica. Il dataset che proviene da più fonti è integrato con la descrizione dell'analisi dei dati. Questo è un passo importante in quanto l'accuratezza dei dati dipende dalla quantità e dalla qualità dei dati.. Quando la qualità e la quantità dei dati sono buone, i risultati sono più rilevanti.
• Discretizzazione: I dati continui qui sono divisi in intervalli. La discretizzazione riduce le dimensioni dei dati. Ad esempio, invece di specificare l'ora della lezione, possiamo impostare un intervallo come (3 pm-17, 6 pm-20).
• NormalizzazioneLa standardizzazione è un processo fondamentale in diverse discipline, che mira a stabilire norme e criteri uniformi per migliorare la qualità e l'efficienza. In contesti come l'ingegneria, Istruzione e amministrazione, La standardizzazione facilita il confronto, Interoperabilità e comprensione reciproca. Nell'attuazione degli standard, si promuove la coesione e si ottimizzano le risorse, che contribuisce allo sviluppo sostenibile e al miglioramento continuo dei processi....: È il metodo per ridimensionare i dati in modo che possano essere rappresentati in un intervallo più piccolo. Esempio che va da -1.0 un 1.0.

Fasi di pre-elaborazione dei dati nell'apprendimento automatico

Importare librerie e set di dati

import pandas as pd 
import numpy as np
dataset = pd.read_csv('Set di dati.csv')
Stampa (data_set)

Estrazione di variabili indipendenti: