Guida all'elaborazione del linguaggio naturale in Python (Parte -1)

Questo articolo è stato pubblicato nell'ambito del Blogathon sulla scienza dei dati

introduzione

I computer e le macchine sono ottimi per lavorare con dati tabulari o fogli di calcolo. tuttavia, gli umani generalmente comunicano con parole e frasi, non sotto forma di tabelle o fogli di calcolo, e la maggior parte delle informazioni che gli umani parlano o scrivono sono presenti in modo non strutturato. Perciò, non è molto comprensibile che i computer interpretino questi linguaggi.

Perciò, nell'elaborazione del linguaggio naturale (PNL), il nostro obiettivo è rendere comprensibile il testo del computer non strutturato e recuperare informazioni significative da esso.

Definiamo formalmente l'elaborazione del linguaggio naturale (PNL),

Elaborazione del linguaggio naturale (PNL) è un sottocampo di intelligenza artificiale, coinvolgendo le interazioni uomo-computer.

Quindi, in questo articolo, discuteremo alcuni dei concetti di base relativi alla PNL. Questo articolo fa parte di una serie di blog sull'elaborazione del linguaggio naturale (PNL).

Questa è la parte 1 dalla serie di blog sulla Guida passo passo all'elaborazione del linguaggio naturale.

Nota importante

Dopo aver completato alcuni argomenti, ci sono alcune domande pratiche (Prova la tua conoscenza) poiché devi risolvere e dare la risposta nella casella dei commenti in modo da poter verificare la tua comprensione di un particolare argomento.

Sommario

1. Cos'è l'elaborazione del linguaggio naturale? (PNL)?

2. Applicazioni di elaborazione del linguaggio naturale

3. Comprendere l'elaborazione del linguaggio naturale

4. Differenza tra PNL basata su regole e PNL basata su statistiche

5. Componenti dell'elaborazione del linguaggio naturale

6. Ambiguità e incertezza nell'elaborazione del linguaggio naturale

Cos'è l'elaborazione del linguaggio naturale??

Elaborazione del linguaggio naturale (PNL) è un sottocampo dell'informatica e dell'intelligenza artificiale che si occupa delle interazioni tra computer e linguaggi umani (naturale). Questo diventa cruciale quando vogliamo applicare algoritmi di machine learning o deep learning a un set di dati contenente testo e voce..

Ad esempio, possiamo usare la PNL per creare sistemi di intelligenza artificiale come,

• Riconoscimento vocale,
• Riepilogo dei documenti,
• Macchina del traduttore,
• Rilevamento spam,
• Riconoscimento entità nominative,
• Risposta alle domande,
• Completamento automatico,
• Scrittura predittiva, eccetera.

Attualmente, la maggior parte dei nostri smartphone ha un sistema di riconoscimento vocale. Questi smartphone usano la PNL per comprendere il linguaggio naturale e dare la risposta. Cosa c'è di più, la maggior parte delle persone usa laptop il cui sistema operativo ha il riconoscimento vocale integrato.

Prova la tua conoscenza

Quale dei seguenti è il campo dell'elaborazione del linguaggio naturale??

• informatica
• Intelligenza artificiale
• Linguistica computazionale
• Tutti i precedenti

Applicazioni PNL

Alcune applicazioni dell'elaborazione del linguaggio naturale sono le seguenti:

Cortana

Fonte immagine: Google Immagini

Il sistema operativo di Microsoft ha un assistente virtuale chiamato Cortana in grado di riconoscere una voce naturale. Le sue applicazioni includono

• Imposta promemoria
• Applicazioni aperte,
• Invia un'e-mail a chiunque,
• Gioca per divertirti,
• Tracciamento di voli e pacchi,
• Controlla il meteo, eccetera.

Se vuoi saperne di più sui comandi di Cortana, vedi link qui.

Siri

Fonte immagine: Google Immagini

Siri è un assistente virtuale creato dai sistemi operativi iOS, watchOS, Mac OS, HomePod e tvOS di Apple Inc. Ancora, con questo puoi fare molte cose con i comandi vocali:

• Avvia una chiamata con chiunque
• Invia un messaggio di testo a qualcuno
• Invia una e-mail
• Imposta un timer
• Scattare una foto
• Apri un'app
• Imposta una sveglia
• Usa la navigazione, eccetera.

Qui è un elenco completo di tutti i comandi di Siri.

Gmail

Fonte immagine: Google Immagini

Gmail è il famoso servizio di posta elettronica sviluppato da Google e utilizza il rilevamento dello spam per filtrare alcune e-mail di spam mediante l'elaborazione di testi, in cui ricevi i testi di quella particolare email che stai cercando di trovare come spam o meno.

Prova la tua conoscenza

Comprendere l'elaborazione del linguaggio naturale

Fonte immagine: Google Immagini

NOI, come gli esseri umani, non è un compito molto difficile eseguire l'elaborazione del linguaggio naturale (PNL), ma ancora, non siamo perfetti. Spesso fraintendiamo una cosa per un'altra e, spesso, interpretiamo le stesse frasi o parole in modo diverso.

Ad esempio, Considera le seguenti frasi e cerca di capire la loro interpretazione in molti modi diversi:

Esempio 1

Frase: Ho visto uno studente su una collina con un microscopio.

Queste sono varie interpretazioni della frase precedente mostrata di seguito:

• C'è uno studente sulla collina e l'ho guardato con il mio microscopio.
• C'è uno studente sulla collina e ha un microscopio.
• Sono su una collina e ho visto uno studente che usava il mio microscopio.
• Sono su una collina e ho visto uno studente che ha un microscopio.
• C'è uno studente su una collina e ho visto qualcosa con il mio microscopio.

Esempio 2

Frase: Puoi aiutarmi con la lattina??

Nella frase precedente, osserviamo che ci sono due parole “Potere”, ma hanno significati diversi. Qui.

La prima parola “Maggio” è usato per formare una domanda.

La seconda parola “anni” che è usato alla fine della frase è usato per rappresentare un contenitore che contiene alcune cose come cibo o liquidi, eccetera.

Quali conclusioni possiamo trarre dai due esempi precedenti?

Dai due esempi sopra, possiamo vedere che l'elaborazione del linguaggio non lo è “deterministico”, vale a dire, la stessa lingua ha le stesse interpretazioni, e qualcosa di adatto a una persona potrebbe non essere adatto a un'altra. Perciò, elaborazione del linguaggio naturale (PNL) ha un approccio non deterministico.

In parole semplici, possiamo utilizzare l'elaborazione del linguaggio naturale per creare un nuovo sistema intelligente o AI in grado di comprendere allo stesso modo dell'essere umano e interpretare il linguaggio in diverse situazioni.

Differenza tra PNL basata su regole e PNL statistica

L'elaborazione del linguaggio naturale è divisa in due diversi approcci:

Elaborazione del linguaggio naturale basata su regole

Usa il buon senso per elaborare le attività.

Ad esempio,

• Le temperature di congelamento possono causare la morte o
• Il caffè caldo può bruciare la pelle delle persone
• Alcuni altri compiti di ragionamento di buon senso, eccetera.

tuttavia, questi processi possono richiedere più tempo e richiedono uno sforzo manuale.

Elaborazione statistica del linguaggio naturale

Questo tipo di PNL utilizza grandi quantità di dati e mira a trarre conclusioni da essi. Per addestrare modelli di PNL, utilizza algoritmi di apprendimento automatico. Dopo aver completato il processo di formazione su grandi quantità di dati, il modello addestrato avrà risultati positivi con detrazione.

Confronto (pro e contro)

Componenti della PNL

Le due componenti di base in cui la PNL può essere suddivisa sono le seguenti:

• Comprensione del linguaggio naturale (NLU)
• Generazione del linguaggio naturale (NLG)

Fonte immagine: Google Immagini

Comprensione del linguaggio naturale (NLU)

NLU è naturalmente più difficile dei compiti NLG. Diamo un'occhiata alle sfide che una macchina deve affrontare mentre cerca di comprendere il linguaggio naturale.

Quando si impara o si cerca di interpretare una lingua, ci sono molte ambiguità.

Frase: Sta cercando una corrispondenza.

Qui, Cosa intendi per “incontro” – Partita di coppia o cricket / calcio.

Ambiguità lessicale può verificarsi quando una parola ha un significato diverso, vale a dire, ha più di un significato, e la frase in cui è usata quella parola può essere interpretata diversamente in base al suo significato corretto. Per risolvere in una certa misura questi tipi di ambiguità, possiamo usare tecniche di tagging di parti del discorso.

Frase: Il pollo è pronto da mangiare.

Il pollo è pronto per mangiare il tuo pasto o il pollo è pronto per essere mangiato da qualcun altro?? Non si sa mai.

Ambiguità sintattica si verifica quando osserviamo che può esserci più di un significato in una sequenza di parole. Conosciuto anche come ambiguità grammaticale.

Frase: Chirag ha incontrato Kshitiz e Dinesh. Sono andati in un ristorante.

Qui, si riferiscono a Kshitiz e Dinesh o tutti.

Ambiguità referenziale: Molto spesso in un testo viene menzionata un'entità (qualcosa / qualcuno) e poi viene referenziato di nuovo, possibilmente in una frase diversa, con l'aiuto di un'altra parola. Quindi, questi diversi pronomi possono causare ambiguità quando non è chiaro a quale sostantivo ti riferisci.

Generazione del linguaggio naturale (NLG)

È definito come il processo di generazione o estrazione di alcune frasi e frasi significative sotto forma di linguaggio naturale con l'aiuto di una rappresentazione interna.

Questo componente include i tre passaggi fondamentali:

• Pianificazione del testo: Implica il recupero di informazioni rilevanti dalla base di conoscenza.
• Pianificazione della frase: Implica processi come la scelta delle parole richieste, formare frasi significative, dare il tono alla frase.
• Realizzazione del testo: Si tratta di mappare i piani di preghiera nella struttura della frase.

Prova la tua conoscenza

Domanda 1: La PNL è divisa in due sottocampi:

• simbolico e numerico
• algoritmico ed euristico
• tempo e movimento
• comprensione e generazione

Domanda 2: Quale dei seguenti è usato per mappare i piani di frase nella struttura della frase??

• Pianificazione del testo
• Pianificazione della frase
• Realizzazione del testo
• Tutti i precedenti

Ambiguità e incertezza in PNL

Nell'elaborazione del linguaggio naturale, l'ambiguità può essere definita come la capacità di essere compresa in più di un modo. In parole povere, possiamo capire l'ambiguità riguardo alla capacità di essere capiti in più di un modo. Il linguaggio naturale è molto ambiguo.

La PNL ha i seguenti cinque tipi di ambiguità:

Ambiguità lessicale

L'ambiguità lessicale è l'ambiguità implicita nell'ambiguità di una singola parola.

Ad esempio, Consideriamo le seguenti frasi:

Ha vinto due medaglie d'argento
Ha fatto un discorso d'argento
Le sue preoccupazioni gli avevano argentato i capelli

Nelle frasi precedenti, come trattiamo la parola argento- come sostantivo, un aggettivo o un verbo.

Ambiguità sintattica

L'ambiguità sintattica si verifica quando una frase viene analizzata in modi diversi.

Ad esempio, Facciamo una preghiera

Frase: L'uomo ha visto la ragazza con il microscopio

Questa frase è ambigua come:

se l'uomo ha visto la ragazza al microscopio o l'ha vista al microscopio.

Ambiguità semantica

Questo tipo di ambiguità si verifica quando il significato delle parole stesse può essere frainteso. In parole semplici, l'ambiguità semantica si verifica quando una frase contiene una parola o una frase ambigua.

Ad esempio, Facciamo una preghiera

Frase: L'autobus ha colpito il palo mentre era in movimento

La frase precedente ha ambiguità semantica perché questa frase può avere due interpretazioni

• “L'autobus in movimento ha colpito il palo”
• "L'autobus si è scontrato con il palo mentre il palo era in movimento".

Ambiguità anaforica

Anafora significa quando lo stesso inizio di una frase viene ripetuto più volte e si verifica un'ambiguità anaforica a causa dell'uso di entità anafora nel discorso.

Ad esempio, Facciamo un gruppo di preghiere:

Frase: Il cane corse su per la collina. Era molto ripido. Si è presto stancato. 

Qui, il riferimento anaforico di “Quello” in due situazioni provoca ambiguità.

Ambiguità pragmatica

Questi tipi di ambiguità si verificano quando il contesto di una frase le dà molteplici interpretazioni. In parole semplici, possiamo dire che queste ambiguità sorgono quando l'affermazione non è specifica.

Ad esempio, Facciamo una preghiera

Frase: Anche tu mi piaci

che può avere più interpretazioni come:

• mi piaci (come ti piaccio)
• mi piaci (come gli altri).

Questo finisce la nostra parte 1 dalla serie di blog sull'elaborazione del linguaggio naturale!

Note finali

Grazie per aver letto!

Se ti è piaciuto e vuoi saperne di più, visita gli altri miei articoli sulla scienza dei dati e sull'apprendimento automatico facendo clic su Collegamento

Sentiti libero di contattarmi a Linkedin, E-mail.

Tutto ciò che non è stato menzionato o vuoi condividere i tuoi pensieri? Sentiti libero di commentare qui sotto e ti ricontatterò.

Circa l'autore

Chirag Goyal

Attualmente, Sto perseguendo il mio Bachelor of Technology (B.Tech) in informatica e ingegneria da Istituto indiano di tecnologia Jodhpur (IITJ). Sono molto entusiasta dell'apprendimento automatico, deep learning e intelligenza artificiale.

Il supporto mostrato in questo articolo non è di proprietà di DataPeaker e viene utilizzato a discrezione dell'autore.

Imparentato