Questo post è stato reso pubblico come parte del Blogathon sulla scienza dei dati
introduzione
Questo post fa parte di una serie di blog in corso sull'elaborazione del linguaggio naturale (PNL). Nel post precedente, discutiamo di alcuni importanti compiti di PNL. Spero che dopo aver letto quel post tu possa capire il potere della PNL nell'Intelligenza Artificiale. Quindi, in questa parte di questa serie, inizieremo la nostra discussione sull'analisi semantica, qual è il livello delle attività di PNL?, e vedremo tutte le terminologie o i concetti importanti in questa analisi.
Questa è la parte 9 dalla serie di blog sulla Guida passo passo all'elaborazione del linguaggio naturale.
Sommario
1. Cos'è l'analisi semantica??
- Differenza tra analisi semantica e lessicale
- Due parti dell'analisi semantica
2. Analisi semantica con Machine Learning
- Disambiguazione del significato della parola
- Estrazione di relazioni
3. Elementi di analisi semantica
- iponimi
- omonimia
- polisemia
- Sinonimi
- Antonio
- meronomia
4. Rappresentazione del significato
- Elementi costitutivi del sistema semantico
- Approcci alle rappresentazioni del significato
- Necessità di rappresentazioni di significato
5. Semantica lessicale
- Passi coinvolti nella semantica lessicale
6. Tecniche di analisi semantica
- Modello di classificazione del testo
- Estrattore di testo
Analisi semantica
L'analisi semantica è la procedura per trovare il significato del testo. Questa analisi offre ai computer il potere di comprendere e interpretare le frasi, paragrafi o documenti completi, analizzando la loro struttura grammaticale e individuando le relazioni tra le singole parole della frase in un particolare contesto.
Perché, l'obiettivo dell'analisi semantica è estrarre il significato esatto o il significato del dizionario dal testo. Il compito di un analizzatore semantico è verificare il significato del testo.
Come abbiamo già commentato, l'analisi lessicale si occupa del significato delle parole, poi mi viene in mente una domanda:
In che modo l'analisi semantica è diversa dall'analisi lessicale??
L'analisi lessicale si basa su token più piccoli ma, al contrario, l'analisi semantica si concentra su frammenti più grandi.
Poiché l'analisi semantica si concentra su frammenti più grandi, possiamo dividere l'analisi semantica nelle seguenti due parti:
Studia il significato della singola parola
È la prima componente dell'analisi semantica in cui si studia il significato delle singole parole.. Questo componente è noto come semantica lessicale.
Studia la combinazione delle singole parole
In questo componente, combiniamo singole parole per dare significato alle frasi.
NOTA:
Mentre commentiamo, il compito più importante dell'analisi semantica è trovare il significato proprio della frase.
Come esempio, considera la prossima frase:
Frase: Ram è fantastico
Nella frase precedente, l'oratore sta parlando di Lord Ram o di una persona il cui nome è Ram. Ecco perché il compito di ottenere il significato corretto della frase è essenziale..
Analisi del sentiment con machine learning
Possiamo far funzionare automaticamente l'analisi semantica con l'aiuto di algoritmi di apprendimento automatico alimentando algoritmi di apprendimento automatico semanticamente potenziati con campioni di dati di testo, possiamo addestrare le macchine a fare previsioni accurate in base ai loro risultati precedenti.
Sebbene implementiamo un approccio semantico all'apprendimento automatico, Ci sono diverse sottoattività coinvolte, tra cui
- Disambiguazione del significato della parola
- Estrazione di relazioni.
Analizziamo ciascuna delle attività di cui sopra una per una in dettaglio.
Disambiguazione del significato della parola
Come abbiamo commentato, il linguaggio naturale è ambiguo e polisemico; A volte, la stessa parola può avere significati diversi a seconda del suo uso nella frase.
Perché, nell'analisi semantica con il machine learning, i computer usano la disambiguazione del senso delle parole per stabilire quale significato è corretto nel contesto dato.
Come esempio,
Considera la parola: arancia
La parola sopra può riferirsi a un colore, un frutto o anche una città della Florida!
Fonte immagine: Google Immagini
Estrazione di relazioni
In questo compito, cerchiamo di rilevare le relazioni semantiche presenti in un testo. Generalmente, le relazioni coinvolgono due o più entità, come nomi di persone, posti, nomi di società, eccetera.
Queste entità sono unite per mezzo di una categoria semantica, Che cosa “lavora a”, “vive a”, “è il direttore esecutivo di”, “con sede a”.
Come esempio, Considera la prossima frase
Frase: Steve Jobs è il fondatore di Apple, che ha sede in California
La frase sopra contiene due diverse relazioni:
Fonte immagine: Google Immagini
Elementi di analisi semantica
Alcuni elementi importanti dell'analisi semantica sono i seguenti:
iponimi
Rappresenta il legame tra una definizione generica e le istanze di quel termine generico. Qui il termine generico è noto come iperonimo e le sue istanze sono chiamate iponimi..
Come esempio,
La parola colore è hypernym, e i colori blu, giallo, verde, eccetera. sono iponimi.
omonimia
Può essere definita come le parole che hanno la stessa ortografia o la stessa forma ma che hanno significati diversi e non correlati.
Come esempio,
La parola "Pipistrello" è una parola omonima.
La parola precedente è omonimia perché un pipistrello può essere uno strumento in due modi:
- Per colpire una palla
- Il pipistrello è anche un mammifero volante notturno.
polisemia
Polisemia è una parola greca, cosa significa “molti segni”. È una parola o una frase con un significato diverso ma correlato. In altre parole, possiamo dire che la polisemia ha la stessa grafia ma significati diversi e correlati.
Come esempio,
La parola "Banca" è una parola polisemia.
La parola sopra è una parola polisemia che ha i seguenti significati:
- Un istituto finanziario.
- L'edificio in cui si trova l'istituzione.
- Sinonimo di "fiducia".
Differenza tra polisemia e omonimia
Sia la polisemia che l'omonimia hanno la stessa sintassi o ortografia, ma la differenza principale tra loro è quella nella polisemia, i significati delle parole sono correlati, ma nell'omonimia, i significati delle parole non sono correlati.
Come esempio, se è la stessa parola “Banca” Come menzionato in precedenza, possiamo scrivere il significato come
- "Un istituto finanziario"’ oh
- "La sponda di un fiume".
Quindi, diventa un esempio di omonimo, poiché i significati non sono correlati tra loro.
Sinonimi
Rappresenta il legame tra due elementi lessicali in modi diversi ma esprimendo lo stesso significato o un significato vicino.
Come esempio,
'autore/scrittore', 'fato destino'
Antonio
È il legame tra due elementi lessicali che hanno simmetria tra le loro componenti semantiche rispetto ad un asse. Lo scopo del contrario è il seguente:
Domanda di proprietà o no:
Come esempio,
'vita morte', "certezza/incertezza"
Applicazione di proprietà scalabili:
Come esempio,
'ricco povero', 'caldo freddo'
Applicazione monouso:
Come esempio,
'figlio del padre', 'Luna Sole'
meronomia
È stabilito come la disposizione logica di testo e parole che denota una parte costituente o un membro di qualcosa.
Come esempio,
Un segmento di un'arancia
Rappresentazione del significato
L'analisi semantica crea una rappresentazione del significato di una frase. Ma prima di approfondire il concetto e gli approcci legati alla rappresentazione del significato, dobbiamo prima capire i componenti di base del sistema semantico.
Elementi costitutivi del sistema semantico
Mentre rappresentano il significato delle parole, i seguenti elementi costitutivi svolgono un ruolo importante:
Entità
Rappresenta l'individuo, come una particolare organizzazione, Posizione, nome della gente, eccetera.
Come esempio,
Punjab, Cina, chirag, Kshitiz sono tutti entità.
Concetti
Rappresenta la categoria generale degli individui come persona, cittadina, eccetera.
Relazioni
Rappresenta il legame tra entità e concetti.
Come esempio,
Frase: Ram è una persona
predicati
Rappresenta le strutture verbali.
Come esempio,
Ruoli semantici e grammatica dei casi
Ora, abbiamo una breve idea della rappresentazione del significato che mostra come mettere insieme le componenti di base dei sistemi semantici. In altre parole, mostra come unire le entità, concetti, relazioni e predicati per descrivere una situazione. Permette anche di ragionare sul mondo semantico.
Approcci alle rappresentazioni del significato
L'analisi semantica utilizza i seguenti approcci alla rappresentazione del significato:
- Logica dei predicati del primo ordine (FOPL)
- Reti semantiche
- Marcos
- Dipendenza concettuale (cd)
- Architettura basata su regole
- grammatica del caso
- Grafica concettuale
Necessità di rappresentazioni di significato
Le ragioni alla base della necessità di rappresentazione del significato sono le seguenti:
Collegamento di elementi linguistici a elementi non linguistici
Con l'aiuto della rappresentazione del significato, possiamo collegare elementi linguistici con elementi non linguistici.
Rappresentare la varietà a livello lessicale
Con l'aiuto della rappresentazione del significato, possiamo rappresentare senza ambiguità forme canoniche a livello lessicale.
Può essere usato per ragionare
La rappresentazione del significato può essere usata per ragionare per verificare ciò che è corretto nel mondo, così come estrarre conoscenza con l'aiuto della rappresentazione semantica.
Semantica lessicale
È la prima parte dell'analisi semantica, in cui studiamo il significato delle singole parole. Includi parole, subpalabras, afias (subunità), parole composte e anche frasi. Tutte le parole, subpalabras, eccetera. sono noti collettivamente come elementi lessicali.
In parole semplici, possiamo dire che la semantica lessicale rappresenta il legame tra elementi lessicali, il significato delle frasi e la sintassi delle frasi.
I passaggi che dobbiamo seguire quando si fa la semantica lessicale sono i seguenti:
- Classificazione degli elementi lessicali.
- Decomposizione lessicale dell'elemento.
- Inoltre, vengono analizzate le differenze, così come le somiglianze tra le varie strutture lessicali-semantiche.
Tecniche di analisi semantica
Possiamo utilizzare una delle due tecniche di analisi semantica di seguito a seconda del tipo di informazioni che desideri ottenere dai dati forniti..
- modello di classificazione del testo(che assegna categorie predefinite al testo)
- estrattore di testo (che estrae particolari informazioni dal testo).
Modelli di classificazione semantica
Classificazione degli argomenti
In base al contenuto, Questo modello ordina il testo in categorie predefinite. In una compagnia, i team del servizio clienti potrebbero voler classificare i ticket di supporto quando entrano nel loro help desk e, per categoria, distribuiranno il lavoro.
Con l'aiuto dell'analisi semantica, gli strumenti di apprendimento automatico possono riconoscere un biglietto come a “Problema di pagamento” o un“Problema di spedizione”.
Analisi del sentimento
Nell'analisi del sentimento, il nostro obiettivo è rilevare emozioni come positivo, negativo o neutro in un testo per denotare urgenza.
Come esempio, Tagga le menzioni di Twitter in base al sentimento per avere un'idea di come i clienti si sentono riguardo al tuo prodotto e per essere in grado di identificare i clienti insoddisfatti in tempo reale.
Classificazione per intenzione
Noi possiamo classificare il testo in base alle esigenze del nuovo utente.
Puoi utilizzare questi tipi di modelli per etichettare le e-mail di vendita come “Interessato” oh “Non interessato” per raggiungere in modo proattivo gli utenti che vogliono provare il tuo prodotto.
Modelli di estrazione semantica
Estrazione delle parole chiave
È usato per trovare parole ed espressioni pertinenti in un testo. Questa tecnica viene utilizzata separatamente o può essere utilizzata in combinazione con uno dei metodi di cui sopra per ottenere informazioni più preziose..
Come esempio, potrebbe analizzare le parole chiave in una serie di tweet che sono stati classificati come "negativi" e rilevare quali parole o argomenti sono menzionati più frequentemente.
Estrazione di entità
L'idea di estrazione di entità è identificare le entità nominate nel testo, come nomi di persone, aziende, posti, eccetera.
Questo può essere utile per un team di assistenza clienti per estrarre automaticamente i nomi dei prodotti, numeri di spedizione, e-mail e qualsiasi altro dato rilevante dai ticket dell'assistenza clienti.
Questo finisce la nostra parte 9 dalla serie di blog sull'elaborazione del linguaggio naturale!
Altri miei post sul blog
Puoi anche dare un'occhiata ai miei precedenti post sul blog.
Post precedenti del blog sulla scienza dei dati.
Ecco qui il mio profilo Linkedin nel caso tu voglia connetterti con me. Sarò felice di essere connesso con te.
Per qualsiasi domanda, puoi mandarmi una mail a Gmail.
Note finali
Grazie per aver letto!
Spero che il post ti sia piaciuto. Se ti piace, condividilo anche con i tuoi amici. Tutto ciò che non è stato menzionato o vuoi condividere i tuoi pensieri? Sentiti libero di commentare qui sotto e ti ricontatterò. ?
Il supporto mostrato in questo post non è di proprietà di DataPeaker e viene utilizzato a discrezione dell'autore.
