Esta postagem foi tornada pública como parte do Data Science Blogathon
Introdução
Esta postagem é parte de uma série de blog em andamento sobre processamento de linguagem natural (PNL). Na postagem anterior, discutimos algumas tarefas importantes da PNL. Espero que depois de ler esse post você possa entender o poder da PNL na Inteligência Artificial. Então, nesta parte desta série, vamos começar nossa discussão sobre análise semântica, o que é um nível de tarefas de PNL, e veremos todas as terminologias ou conceitos importantes nesta análise.
Esta é a parte 9 da série de blogs no Guia passo a passo para processamento de linguagem natural.
Tabela de conteúdo
1. O que é análise semântica?
- Diferença entre análise semântica e lexical
- Duas partes da análise semântica
2. Análise semântica com aprendizado de máquina
- Desambiguação do significado da palavra
- Extração de relações
3. Itens de análise semântica
- Hipônimos
- Homonimia
- Polissemia
- Sinônimos
- Antonio
- Meronomía
4. Representação de significado
- Blocos de construção do sistema semântico
- Abordagens para representações de significado
- Necessidade de representações de significado
5. Semântica lexical
- Etapas envolvidas na semântica lexical
6. Técnicas de análise semântica
- Modelo de classificação de texto
- Extrator de texto
Análise semântica
A análise semântica é o procedimento para encontrar o significado do texto. Esta análise dá aos computadores o poder de compreender e interpretar frases, parágrafos ou documentos completos, analisando sua estrutura gramatical e identificando as relações entre palavras individuais da frase em um contexto particular.
Por isso, o objetivo da análise semântica é extrair o significado exato ou o significado do dicionário do texto. O trabalho de um analisador semântico é verificar o significado do texto.
Como já comentamos, a análise lexical cuida do significado das palavras, então uma pergunta vem à mente:
Como a análise semântica difere da análise lexical?
A análise lexical é baseada em tokens menores, mas, pelo contrário, a análise semântica se concentra em fragmentos maiores.
Uma vez que a análise semântica se concentra em fragmentos maiores, podemos dividir a análise semântica nas duas partes seguintes:
Estude o significado de cada palavra
É o primeiro componente da análise semântica em que estudamos o significado de palavras individuais.. Este componente é conhecido como semântica lexical.
Estude a combinação de palavras individuais
Neste componente, combinamos palavras individuais para dar significado às frases.
NOTA:
Enquanto comentamos, a tarefa mais importante da análise semântica é encontrar o significado adequado da frase.
Como um exemplo, considere a próxima frase:
Frase: Ram é ótimo
Na frase anterior, o orador está falando de Lord Ram ou de uma pessoa cujo nome é Ram. É por isso que a tarefa de obter o significado correto da frase é essencial..
Análise de sentimento com aprendizado de máquina
Podemos fazer a análise semântica funcionar automaticamente com a ajuda de algoritmos de aprendizado de máquina, alimentando algoritmos de aprendizado de máquina aprimorados semanticamente com amostras de dados de texto, podemos treinar máquinas para fazer previsões precisas com base em seus resultados anteriores.
Embora implementemos uma abordagem semântica para aprendizado de máquina, Existem várias subtarefas envolvidas, incluindo
- Desambiguação do significado da palavra
- Extração de relações.
Vamos analisar cada uma das tarefas acima, uma a uma em detalhes.
Desambiguação do significado da palavra
Como comentamos, a linguagem natural é ambígua e polissêmica; as vezes, a mesma palavra pode ter significados diferentes dependendo de seu uso na frase.
Por isso, em análise semântica com aprendizado de máquina, computadores usam desambiguação de sentido de palavra para estabelecer qual significado é correto no contexto dado.
Como um exemplo,
Considere a palavra: laranja
A palavra acima pode se referir a uma cor, uma fruta ou mesmo uma cidade na Flórida!
Fonte da imagem: Imagens do google
Extração de relações
Neste dever de casa, tentamos detectar as relações semânticas presentes em um texto. Em geral, relacionamentos envolvem duas ou mais entidades, como nomes de pessoas, locais, nomes de empresas, etc.
Essas entidades são unidas por meio de uma categoria semântica, O que “trabalha em”, “vive em”, “é o diretor executivo da”, “Com sede em”.
Como um exemplo, Considere a próxima frase
Frase: Steve Jobs é o fundador da Apple, que tem sede na Califórnia
A frase acima contém duas relações diferentes:
Fonte da imagem: Imagens do google
Itens de análise semântica
Alguns itens importantes da análise semântica são os seguintes:
Hipônimos
Representa o link entre uma definição genérica e as instâncias desse termo genérico. Aqui, o termo genérico é conhecido como hiperônimo e suas instâncias são chamadas de hipônimos..
Como um exemplo,
A palavra cor é hypernym, e as cores azuis, amarelo, verde, etc. são hipônimos.
Homonimia
Pode ser definido como as palavras que têm a mesma grafia ou a mesma forma, mas que têm significados diferentes e não relacionados.
Como um exemplo,
A palavra "morcego" é uma palavra homonímia.
A palavra anterior é homonímia porque um morcego pode ser um instrumento de duas maneiras:
- Para acertar uma bola
- O morcego também é um mamífero voador noturno.
Polissemia
Polissemia é uma palavra grega, que significa “Muitos sinais”. É uma palavra ou frase com um significado diferente, mas relacionado. Em outras palavras, podemos dizer que a polissemia tem a mesma grafia, mas significados diferentes e relacionados.
Como um exemplo,
A palavra "Banco" é uma palavra polissêmica.
A palavra acima é uma palavra polissêmica que tem os seguintes significados:
- Uma instituição financeira.
- O prédio em que a instituição está localizada.
- Um sinônimo para "confiança".
Diferença entre polissemia e homonímia
Tanto a polissemia quanto a homonímia têm a mesma sintaxe ou grafia, mas a principal diferença entre eles é que na polissemia, os significados das palavras estão relacionados, mas na homonímia, os significados das palavras não estão relacionados.
Como um exemplo, se é a mesma palavra “Banco” como dito anteriormente, podemos escrever o significado como
- ‘Uma instituição financeira’ o
- ‘A margem de um rio’.
Nesse caso, torna-se um exemplo de homônimo, uma vez que os significados não estão relacionados entre si.
Sinônimos
Representa a ligação entre dois itens lexicais de maneiras diferentes, mas expressando o mesmo ou um significado próximo.
Como um exemplo,
‘autor/escritor’, ‘destino/fado'
Antonio
É a ligação entre dois itens lexicais que possuem simetria entre seus componentes semânticos em relação a um eixo. O escopo do antônimo é o seguinte:
Aplicação imobiliária ou não:
Como um exemplo,
'vida Morte', "Certeza / incerteza"
Aplicativo de propriedade escalonável:
Como um exemplo,
'Rico pobre', 'quente frio'
Aplicativo de uso único:
Como um exemplo,
'pai Filho', 'lua Sol'
Meronomía
É estabelecido como o arranjo lógico de texto e palavras que denota uma parte constituinte ou membro de algo.
Como um exemplo,
Um segmento de uma laranja
Representação de significado
A análise semântica cria uma representação do significado de uma frase. Mas antes de mergulhar no conceito e nas abordagens relacionadas à representação do significado, devemos primeiro entender os componentes básicos do sistema semântico.
Blocos de construção do sistema semântico
Embora representem o significado das palavras, os seguintes blocos de construção desempenham um papel importante:
Entidades
Representa o indivíduo, como uma organização particular, Localização, nome do povo, etc.
Como um exemplo,
Punjab, China, Chirag, Kshitiz todos são entidades.
Conceitos
Representa a categoria geral de indivíduos como pessoa, Cidade, etc.
Relações
Representa a ligação entre entidades e conceitos.
Como um exemplo,
Frase: Ram é uma pessoa
Predicados
Representa as estruturas verbais.
Como um exemplo,
Papéis semânticos e Case Grammar
Agora, temos uma breve ideia da representação do significado que mostra como reunir os componentes básicos dos sistemas semânticos. Em outras palavras, mostra como juntar entidades, conceitos, relações e predicados para descrever uma situação. Também torna possível raciocinar sobre o mundo semântico.
Abordagens para representações de significado
A análise semântica usa as seguintes abordagens para a representação do significado:
- Lógica de predicado de primeira ordem (FOPL)
- Redes semânticas
- Marcos
- Dependência conceitual (CD)
- Arquitetura baseada em regras
- Gramática de caso
- Gráficos de conceito
Necessidade de representações de significado
As razões por trás da necessidade de representação do significado são as seguintes:
Vinculação de itens linguísticos a itens não linguísticos
Com a ajuda da representação de significado, podemos ligar itens linguísticos com itens não linguísticos.
Representando a variedade no nível lexical
Com a ajuda da representação de significado, podemos representar inequivocamente as formas canônicas no nível lexical.
Pode ser usado para raciocinar
A representação do significado pode ser usada para raciocinar para verificar o que é correto no mundo, bem como extrair conhecimento com a ajuda da representação semântica.
Semântica lexical
É a primeira parte da análise semântica, em que estudamos o significado de palavras individuais. Incluir palavras, subpalabras, afias (subunidades), palavras compostas e também frases. Todas as palavras, subpalabras, etc. são conhecidos coletivamente como itens lexicais.
Em palavras simples, podemos dizer que a semântica lexical representa a ligação entre os itens lexicais, o significado das frases e a sintaxe da frase.
As etapas que devemos seguir ao fazer a semântica lexical são as seguintes:
- Classificação de itens lexicais.
- Decomposição de item lexical.
- Além disso, as diferenças são analisadas, bem como as semelhanças entre várias estruturas semânticas-lexicais.
Técnicas de análise semântica
Podemos usar qualquer uma das duas técnicas de análise semântica abaixo, dependendo do tipo de informação que você gostaria de obter dos dados fornecidos..
- modelo de classificação de texto(que atribui categorias predefinidas ao texto)
- extrator de texto (que extrai informações específicas do texto).
Modelos de classificação semântica
Classificação dos tópicos
Com base no conteúdo, Este modelo classifique o texto em categorias predefinidas. Na companhia, as equipes de atendimento ao cliente podem querer categorizar tíquetes de suporte conforme eles entram em seu help desk e, de acordo com a categoria, eles vão distribuir o trabalho.
Com a ajuda da análise semântica, ferramentas de aprendizado de máquina podem reconhecer um tíquete como um “Problema de pagamento” ou um“Problema de envio”.
Análise de sentimentos
Na análise de sentimento, nosso objetivo é detectar emoções como positivo, negativo ou neutro em um texto para denotar urgência.
Como um exemplo, Marque as menções do Twitter por sentimento para ter uma ideia de como os clientes se sentem em relação ao seu produto e para ser capaz de identificar clientes insatisfeitos em tempo real.
Classificação por intenção
Nós podemos classificar o texto de acordo com os requisitos do novo usuário.
Você pode usar esses tipos de modelos para rotular e-mails de vendas como “Interessado” o “Não interessado” para alcançar proativamente usuários que desejam experimentar seu produto.
Modelos de extração semântica
Extração de palavras-chave
É usado para encontrar palavras e expressões relevantes em um texto. Esta técnica é usada separadamente ou pode ser usada em conjunto com um dos métodos acima para obter informações mais valiosas..
Como um exemplo, pode analisar as palavras-chave em um grupo de tweets que foram categorizados como "negativos" e detectar quais palavras ou tópicos são mencionados com mais frequência.
Extração de entidade
A ideia de extração de entidade é identificar entidades nomeadas no texto, como nomes de pessoas, empresas, locais, etc.
Isso pode ser útil para uma equipe de atendimento ao cliente extrair automaticamente os nomes dos produtos, números de envio, e-mails e quaisquer outros dados relevantes de tíquetes de suporte ao cliente.
Isso encerra nossa parte 9 da série de blogs sobre processamento de linguagem natural!
Outros posts meus
Você também pode verificar minhas postagens anteriores.
Postagens anteriores do blog de ciência de dados.
Aqui está meu perfil do Linkedin no caso de você querer se conectar comigo. Ficarei feliz em estar conectado com você.
O email
Para qualquer consulta, você pode me enviar um e-mail para Gmail.
Notas finais
Obrigado pela leitura!
Espero que tenha gostado do post. Se você gosta, compartilhe com seus amigos também. Qualquer coisa não mencionada ou você deseja compartilhar suas idéias? Sinta-se à vontade para comentar abaixo e eu entrarei em contato com você. 😉
A mídia mostrada nesta postagem não é propriedade da DataPeaker e é usada a critério do autor.
