Classificação de texto no processamento de linguagem natural

Este artigo foi publicado como parte do Data Science Blogathon.

Introdução

A inteligência artificial foi amplamente melhorada sem a necessidade de alterar a infraestrutura de hardware subjacente. Os usuários podem executar um programa de inteligência artificial em um sistema de computador antigo. Por outro lado, O efeito benéfico do aprendizado de máquina é ilimitado. O processamento de linguagem natural é um dos ramos da inteligência artificial que dá às máquinas a capacidade de ler, Compreender e transmitir significado. A PNL tem sido muito bem sucedida na assistência médica, A mídia, Finanças e recursos humanos.

A forma mais comum de dados não estruturados são textos e discursos. É abundante, mas difícil, Extraia informações úteis. Pelo contrário, Levaria muito tempo para extrair a informação. Texto escrito e fala contêm informações valiosas. É porque nós, Como seres inteligentes, Usamos a escrita e a fala como a principal forma de comunicação. A PNL pode analisar esses dados para nós e executar tarefas como análise de sentimentos., Assistente Cognitivo, Filtragem de intervalos, Identificação de notícias falsas e tradução de idiomas em tempo real.

Este artigo abordará como a PNL entende textos ou partes da fala. Vamos nos concentrar principalmente em palavras e análise de sequência. Inclui classificação de texto, Semântica vetorial e incorporação de palavras, Modelo de linguagem probabilística, Rotulação sequencial e reorganização da fala. Veremos a análise de sentimento de cinquenta mil críticos de cinema do IMDB. Nosso objetivo é identificar se a avaliação postada no site do IMDB pelo seu usuário é positiva ou negativa..

Lista de faixas

A PNL tem sido amplamente utilizada em automóveis, telefones inteligentes, Falantes, Computador, Sítios Web, etc. Google Tradutor Tradutor Automático, o que é o sistema de PNL. Google Translator escreveu e falou em linguagem natural para o idioma que os usuários querem traduzir. A PNL ajuda o Google Tradutor a entender a palavra no contexto, eliminar ruídos adicionais e criar CNNs para entender a voz nativa.

A PNL também é popular em chatbots. Os chatbots são muito úteis porque reduzem o trabalho humano de perguntar o que o cliente precisa.. Os chatbots de PNL fazem perguntas sequenciais como qual é o problema do usuário e onde encontrar a solução. Apple e AMAZON têm um chatbot robusto em seu sistema. Quando o usuário faz algumas perguntas, O chatbot as converte em frases compreensíveis no sistema interno.

Chama-se toke. Mais tarde, o token vai para a PNL para ter uma ideia do que os usuários estão perguntando. A PNL é usada na recuperação de informações (IR). IR é um programa de software que lida com um grande armazenamento, Avaliando informações de documentos de texto grandes em repositórios. Recuperar apenas informações relevantes. Por exemplo, é usado na detecção de voz do Google para cortar palavras desnecessárias.

Aplicação da PNL

Analisando

O analisador determina a estrutura sintática de um texto analisando as palavras que o constituem com base em uma gramática subjacente. Divida as palavras no grupo em partes componentes e separe as palavras.

Para mais detalhes sobre a análise, consulte Este artigo.

Semântico

O texto está no centro de como nos comunicamos. O que é realmente difícil é entender o que é dito em uma conversa escrita ou falada?? Entender livros e artigos longos é ainda mais difícil. A semântica é um processo que busca compreender o significado linguístico por meio da construção de um modelo do princípio que o falante utiliza para transmitir significado.. Usado na análise de feedback do cliente, Análise do artigo, detecção de notícias falsas, Análise semântica, etc.

Aplicativo de exemplo

Aqui está o exemplo de código:

_{Importando a biblioteca necessária}

# Ele é definido pela imagem do Docker kaggle/python: https://github.com/kaggle/docker-python
# Por exemplo, here's several helpful packages to load

import numpy as np # linear algebra
import pandas as pd # processamento de dados, I/O do arquivo CSV (por exemplo. pd.read_csv)

# Os arquivos de dados de entrada estão disponíveis no somente leitura "../entrada/" diretório
# Por exemplo, executando este (clicando em executar ou pressionando Shift+Enter) will list all files under the input directory

import os
for dirname, _, nomes de arquivos em os.walk('/kaggle/input'):
    para nome de arquivo em nomes de arquivos:
        imprimir(os.path.join(dirname, nome do arquivo))

# Você pode gravar até 20 GB no diretório atual (/kaggle/trabalho/) que é preservado como saída quando você cria uma versão usando "Salvar & Executar tudo" 
# Você também pode gravar arquivos temporários em /kaggle/temp/, but they won't be saved outside of the current session

#Importing require Libraries
import os

import matplotlib.pyplot as plt
import nltk
from tkinter import *
import seaborn as sns
import matplotlib.pyplot as plt
sns.set()
import scipy

import tensorflow as tf
import tensorflow_hub as hub
import tensorflow_datasets as tfds
from tensorflow.python import keras

from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Embedding, LSTM

from sklearn.model_selection import train_test_split
from sklearn.metrics import confusion_matrix
from sklearn.metrics import classification_report

Descargando el archivo necesario

# esta célula leva tempo, por favor, execute uma vez
# Divida o conjunto de treinamento em 60% e 40%, então vamos acabar com 15,000 Exemplos
# para treinamento, 10,000 exemplos de validação e 25,000 exemplos de teste.
original_train_data, original_validation_data, original_test_data = tfds.load(
    nome ="imdb_reviews", 
    dividir=(«comboio[:60%]', «comboio[60%:]', 'teste'),
    as_supervised=Verdadeiro)

Obtener el índice de palabras de los conjuntos de datos de Keras

#tokanizing by tensorflow
word_index = tf.keras.datasets.imdb.get_word_index(
    caminho ="imdb_word_index.json"

)

{k:v para (k,v) em word_index.items() se v < 20}

{'com': 16,  'eu': 10,  'Como': 14,  'isto': 9,  'é': 6,  'no': 8,  'mas': 18,  'do': 4,  'isso': 11,  'uma': 3,  'para': 15,  'br': 7,  'a': 1,  'era': 13,  'e': 2,  'para': 5,  'filme': 19,  'Filme': 17,  'isso': 12}

Comparação de avaliações positivas e negativas

Criar Trem, dados de teste

Modelo e resumo do modelo

Dividir dados e ajustar o modelo

Visão geral do efeito de modelo

Matriz de confusão e relatório de correlação

Observação: A fonte de dados e os dados neste modelo estão disponíveis publicamente e acessíveis usando o Tensorflow.

Para obter o código completo e os detalhes, siga isto Repositório GitHub.

Em conclusão, A PNL é um campo cheio de oportunidades. A PNL tem um tremendo efeito sobre como analisar textos e discursos. A PNL está melhorando a cada dia. Extrair insights do grande conjunto de dados era impossível há cinco anos. A ascensão da técnica da PNL tornou possível e fácil. Ainda há muitas oportunidades para descobrir na PNL.

Relacionado