Ce message a été rendu public dans le cadre de la Blogathon sur la science des données
introduction
Cet article fait partie d'une série de blogs en cours sur le traitement du langage naturel (PNL). Dans le post précédent, nous discutons de certaines tâches importantes de la PNL. J'espère qu'après avoir lu cet article, vous pourrez comprendre la puissance de la PNL en intelligence artificielle. Ensuite, dans cette partie de cette série, nous allons commencer notre discussion sur l'analyse sémantique, qu'est-ce qu'un niveau de tâches PNL, et nous verrons toutes les terminologies ou concepts importants dans cette analyse.
C'est la partie 9 de la série de blogs sur le Guide étape par étape du traitement du langage naturel.
Table des matières
1. Qu'est-ce que l'analyse sémantique?
- Différence entre l'analyse sémantique et l'analyse lexicale
- Deux parties de l'analyse sémantique
2. Analyse sémantique avec Machine Learning
- Désambiguïsation du sens du mot
- Extraction des relations
3. Éléments d'analyse sémantique
- Hiponymes
- Homonimie
- Polisémie
- Synonymes
- Antoine
- Meronomia
4. Représentation du sens
- Éléments constitutifs du système sémantique
- Approches des représentations du sens
- Besoin de représentations de sens
5. Sémantique lexicale
- Les étapes de la sémantique lexicale
6. Techniques d'analyse sémantique
- Modèle de classification de texte
- Extracteur de texte
Analyse sémantique
L'analyse sémantique est la procédure de recherche du sens du texte. Cette analyse donne aux ordinateurs le pouvoir de comprendre et d'interpréter des phrases, paragraphes ou documents complets, analyser leur structure grammaticale et identifier les relations entre les mots individuels de la phrase dans un contexte particulier.
Pour cela, le but de l'analyse sémantique est d'extraire le sens exact ou le sens du dictionnaire du texte. Le travail d'un analyseur sémantique est de vérifier le sens du texte.
Comme nous l'avons déjà dit, l'analyse lexicale s'occupe du sens des mots, alors une question me vient à l'esprit:
En quoi l'analyse sémantique est-elle différente de l'analyse lexicale?
L'analyse lexicale est basée sur des tokens plus petits mais, au contraire, l'analyse sémantique se concentre sur des fragments plus gros.
Puisque l'analyse sémantique se concentre sur des fragments plus gros, nous pouvons diviser l'analyse sémantique en deux parties suivantes:
Étudier le sens du mot individuel
C'est la première composante de l'analyse sémantique dans laquelle nous étudions le sens des mots individuels.. Ce composant est connu sous le nom de sémantique lexicale.
Étudier la combinaison de mots individuels
Dans ce composant, nous combinons des mots individuels pour donner un sens aux phrases.
REMARQUE:
Comme nous commentons, la tâche la plus importante de l'analyse sémantique est de trouver le sens correct de la phrase.
Par exemple, considérer la phrase suivante:
Phrase: Ram est super
Dans la phrase précédente, l'orateur parle de Lord Ram ou d'une personne dont le nom est Ram. C'est pourquoi la tâche d'obtenir le sens correct de la phrase est essentielle..
Analyse des sentiments avec l'apprentissage automatique
Nous pouvons faire fonctionner l'analyse sémantique automatiquement à l'aide d'algorithmes d'apprentissage automatique en alimentant des algorithmes d'apprentissage automatique améliorés sémantiquement avec des échantillons de données textuelles., nous pouvons entraîner des machines à faire des prédictions précises sur la base de leurs résultats précédents.
Bien que nous mettions en œuvre une approche sémantique de l'apprentissage automatique, Plusieurs sous-tâches sont impliquées, notamment
- Désambiguïsation du sens du mot
- Extraction des relations.
Analysons chacune des tâches ci-dessus une par une en détail.
Désambiguïsation du sens du mot
Comme nous l'avons commenté, le langage naturel est ambigu et polysémique; parfois, le même mot peut avoir des sens différents selon son utilisation dans la phrase.
Pour cela, en analyse sémantique avec machine learning, les ordinateurs utilisent la désambiguïsation du sens des mots pour établir quel sens est correct dans le contexte donné.
Par exemple,
Considérez le mot: Orange
Le mot ci-dessus peut faire référence à une couleur, un fruit ou même une ville de Floride!
Source de l'image: Google images
Extraction des relations
Dans ce devoir, nous essayons de détecter les relations sémantiques présentes dans un texte. Comme d'habitude, les relations impliquent deux ou plusieurs entités, comme noms de personnes, endroits, noms de sociétés, etc.
Ces entités sont jointes au moyen d'une catégorie sémantique, Quoi « il travaille à », « il vit à », « est le directeur exécutif de », « située à ».
Par exemple, Considérez la phrase suivante
Phrase: Steve Jobs est le fondateur d'Apple, dont le siège est en Californie
La phrase ci-dessus contient deux relations différentes:
Source de l'image: Google images
Éléments d'analyse sémantique
Certains éléments importants de l'analyse sémantique sont les suivants:
Hiponymes
Représente le lien entre une définition générique et les instances de ce terme générique. Ici, le terme générique est connu sous le nom d'hyperonyme et ses instances sont appelées hyponymes..
Par exemple,
Le mot couleur est un hyperonyme, et les couleurs bleu, jaune, vert, etc. sont des hyponymes.
Homonimie
Il peut être défini comme les mots qui ont la même orthographe ou la même forme mais qui ont des significations différentes et sans rapport.
Par exemple,
Le mot "Bat" est un mot homonyme.
Le mot précédent est homonymie car une chauve-souris peut être un outil de deux manières:
- Pour frapper une balle
- La chauve-souris est aussi un mammifère volant nocturne.
Polisémie
Polysémie est un mot grec, Que signifie « De nombreux signes ». C'est un mot ou une phrase avec un sens différent mais lié. En d'autres termes, on peut dire que polysémie a la même orthographe mais des sens différents et liés.
Par exemple,
Le mot "Banque" est un mot de polysémie.
Le mot ci-dessus est un mot polysémique qui a les significations suivantes:
- Une institution financière.
- Le bâtiment dans lequel se trouve l'établissement.
- Un synonyme de "confiance".
Différence entre polysémie et homonymie
La polysémie et l'homonymie ont la même syntaxe ou orthographe, mais la principale différence entre eux est que dans la polysémie, les sens des mots sont liés, mais dans l'homonymie, les sens des mots ne sont pas liés.
Par exemple, si c'est le même mot « Banque » Comme mentionné précédemment, nous pouvons écrire le sens comme
- ‘une institution financière’ O
- ‘la rive d'une rivière’.
Dans ce cas, devient un exemple d'homonyme, puisque les significations ne sont pas liées les unes aux autres.
Synonymes
Représente le lien entre deux éléments lexicaux de différentes manières mais qui expriment le même sens ou un sens proche.
Par exemple,
'auteur/écrivain', ‘destin/moirai’
Antoine
C'est le lien entre deux éléments lexicaux qui ont une symétrie entre leurs composantes sémantiques par rapport à un axe. La portée de l'antonyme est la suivante:
Demande de propriété ou non:
Par exemple,
'vie mort', ‘certitude/incertitude’
Application de propriété évolutive:
Par exemple,
'riche pauvre', 'chaud froid'
Application à usage unique:
Par exemple,
'Pere fils', 'lune Soleil'
Meronomia
Il est établi comme l'arrangement logique du texte et des mots qui désigne une partie constitutive ou un membre de quelque chose.
Par exemple,
Un segment d'orange
Représentation du sens
L'analyse sémantique crée une représentation du sens d'une phrase. Mais avant d'approfondir le concept et les approches liées à la représentation du sens, nous devons d'abord comprendre les composants de base du système sémantique.
Éléments constitutifs du système sémantique
Alors qu'ils représentent le sens des mots, les blocs de construction suivants jouent un rôle important:
Entités
Représente l'individu, en tant qu'organisation particulière, Lieu, nom du peuple, etc.
Par exemple,
Pendjab, Chine, Chirag, Kshitiz sont tous des entités.
notions
Représente la catégorie générale des individus en tant que personne, ville, etc.
Rapports
Représente le lien entre les entités et les concepts.
Par exemple,
Phrase: Ram est une personne
Prédicats
Représente les structures verbales.
Par exemple,
Rôles sémantiques et grammaire des cas
À présent, nous avons une brève idée de la représentation du sens qui montre comment assembler les composants de base des systèmes sémantiques. En d'autres termes, montre comment joindre des entités, notions, relations et prédicats pour décrire une situation. Il permet aussi de raisonner sur le monde sémantique.
Approches des représentations du sens
L'analyse sémantique utilise les approches suivantes pour la représentation du sens:
- Logique des prédicats du premier ordre (OFPL)
- Réseaux sémantiques
- Marcos
- Dépendance conceptuelle (CD)
- Architecture basée sur des règles
- Grammaire des cas
- Graphiques conceptuels
Besoin de représentations de sens
Les raisons qui sous-tendent le besoin de représentation du sens sont les suivantes:
Lier des éléments linguistiques à des éléments non linguistiques
A l'aide de la représentation du sens, nous pouvons lier des éléments linguistiques avec des éléments non linguistiques.
Représenter la variété au niveau lexical
A l'aide de la représentation du sens, nous pouvons représenter sans ambiguïté les formes canoniques au niveau lexical.
Peut être utilisé pour raisonner
La représentation du sens peut être utilisée pour raisonner afin de vérifier ce qui est correct dans le monde, ainsi que d'extraire des connaissances à l'aide de la représentation sémantique.
Sémantique lexicale
C'est la première partie de l'analyse sémantique, dans lequel nous étudions le sens des mots individuels. Inclure des mots, sous-palabres, afias (sous-unités), des mots composés et aussi des phrases. Tous les mots, sous-palabres, etc. sont collectivement appelés éléments lexicaux.
En mots simples, on peut dire que la sémantique lexicale représente le lien entre les items lexicaux, le sens des phrases et la syntaxe des phrases.
Les étapes que nous devons suivre pour faire de la sémantique lexicale sont les suivantes:
- Classification des items lexicaux.
- Décomposition d'items lexicaux.
- De plus, les différences sont analysées, ainsi que les similitudes entre diverses structures lexico-sémantiques.
Techniques d'analyse sémantique
Nous pouvons utiliser l'une ou l'autre des deux techniques d'analyse sémantique ci-dessous en fonction du type d'informations que vous souhaitez obtenir à partir des données fournies..
- modèle de classification de texte(qui attribue des catégories prédéfinies au texte)
- extracteur de texte (qui extrait des informations particulières du texte).
Modèles de classification sémantique
Classement des sujets
Basé sur le contenu, Ce modèle trier le texte dans des catégories prédéfinies. Dans une entreprise, les équipes de service client peuvent vouloir catégoriser les tickets d'assistance lorsqu'elles entrent dans leur service d'assistance et, selon la catégorie, ils distribueront le travail.
A l'aide de l'analyse sémantique, les outils d'apprentissage automatique peuvent reconnaître un ticket comme un « Problème de paiement » ou un« Problème de livraison ».
Analyse des sentiments
Dans l'analyse des sentiments, notre objectif est de détecter des émotions comme positif, négatif ou neutre dans un texte pour indiquer l'urgence.
Par exemple, Tag les mentions Twitter par sentiment pour avoir une idée de ce que les clients pensent de votre produit et pour pouvoir identifier les clients insatisfaits en temps réel.
Classement par intention
Pouvons classer le texte selon les exigences du nouvel utilisateur.
Vous pouvez utiliser ces types de modèles pour étiqueter les e-mails de vente comme « Intéressé » O « Pas intéressé » pour atteindre de manière proactive les utilisateurs qui souhaitent essayer votre produit.
Modèles d'extraction sémantique
Extraction de mots clés
Il est utilisé pour trouver des mots et des expressions pertinents dans un texte. Cette technique est utilisée séparément ou peut être utilisée conjointement avec l'une des méthodes ci-dessus pour obtenir des informations plus précieuses..
Par exemple, il pourrait analyser les mots-clés dans un tas de tweets qui ont été classés comme "négatifs" et détecter quels mots ou sujets sont mentionnés le plus fréquemment.
Extraction d'entité
L'idée d'extraction d'entité est identifier les entités nommées dans le texte, comme noms de personnes, entreprises, endroits, etc.
Cela peut être utile pour une équipe de service client pour extraire automatiquement les noms de produits, numéros d'expédition, e-mails et toutes autres données pertinentes provenant des tickets de support client.
Ceci termine notre partie 9 de la série de blogs sur le traitement du langage naturel!
D'autres articles de mon blog
Vous pouvez également consulter mes précédents articles de blog.
Anciens articles de blog sur la science des données.
C'est ici mon profil Linkedin au cas où vous voudriez me joindre. Je serai heureux d'être connecté avec vous.
Pour toute requête, vous pouvez m'envoyer un email à Gmail.
Remarques finales
Merci pour la lecture!
j'espère que vous avez aimé le post. Si ça te plaît, partagez-le avec vos amis aussi. Tout ce qui n'est pas mentionné ou voulez-vous partager vos pensées? N'hésitez pas à commenter ci-dessous et je vous répondrai. ??
Les médias présentés dans cet article ne sont pas la propriété de DataPeaker et sont utilisés à la discrétion de l'auteur.
