Dieser Beitrag wurde im Rahmen der Data Science Blogathon
Einführung
Dieser Beitrag ist Teil einer laufenden Blog-Serie über die Verarbeitung natürlicher Sprache (PNL). Im vorherigen Beitrag, wir besprechen einige wichtige NLP-Aufgaben. Ich hoffe, dass Sie nach dem Lesen dieses Beitrags die Kraft von NLP in der Künstlichen Intelligenz verstehen können. Dann, in diesem Teil dieser Serie, Wir werden unsere Diskussion über die semantische Analyse beginnen, Was ist eine Stufe von NLP-Aufgaben?, und wir werden alle wichtigen Terminologien oder Konzepte in dieser Analyse sehen.
Das ist das Teil 9 aus der Blog-Serie zur Schritt-für-Schritt-Anleitung zur Verarbeitung natürlicher Sprache.
Inhaltsverzeichnis
1. Was ist semantische Analyse??
- Unterschied zwischen semantischer und lexikalischer Analyse
- Zwei Teile der semantischen Analyse
2. Semantische Analyse mit Machine Learning
- Begriffsklärung der Wortbedeutung
- Extraktion von Beziehungen
3. Elemente der semantischen Analyse
- Hiponyme
- Homonimie
- Polisämie
- Synonyme
- Antonio
- Meronomia
4. Darstellung von Bedeutung
- Bausteine des semantischen Systems
- Ansätze zu Bedeutungsdarstellungen
- Notwendigkeit von Bedeutungsdarstellungen
5. Lexikalische Semantik
- Schritte der lexikalischen Semantik
6. Semantische Analysetechniken
- Textklassifizierungsmodell
- Textextraktor
Semantische Analyse
Semantische Analyse ist das Verfahren, um die Bedeutung des Textes zu finden. Diese Analyse gibt Computern die Möglichkeit, Sätze zu verstehen und zu interpretieren, Absätze oder vollständige Dokumente, Analyse ihrer grammatikalischen Struktur und Identifizierung der Beziehungen zwischen einzelnen Wörtern des Satzes in einem bestimmten Kontext.
Deswegen, Das Ziel der semantischen Analyse ist es, die genaue Bedeutung oder die Wörterbuchbedeutung aus dem Text zu extrahieren. Die Aufgabe eines semantischen Analysators besteht darin, die Bedeutung des Textes zu überprüfen.
Wie bereits erwähnt, kümmert sich die lexikalische Analyse um die Bedeutung von Wörtern, dann kommt mir eine Frage in den Sinn:
Wie unterscheidet sich die semantische Analyse von der lexikalischen Analyse??
Die lexikalische Analyse basiert auf kleineren Token, aber, Umgekehrt, Die semantische Analyse konzentriert sich auf größere Fragmente.
Da sich die semantische Analyse auf größere Fragmente konzentriert, wir können die semantische Analyse in die folgenden zwei Teile unterteilen:
Studieren Sie die Bedeutung des einzelnen Wortes
Es ist die erste Komponente der semantischen Analyse, in der wir die Bedeutung einzelner Wörter untersuchen.. Diese Komponente wird als lexikalische Semantik bezeichnet.
Studieren Sie die Kombination einzelner Wörter
In dieser Komponente, Wir kombinieren einzelne Wörter, um Sätzen eine Bedeutung zu geben.
HINWEIS:
Wie wir kommentieren, Die wichtigste Aufgabe der semantischen Analyse besteht darin, die richtige Bedeutung des Satzes zu finden.
Als Beispiel, bedenke den nächsten Satz:
Satz: Ram ist toll
Im vorherigen Satz, der Sprecher spricht von Lord Ram oder einer Person namens Ram. Aus diesem Grund ist es wichtig, die richtige Bedeutung des Satzes zu erhalten..
Stimmungsanalyse mit maschinellem Lernen
Wir können die semantische Analyse mithilfe von maschinellen Lernalgorithmen automatisch zum Laufen bringen, indem wir semantisch verbesserte maschinelle Lernalgorithmen mit Textdatenproben füttern, Wir können Maschinen trainieren, genaue Vorhersagen basierend auf ihren vorherigen Ergebnissen zu treffen.
Obwohl wir einen semantischen Ansatz für maschinelles Lernen implementieren, Es gibt mehrere Teilaufgaben, einschließlich
- Begriffsklärung der Wortbedeutung
- Extraktion von Beziehungen.
Lassen Sie uns jede der oben genannten Aufgaben nacheinander im Detail analysieren.
Begriffsklärung der Wortbedeutung
Wie wir kommentiert haben, natürliche Sprache ist mehrdeutig und polysemisch; manchmal, dasselbe Wort kann je nach Verwendung im Satz unterschiedliche Bedeutungen haben.
Deswegen, in semantischer Analyse mit maschinellem Lernen, Computer verwenden die Begriffsklärung des Wortsinns, um festzustellen, welche Bedeutung im gegebenen Kontext richtig ist.
Als Beispiel,
Betrachten Sie das Wort: Orange
Das obige Wort kann sich auf eine Farbe beziehen, eine Frucht oder sogar eine Stadt in Florida!
Bildquelle: Google Bilder
Extraktion von Beziehungen
In dieser Hausaufgabe, wir versuchen, die in einem Text vorhandenen semantischen Beziehungen zu erkennen. Wie gewöhnlich, Beziehungen umfassen zwei oder mehr Entitäten, als die namen der leute, setzt, Firmennamen, etc.
Diese Entitäten werden durch eine semantische Kategorie verbunden, Was „arbeitet bei“, „lebt in“, „ist der Geschäftsführer von“, „mit Sitz in“.
Als Beispiel, Betrachten Sie den nächsten Satz
Phrase: Steve Jobs ist der Gründer von Apple, mit Hauptsitz in Kalifornien
Der obige Satz enthält zwei verschiedene Beziehungen:
Bildquelle: Google Bilder
Elemente der semantischen Analyse
Einige wichtige Elemente der semantischen Analyse sind die folgenden::
Hiponyme
Stellt die Verbindung zwischen einer generischen Definition und den Instanzen dieses generischen Begriffs dar. Hier wird der Oberbegriff als Hyperonym bezeichnet und seine Instanzen werden als Hyponyme bezeichnet..
Als Beispiel,
Die Wortfarbe ist Hypernym, und die farben blau, Gelb, Grün, etc. sind hyponyme.
Homonimie
Es kann als Wörter definiert werden, die die gleiche Schreibweise oder die gleiche Form haben, aber unterschiedliche und nicht verwandte Bedeutungen haben.
Als Beispiel,
Das Wort „Fledermaus“ ist ein homonymes Wort.
Das vorherige Wort ist Homonymie, weil eine Fledermaus auf zwei Arten ein Werkzeug sein kann:
- Um einen Ball zu schlagen
- Die Fledermaus ist auch ein nachtaktives fliegendes Säugetier.
Polisämie
Polysemie ist ein griechisches Wort, was bedeutet es „Viele Zeichen“. Es ist ein Wort oder eine Phrase mit einer anderen, aber verwandten Bedeutung. Mit anderen Worten, Wir können sagen, dass Polysemie die gleiche Schreibweise hat, aber unterschiedliche und verwandte Bedeutungen.
Als Beispiel,
Das Wort "Bank" ist ein polysemisches Wort.
Das obige Wort ist ein Polysemiewort mit den folgenden Bedeutungen:
- Ein Finanzinstitut.
- Das Gebäude, in dem sich die Institution befindet.
- Synonym für "Vertrauen".
Unterschied zwischen Polysemie und Homonymie
Sowohl Polysemie als auch Homonymie haben die gleiche Syntax oder Schreibweise, aber der Hauptunterschied zwischen ihnen ist der in Polysemie, die Bedeutungen der Wörter sind verwandt, aber in der homonymie, die Bedeutungen der Wörter sind nicht verwandt.
Als Beispiel, wenn es das gleiche Wort ist „Bank“ Wie zuvor genannt, Wir können die Bedeutung schreiben als
- ‚ein Finanzinstitut‘ Ö
- ‚Ein Flussufer‘.
Dann, wird ein Beispiel für ein Homonym, da die Bedeutungen nicht aufeinander bezogen sind.
Synonyme
Stellt die Verbindung zwischen zwei lexikalischen Elementen auf unterschiedliche Weise dar, die jedoch dieselbe oder eine nahe Bedeutung ausdrücken.
Als Beispiel,
„Autor/Autor“, ‘fate/destiny'
Antonio
Es ist die Verbindung zwischen zwei lexikalischen Elementen, deren semantische Komponenten bezüglich einer Achse symmetrisch sind. Der Umfang des Antonyms ist wie folgt:
Immobilienantrag oder nicht:
Als Beispiel,
'Leben Tod', "Gewissheit / Unsicherheit"
Skalierbare Immobilienanwendung:
Als Beispiel,
'Reich Arm', 'heiß, kalt'
Einmalanwendung:
Als Beispiel,
'Vater Sohn', 'Mond Sonne'
Meronomia
Es wird als logische Anordnung von Text und Wörtern etabliert, die einen Bestandteil oder ein Mitglied von etwas bezeichnet.
Als Beispiel,
Ein Segment einer Orange
Darstellung von Bedeutung
Semantische Analyse erstellt eine Darstellung der Bedeutung eines Satzes. Aber bevor wir uns mit dem Konzept und den Ansätzen zur Repräsentation von Bedeutung befassen, wir müssen zuerst die grundlegenden Komponenten des semantischen Systems verstehen.
Bausteine des semantischen Systems
Während sie die Bedeutung der Wörter darstellen, folgende Bausteine spielen eine wichtige Rolle:
Entitäten
Stellt das Individuum dar, als besondere Organisation, Ort, Name des Volkes, etc.
Als Beispiel,
Punjab, China, Chirag, Kshitiz sind alle Wesen.
Konzepte
Repräsentiert die allgemeine Kategorie von Individuen als Person, Stadt, etc.
Beziehungen
Stellt die Verbindung zwischen Entitäten und Konzepten dar.
Als Beispiel,
Satz: Ram ist ein Mensch
Prädikate
Stellt die verbalen Strukturen dar.
Als Beispiel,
Semantische Rollen und Kasusgrammatik
Jetzt, wir haben eine kurze Vorstellung von der Darstellung von Bedeutung, die zeigt, wie man die Grundkomponenten von semantischen Systemen zusammensetzt. Mit anderen Worten, zeigt, wie man Entitäten beitritt, Konzepte, Beziehungen und Prädikate zur Beschreibung einer Situation. Es ermöglicht auch, über die semantische Welt nachzudenken.
Ansätze zu Bedeutungsdarstellungen
Die semantische Analyse verwendet die folgenden Ansätze zur Darstellung von Bedeutung:
- Prädikatenlogik erster Ordnung (FOPL)
- Semantische Netzwerke
- Marcos
- Konzeptionelle Abhängigkeit (CD)
- Regelbasierte Architektur
- Fallgrammatik
- Konzeptgrafiken
Notwendigkeit von Bedeutungsdarstellungen
Die Gründe für die Notwendigkeit der Bedeutungsdarstellung sind folgende::
Verknüpfung linguistischer Items mit nicht-linguistischen Items
Mit Hilfe der Bedeutungsdarstellung, wir können linguistische Elemente mit nicht-linguistischen Elementen verknüpfen.
Vielfalt auf lexikalischer Ebene darstellen
Mit Hilfe der Bedeutungsdarstellung, wir können kanonische Formen eindeutig auf lexikalischer Ebene darstellen.
Kann verwendet werden, um zu argumentieren
Die Darstellung von Bedeutung kann zum Nachdenken verwendet werden, um zu überprüfen, was in der Welt richtig ist, sowie Wissen mit Hilfe semantischer Repräsentation zu extrahieren.
Lexikalische Semantik
Es ist der erste Teil der semantischen Analyse, in dem wir die Bedeutung einzelner Wörter studieren. Wörter einschließen, Subpalabras, Afias (Untereinheiten), zusammengesetzte Wörter und auch Phrasen. Alle Wörter, Subpalabras, etc. werden kollektiv als lexikalische Elemente bezeichnet.
In einfachen Worten, Wir können sagen, dass die lexikalische Semantik die Verbindung zwischen lexikalischen Elementen darstellt, die Bedeutung von Sätzen und Satzsyntax.
Die Schritte, die wir bei der lexikalischen Semantik befolgen müssen, sind die folgenden::
- Klassifizierung lexikalischer Elemente.
- Lexikalische Elementzerlegung.
- Außerdem werden die Unterschiede analysiert, sowie die Ähnlichkeiten zwischen verschiedenen lexikalisch-semantischen Strukturen.
Semantische Analysetechniken
Abhängig von der Art der Informationen, die Sie aus den bereitgestellten Daten erhalten möchten, können wir eine der beiden folgenden semantischen Analysetechniken verwenden..
- Textklassifikationsmodell(die dem Text vordefinierte Kategorien zuweist)
- Textextraktor (das bestimmte Informationen aus dem Text extrahiert).
Semantische Klassifikationsmodelle
Einteilung der Themen
Basierend auf dem Inhalt, Dieses Model sortiere den Text in vordefinierte Kategorien. In einer Firma, Kundendienstteams möchten möglicherweise Support-Tickets kategorisieren, wenn sie ihren Helpdesk betreten und, nach Kategorie, sie werden die arbeit verteilen.
Mit Hilfe der semantischen Analyse, Machine-Learning-Tools können ein Ticket als „Zahlungsproblem“ oder ein„Versandproblem“.
Stimmungsanalyse
In der Stimmungsanalyse, Unser Ziel ist es Emotionen zu erkennen wie positiv, negativ oder neutral in einem Text, um Dringlichkeit anzuzeigen.
Als Beispiel, Taggen Sie Twitter-Erwähnungen nach Sentiment, um eine Vorstellung davon zu bekommen, wie Kunden über Ihr Produkt denken und unzufriedene Kunden in Echtzeit identifizieren zu können.
Klassifizierung nach Absicht
Wir können klassifizieren Sie den Text nach den Anforderungen des neuen Benutzers.
Sie können diese Arten von Vorlagen verwenden, um Verkaufs-E-Mails zu kennzeichnen als „Interessiert“ Ö „Nicht interessiert“ um proaktiv Nutzer zu erreichen, die Ihr Produkt ausprobieren möchten.
Semantische Extraktionsmodelle
Keyword-Extraktion
Es wird genutzt für relevante Wörter und Ausdrücke in einem Text finden. Diese Technik wird separat verwendet oder kann in Verbindung mit einer der oben genannten Methoden verwendet werden, um wertvollere Informationen zu erhalten..
Als Beispiel, Es könnte die Schlüsselwörter in einer Reihe von Tweets analysieren, die als "negativ" kategorisiert wurden, und erkennen, welche Wörter oder Themen am häufigsten erwähnt werden.
Entitätsextraktion
Die Idee der Entitätsextraktion ist Benannte Entitäten im Text identifizieren, als die namen der leute, Firmen, setzt, etc.
Dies kann für ein Kundendienstteam nützlich sein, um automatisch Produktnamen zu extrahieren, Versandnummern, E-Mails und alle anderen relevanten Daten aus Kundensupport-Tickets.
Damit endet unser Teil 9 aus der Blog-Reihe zur Verarbeitung natürlicher Sprache!
Andere Blogbeiträge von mir
Du kannst auch meine vorherigen Blogbeiträge lesen.
Frühere Data Science-Blog-Posts.
Hier ist es mein Linkedin-Profil falls du dich mit mir verbinden möchtest. Ich freue mich, mit Ihnen verbunden zu sein.
Für jede Anfrage, Sie können mir eine E-Mail senden an Google Mail.
Abschließende Anmerkungen
Danke fürs Lesen!
Ich hoffe der Beitrag hat dir gefallen. Wenn du möchtest, teile es auch mit deinen Freunden. Alles was nicht erwähnt wurde oder du deine Gedanken teilen möchtest? Fühlen Sie sich frei, unten einen Kommentar zu hinterlassen und ich melde mich bei Ihnen. 😉
Die in diesem Beitrag gezeigten Medien sind nicht Eigentum von DataPeaker und werden nach Ermessen des Autors verwendet.
