Ziel
- Das Tagging von Wortarten und die Abhängigkeitsanalyse sind Techniken, die in der Textverarbeitung weit verbreitet sind.
- Verstehen Sie die Wortartenbezeichnungen und Grammatiken mit ihren jeweiligen Anwendungsfällen in der Verarbeitung natürlicher Sprache.
Einführung
Natural Language Processing ist ein Zweig des maschinellen Lernens, der sich damit beschäftigt, wie Maschinen menschliche Sprachen verstehen. Textdaten sind eine weit verbreitete Problemdomäne für NLP-Aufgaben.
So arbeiten Sie mit Textdaten, Es ist wichtig, Rohtext so zu transformieren, dass Algorithmen für maschinelles Lernen verstehen und verwenden können, das nennt man Textvorverarbeitung. Wir haben mehrere Techniken für die Textvorverarbeitung, als Lemmatisierung, lematización, POS-Tagging und Abhängigkeitsanalyse.
Notiz: Wenn Sie mehr daran interessiert sind, Konzepte in einem audiovisuellen Format zu lernen, wir haben diesen vollständigen Artikel im Video unten erklärt. Wenn dies nicht der Fall ist, du kannst weiterlesen.
In diesem Artikel, Wir werden die Eigenschaften in Bezug auf die Struktur der Textdaten diskutieren. Hier, Wir werden über die Wortarten und Abhängigkeitsgrammatiken sprechen, die uns dazu führen, zu verstehen, wie sie funktionieren.
Teile des Anrufnamens
Wortartenbezeichnungen sind die Eigenschaften von Wörtern, die ihren Hauptkontext definieren, Funktionen und Verwendung in einem Satz. Einige der am häufigsten verwendeten Tags für Wortarten sind
Substantive: Das definiert jedes Objekt oder jede Entität
Verben: Das definiert eine Aktion.
Adjektive und Adverben: Wirkt als Modifikator, Quantor oder Verstärker in einem beliebigen Satz.
In einem Satz, Jedes Wort wird mit einem entsprechenden Teil des Anrufnamens verknüpft. Zum Beispiel, Betrachten Sie den folgenden Satz
In diesem Satz, Jedes Wort ist mit einem Teil des Anrufnamens verknüpft, der seine Funktionen definiert. Hier, David hat ein NNP-Tag, was bedeutet, dass es ein Eigenname ist. Was ist mehr, hat und gekauft gehören zu dem Verb, das anzeigt, dass es sich um die Handlungen handelt. Der Laptop-Store und Apple sind die Substantive. Neu ist das Adjektiv, dessen Funktion es ist, den Kontext des Laptops zu verändern.
Die Bezeichnungen der Wortarten werden durch die Beziehung der Wörter zu den anderen Wörtern des Satzes definiert.
Wir können Modelle des maschinellen Lernens und regelbasierte Modelle anwenden, um die Bezeichnungen der Sprachteile eines Wortes zu erhalten. Das Penn Treebank-Korpus bietet die am häufigsten verwendeten Teile von Voice-Tag-Anmerkungen. In welchem, insgesamt 48 POS-Etiketten nach Verwendung.
Anwendungsfälle für POS-Tags
Voice Part Tags haben eine Vielzahl von Anwendungen und werden in einer Vielzahl von Aufgaben verwendet, Was
- Textreinigung
- Aufgaben des Funktionsengineerings
- Begriffsklärung der Wortbedeutung
Zum Beispiel, bedenke diese Sätze
In beiden Sätzen, das Stichwort Buch wird verwendet, aber in satz eins, wird als Verb verwendet. Während es im zweiten Satz als Substantiv verwendet wird.
Wahlkreisgrammatik
Reden wir jetzt über Grammatik.
Die erste Grammatikart ist die konstitutive Grammatik. Jedes Wort / Wortgruppe / Phrase kann als konstitutiv bezeichnet werden. Das Ziel der konstitutiven Grammatik besteht darin, jeden Satz anhand seiner Eigenschaften in seine Bestandteile zu gliedern. Diese Eigenschaften werden im Allgemeinen durch die Bezeichnungen der Wortarten bestimmt, Identifizierung von Substantiven oder Verbphrasen.
Zum Beispiel, Die Umschreibungsgrammatik kann definieren, dass jeder Satz in drei Bestandteile unterteilt werden kann: ein Thema, ein Kontext oder ein Objekt. Diese Komponenten können unterschiedliche Werte annehmen und, Folglich, sie können verschiedene Sätze generieren.
Eine andere Möglichkeit, konstitutive Grammatik zu betrachten, besteht darin, sie in Bezug auf ihre Wortarten zu definieren.. Die Tags erzählen eine grammatikalische Struktur, die a . enthält . Dies entspricht dem gleichen Satz, Hunde bellen im Park.
Abhängigkeitsgrammatik
Wir haben auch eine andere Art von Grammatik, nämlich, Abhängigkeitsgrammatik, die besagt, dass “Die Wörter in einem Satz hängen von den anderen Wörtern im Satz ab”.
Zum Beispiel, im letzten Satz, ein bellender Hund wurde erwähnt und der Hund wurde durch Bellen modifiziert, da der Adjektivabhängigkeitsmodifikator zwischen den beiden existiert.
Die Abhängigkeitsgrammatik ordnet die Wörter in einem Satz nach ihrer Abhängigkeit. Eines der Wörter im Satz fungiert als Wurzel und alle anderen Wörter sind durch ihre Abhängigkeiten direkt oder indirekt mit der Wurzel verbunden. Diese Abhängigkeiten stellen die Beziehung zwischen den Wörtern in einem Satz dar.
Die Abhängigkeitsgrammatik wird verwendet, um die Struktur und die semantischen Abhängigkeiten zwischen Wörtern zu verstehen. Betrachten wir ein Beispiel.
Der Abhängigkeitsbaum für diesen Satz sieht so aus.
In diesem Baum, das Wurzelwort ist “Gemeinschaft”, mit NN als Teil des Voice-Tags und alle anderen Wörter in diesem Baum werden direkt oder indirekt mit einer Abhängigkeitsbeziehung als direktes Objekt verwurzelt / direktes Thema, Modifikatoren, etc.
Diese Beziehungen definieren ihre Rollen und Funktionen jedes Wortes im Satz und wie verschiedene Wörter miteinander verbunden sind.. Hier, jede Abhängigkeit kann als Triplett dargestellt werden, das eine Relation enthält, ein Gouverneur und ein Angestellter. Dies bedeutet, dass ein Angehöriger durch eine Beziehung mit dem Gouverneur verbunden ist. Mit anderen Worten, sie sind Subjekt-Verb oder Objekt.
Wie im letzten Beispiel, DataPeaker ist das Subjekt oder der Gouverneur, die größte Data-Science-Community ist der Sachbearbeiter oder Objekt.
Anwendungsfälle der Abhängigkeitsgrammatik
Abhängigkeitsgrammatik hat mehrere Anwendungsfälle, zum Beispiel
- In Anerkennung der benannten Entität
- Frage-Antwort-System
- In Koreferenzbeschlüssen, wobei die Aufgabe darin besteht, die Pronomen den jeweiligen Nominalphrasen zuzuordnen.
- Zusammenfassende Probleme im Text.
- Funktionen für Textklassifikationsprobleme
Abschließende Anmerkungen
Um zusammenzufassen, In diesem Artikel haben wir uns die Bezeichnungen für Wortarten und zwei Arten von Grammatik angeschaut, nämlich, Umschreibungsgrammatik und Abhängigkeitsgrammatik. Wir haben uns auch einige der wichtigen Beispiele und Anwendungsfälle von ihnen angesehen.
Wenn Sie Ihre Data Science-Reise beginnen möchten und alle Themen unter einem Dach haben möchten, deine Suche endet hier. Werfen Sie einen Blick auf den zertifizierten KI- und ML-BlackBelt von DataPeaker Plus Programm
Wenn du irgendeine Frage hast, lass es mich im Kommentarbereich wissen!
