Dieser Artikel wurde im Rahmen der Data Science Blogathon
Einführung
Dieser Artikel ist Teil einer fortlaufenden Blog-Serie zur Verarbeitung natürlicher Sprache (PNL). Im vorherigen Artikel, wir diskutieren semantische Analyse, Was ist eine NLP-Aufgabenebene?. In diesem Artikel, wir diskutieren semantische Analysetechniken, in denen wir eine Technik namens Entitätsextraktion diskutieren, das ist im NLP sehr wichtig zu verstehen.
Deswegen, In diesem Artikel, Wir werden uns mit der Entitätsextraktionstechnik namens Named Entity Recognition befassen, was eine sehr nützliche Komponente in der NLP-Pipeline ist.
Das ist das Teil 10 aus der Blog-Serie zur Schritt-für-Schritt-Anleitung zur Verarbeitung natürlicher Sprache.
Inhaltsverzeichnis
1. Was ist die Named Entity Recognition? (NIEDER)?
2. Verschiedene Blöcke, die in einem typischen NER-Modell vorhanden sind
3. Tiefes Verständnis der Named-Entity-Erkennung anhand eines Beispiels
4. Wie funktioniert die Erkennung benannter Entitäten??
5. Anwendungsfälle zur Erkennung benannter Entitäten
6. Wie kann ich NER . verwenden??
Was ist die Named Entity Recognition? (NIEDER)?
Lassen Sie uns zuerst analysieren, was die Entitäten bedeuten.
Entitäten sind die wichtigsten Fragmente eines bestimmten Satzes, als Nominalphrasen, verbale Phrasen oder beides. Allgemein, Entitätserkennungsalgorithmen sind gemeinsame Modelle von:
- Regelbasierte Analyse, Python
- Wörterbuchsuchen,
- Etikettieren von POS,
- Abhängigkeitsanalyse.
Zum Beispiel,
Im vorherigen Satz, die Entitäten sind:
Datum: Donnerstag, Zeit: Nacht, Standort: Schloss Marmont, Person: Cate Blanchett
Jetzt, wir können unsere Diskussion über die Anerkennung benannter Entitäten beginnen (NIEDER),
1. Die Erkennung benannter Entitäten ist eine der wichtigsten Methoden zur Erkennung von Entitäten im NLP.
2. Die Erkennung benannter Entitäten ist eine Verarbeitungstechnik für natürliche Sprache, die automatisch ganze Artikel scannen und einige grundlegende Entitäten in einem Text extrahieren und in vordefinierte Kategorien einteilen kann. Entitäten können sein,
- Organisationen,
- Mengen,
- Geldwerte,
- Prozentsätze und mehr.
- Namen von Personen
- Firmennamen
- Geografische Standorte (sowohl physisch als auch politisch)
- Produktnamen
- Daten und Uhrzeiten
- Geldbeträge
- Ereignisnamen
3. In einfachen Worten, Die Erkennung benannter Entitäten ist der Prozess der Erkennung benannter Entitäten, als die namen der leute, Ortsnamen, Firmennamen, etc. des Textes.
4. Auch bekannt als Entitätsidentifikation oder Entitätsextraktion oder Entitätsfragmentierung.
Zum Beispiel,
5. Mit Hilfe der Named-Entity-Erkennung, Wir können wichtige Informationen extrahieren, um den Text zu verstehen, oder verwenden Sie es einfach, um wichtige Informationen zu extrahieren und in einer Datenbank zu speichern.
6. Die Anwendbarkeit der Entitätserkennung zeigt sich in vielen Anwendungen, Was
- Automatisierte Chatbots,
- Inhalts-Parser,
- Verbrauchereinblicke, etc.
Häufig verwendete benannte Entitätstypen:
Bildquelle: Google Bilder
Verschiedene Blöcke, die in einem typischen Modell zur Erkennung benannter Entitäten vorhanden sind
Ein typisches NER-Modell besteht aus den folgenden drei Blöcken:
Identifizierung von Nominalphrasen
In diesem Schritt wird versucht, mithilfe von Abhängigkeitsanalyse und Tagging von Wortarten alle Nominalphrasen aus einem Text zu extrahieren.
Phrasenklassifizierung
In diesem Klassifizierungsschritt, wir klassifizieren alle Nominalphrasen, die aus dem vorherigen Schritt extrahiert wurden, in ihre jeweiligen Kategorien. Um Standorte eindeutig zu machen, API von Google Maps kann einen sehr guten Weg bieten. und zur Identifizierung von Personen- oder Firmennamen, die offenen Datenbanken von DBpedia, Wikipedia kann verwendet werden. Abgesehen davon, Wir können auch Nachschlagetabellen und Wörterbücher erstellen, die Informationen mit Hilfe verschiedener Quellen kombinieren.
Begriffsklärung der Entität
Manchmal, was passiert ist, dass die Entitäten falsch klassifiziert werden, Daher ist es sinnvoll, eine Validierungsschicht über den Ergebnissen zu erstellen. Zu diesem Zweck kann der Einsatz von Wissenscharts genutzt werden. Einige der beliebtesten Wissenstabellen sind:
Tiefes Verständnis von NER mit einem Beispiel
Betrachten Sie den folgenden Satz:
Die blauen Zellen stehen für die Nomen. Einige dieser Nomen beschreiben reale Dinge, die in der Welt vorhanden sind.
Zum Beispiel, Von Oben, die folgenden Nomen repräsentieren physische Orte auf einer Karte.
"London", "England", "Vereinigtes Königreich"
Es wäre toll, wenn wir das feststellen könnten! Mit dieser Menge an Informationen, Wir könnten mit Hilfe von NLP automatisch eine Liste von Orten der realen Welt extrahieren, die in einem Dokument erwähnt werden.
Deswegen, Das Ziel von NER ist es, diese Nomen zu erkennen und mit den realen Konzepten, die sie repräsentieren, zu kennzeichnen.
Dann, wenn wir jedes im Satz vorhandene Token durch ein NER-Tagging-Modell ausführen, unser Gebet sieht so aus,
Lassen Sie uns analysieren, was genau das NER-System macht.
NER-Systeme führen nicht nur eine einfache Wörterbuchsuche durch. jedoch, Sie verwenden den Kontext, wie ein Wort im Satz erscheint, und verwenden ein statistisches Modell, um zu erraten, welche Art von Nomen dieses bestimmte Wort darstellt.
Da NER es einfach macht, strukturierte Daten aus Text zu extrahieren, es hat viele verwendungen. Es ist eine der einfachsten Methoden, um schnell einen aufschlussreichen Wert aus einer NLP-Pipeline zu gewinnen..
Wenn Sie NER selbst ausprobieren möchten, siehe die Verknüpfung.
Wie funktioniert die Erkennung benannter Entitäten??
Wie können wir einfach beobachten, nach dem Lesen eines bestimmten Textes, wir können benannte Entitäten natürlich als Personen erkennen, Werte, Standorte, etc.
Zum Beispiel, Betrachten Sie den folgenden Satz:
Satz: Sundar Pichai, der CEO von Google Inc. geht durch die Straßen von Kalifornien.
Aus dem vorherigen Satz, Wir können drei Arten von Entitäten identifizieren: (Benannte Entitäten)
- (“Person”: “Sundar Pichai”),
- (“Organisation”: “Google Inc.”),
- (“Ort”: “Kalifornien”).
Aber dasselbe mit Hilfe von Computern zu tun, Wir müssen ihnen zuerst helfen, Entitäten zu erkennen, damit sie sie kategorisieren können. Dann, es zu tun, wir können auf die Hilfe von Machine Learning und Natural Language Processing zählen (NLP).
Lassen Sie uns die Rolle von beiden bei der Implementierung von NER mit Computern besprechen:
- PNL: Dass studiert die Struktur und Regeln der Sprache und bildet intelligente Systeme, die in der Lage sind, aus Text und Sprache Bedeutungen abzuleiten.
- Maschinelles Lernen: Helfen Sie Maschinen, im Laufe der Zeit zu lernen und sich zu verbessern.
Um zu wissen, was eine Entität ist, ein NER-Modell muss in der Lage sein, ein Wort oder eine Wortfolge zu erkennen, die eine Einheit bilden (zum Beispiel, Kalifornien) und entscheiden, zu welcher Unternehmenskategorie es gehört.
Dann, als letzter schritt, Wir können sagen, dass das Herzstück jedes NER-Modells ein zweistufiger Prozess ist:
- Eine benannte Entität erkennen
- Kategorisieren Sie die Entität
Dann, erste, wir müssen Kategorien von Entitäten erstellen, Als Name, Ort, Vorfall, Organisation, etc., und füttere ein NER-Modell mit relevanten Trainingsdaten.
Später, indem Sie einige Wort- und Phrasenbeispiele mit ihren entsprechenden Entitäten markieren, Schließlich werden wir unserem NER-Modell beibringen, Entitäten zu erkennen und zu kategorisieren.
Anwendungsfälle zur Erkennung benannter Entitäten
Wie wir im vorherigen Abschnitt kommentiert haben, die benannte Entity-Erkennung (NIEDER) es wird uns helfen, die Schlüsselkomponenten in einem Text leicht zu identifizieren, als die namen der leute, setzt, Warenzeichen, Geldwerte und mehr.
Und das Extrahieren der Hauptentitäten aus einem Text hilft uns, unstrukturierte Daten zu sortieren und wichtige Informationen zu erkennen, was entscheidend ist, wenn Sie mit großen Datensätzen umgehen müssen.
Dann, Werfen wir einen Blick auf einige der interessanten Anwendungsfälle der Named Entity Recognition:
Kundendienst
Bildquelle: Google Bilder
Lassen Sie uns den Anwendungsfall von Kundensupport-Tickets analysieren, bei dem wir mit einer steigenden Anzahl von Tickets umgehen, Dort können wir Techniken zur Erkennung benannter Entitäten verwenden, um Kundenanfragen schneller zu bearbeiten.
Aus betriebswirtschaftlicher Sicht, wenn wir sich wiederholende Kundendienstaufgaben automatisieren, wie man Kundenprobleme und -anfragen kategorisiert, spart Ihnen wertvolle Zeit. Infolge, hilft, Ihre Lösungsraten zu verbessern und die Kundenzufriedenheit zu erhöhen.
Hier, Wir können auch die Entitätsextraktion verwenden, um die relevanten Informationen zu extrahieren, wie Produktnamen oder Seriennummern, Es ist einfach, Tickets an den am besten geeigneten Agenten oder das am besten geeignete Team zu senden, um dieses Problem zu lösen.
Gewinnen Sie Einblicke aus Kundenfeedback
Bildquelle: Google Bilder
Für fast alle produktbasierten Unternehmen, Online-Bewertungen sind eine großartige Quelle für Kundenfeedback, da sie wertvolle Informationen darüber liefern können, was Kunden an Ihren Produkten mögen und nicht mögen und welche Aspekte Ihres Unternehmens für das Geschäftswachstum verbessert werden müssen.
Dann, hier können wir NER-Systeme nutzen, um alle Kundenrückmeldungen zu organisieren und wiederkehrende Probleme zu erkennen.
Zum Beispiel, Wir können das NER-System verwenden, um Standorte zu erkennen, die in negativen Kundenbewertungen am häufigsten erwähnt werden, was dazu führen könnte, dass Sie sich auf einen bestimmten Bürozweig konzentrieren.
Empfehlungssystem
Bildquelle: Google Bilder
Viele moderne Apps wie Netflix, Youtube, Facebook, etc. verlassen sich auf Empfehlungssysteme, um optimale Kundenerlebnisse zu erzeugen. Viele dieser Systeme basieren auf der Erkennung benannter Entitäten, die Vorschläge basierend auf dem Suchverlauf des Benutzers bereitstellen können.
Zum Beispiel, Wenn Sie viele Lehrvideos auf YouTube ansehen, Sie erhalten weitere Empfehlungen, die als Entity Education klassifiziert wurden.
Zusammenfassung von Lebensläufen
Bildquelle: Google Bilder
Bei der Rekrutierung neuer Mitarbeiter, Personalvermittler verbringen viele Stunden ihres Tages damit, Lebensläufe zu überprüfen und nach dem richtigen Kandidaten zu suchen. Jeder Lebenslauf enthält fast die gleiche Art von Informationen, aber seine organisierte Form und sein Format sind unterschiedlich, So wird es zu einem klassischen Beispiel für unstrukturierte Daten.
Dann, hier mit Hilfe eines Entity Extractors, Recruiting-Teams können sofort die relevantesten Informationen über Kandidaten extrahieren, aus persönlichen Informationen wie Name, die Anschrift, Telefonnummer, Geburtsdatum und E-Mail, etc., auf Informationen zu ihrer Ausbildung und Erfahrung wie Zertifizierungen, Titel, Firmennamen, Kompetenzen, etc.
Einige weitere Anwendungsfälle von NER sind:
- Optimierung des Suchmaschinenalgorithmus,
- Inhaltsklassifizierung für Nachrichtenkanäle, etc.
Wie kann ich NER . verwenden??
Wenn Sie an einer geschäftlichen Problembeschreibung arbeiten und der Meinung sind, dass Ihr Unternehmen von NER . profitieren könnte, Sie können es ganz einfach mit Hilfe der folgenden hervorragenden Open-Source-Bibliotheken verwenden:
Jedes hat seine Vor- und Nachteile, die Sie erkunden können, indem Sie auf die oben genannten Links verweisen.
Damit endet unser Teil 10 aus der Blog-Reihe zur Verarbeitung natürlicher Sprache!
Andere Blogbeiträge von mir
Du kannst auch meine vorherigen Blogbeiträge lesen.
Frühere Data Science-Blog-Posts.
Hier ist es mein Linkedin-Profil falls du dich mit mir verbinden möchtest. Ich freue mich, mit Ihnen verbunden zu sein.
Für jede Anfrage, Sie können mir eine E-Mail senden an Google Mail.
Abschließende Anmerkungen
Danke fürs Lesen!
Ich hoffe der Artikel hat dir gefallen. Wenn du möchtest, teile es auch mit deinen Freunden. Alles was nicht erwähnt wurde oder du deine Gedanken teilen möchtest? Fühlen Sie sich frei, unten einen Kommentar zu hinterlassen und ich melde mich bei Ihnen. 😉
