Open-Source-Ansatz von Google zur Visualisierung großer, hochdimensionaler Datensätze mit tSNE

Inhalt

Überblick

  • Ein Praktikant bei Google war Pionier eines Ansatzes, der tSNE verwendet, um Datensätze hoher Dimension zu visualisieren Abmessungen.
  • Diese Methode generiert Diagramme schneller als jede andere zuvor erstellte, Und kann in Ihrem Webbrowser geöffnet werden!
  • Es wurde erstellt und Open Source in der TensorFlow.js-Familie

Einführung

Der Umgang mit hochdimensionalen Daten war für Data Scientists schon immer eine große Herausforderung. Es wird erwartet, dass Sie nach versteckten Merkmalen suchen, indem Sie das riesige Terrain des Datasets erkunden (meist) Unbekannt, mit Hunderten, ja nicht hunderte, von Variablen. Wie zum Teufel fängst du an?

Um damit fertig zu werden, tSNE-Algorithmus wurde erstellt. Sie haben sicher noch PCA, die Sie nutzen können, aber wenn Sie einen MASSIVE-Datensatz haben und nach einem Muster im nichtlinearen Stil suchen möchten (eine fortgeschrittenere Methode), tSNE hat sich als effektiver erwiesen. Ordnet mehrdimensionale Datensätze in zwei oder mehr Dimensionen zu. Es reduziert auch die Anzahl der Plots, die Sie generieren müssen, wenn es um eine große Anzahl von Dimensionen geht.

Wenn Sie neu bei tSNE sind oder eine Auffrischung benötigen, sehen diese Anleitung das erklärt dieses wunderbare Konzept umfassend.

Aber eine der Einschränkungen von tSNE war, dass es rechnerisch sehr komplex ist. Auch wenn es für große Datensätze gedacht ist, diese Einschränkung hat Sie auf relativ kleine Datensätze beschränkt. Dann, ein Google-Praktikant beschloss, einen innovativen Ansatz zu entwickeln, um die Nutzung von tSNE zu maximieren. Seine Methode stützt sich stark auf moderne Grafikhardware.

Dieser neue Ansatz erzeugt Inlays viel schneller als jede andere Technik in diesem Bereich.. Aber was wirklich auffällt, ist, dass es in einem Webbrowser ausgeführt werden kann!! Wie fragst du? Hier kommt TensorFlow.js in den Vordergrund. Die Methode von Google nutzt die Fähigkeiten der GPU über WebGL, eine JavaScript-API zum Rendern von 2D- und 3D-Grafiken in jedem Browser. Sehen Sie sich unsere TensorFlow.js-Abdeckung an hier.

Die Mannschaft, geführt von Praktikantin, Anschließend testete er seinen Ansatz an dem beliebten handgeschriebenen MNIST-Bilddatensatz. Was ich früher getrunken habe 15 Minuten zu berechnen kann jetzt in Echtzeit und im Webbrowser selbst erfolgen. Über Fortschritte sprechen!

Das obige Bild gibt einen Überblick über diesen Ansatz.. Ich habe es unten zusammengefasst, unter Verwendung eines Auszug aus seiner Forschungsarbeit:

  • Erstes Bild: die Minimierung der Zielfunktion wird in linearer Zeit mit einem Skalarfeld berechnet
  • Zweites Bild: und ein zweidimensionales Vektorfeld
  • Drittes und viertes Bild: Felder werden auf der GPU durch die Projektion von richtig entworfenen Kernen mit der additiven Zusammenführungsfunktion der modernen Renderpipeline berechnet. Der Rest der Minimierung wird als Berechnungspipeline behandelt Tensor die auf der GPU über TensorFlow.js berechnet wird

Ich habe unten einige Ressourcen aufgelistet, Ich ermutige Sie, sich zu beraten, um ein tiefes Verständnis dieses Ansatzes zu erlangen:

Unsere Meinung dazu

Wenn Sie sich schon einmal mit hochdimensionalen Datensätzen beschäftigt haben, Vielleicht sind Sie bereits auf dem Weg, diesen Ansatz zu verwenden. Dieser tSNE-Ansatz könnte für Institutionen, die mit großen Datensätzen arbeiten und nicht viel Zeit zur Verfügung haben, ein echter Wendepunkt sein..

Einer der (wenig) Einschränkungen besteht heute in der Möglichkeit, nur 2D-Visualisierungen zu generieren (funktioniert immer noch nicht mit 3D). Aber ich sehe das nicht als Hindernis, da sich die meisten Visualisierungen, mit denen Data Scientists arbeiten, im 2D-Raum befinden (es sei denn, Sie arbeiten mit Geodaten).

„Google Open Sources“ es ist heutzutage ein sehr gebräuchlicher Ausdruck geworden. Ich finde es toll, dass sie ihre Forschungsergebnisse ständig öffnen, um der breiteren ML-Community zu helfen.. Lassen Sie mich im Kommentarbereich unten wissen, was Sie von dieser Technik halten..

AVBytes abonnieren hier für regelmäßige Data Science-Updates, maschinelles Lernen und künstliche Intelligenz in Ihrem Posteingang.

Abonniere unseren Newsletter

Wir senden Ihnen keine SPAM-Mail. Wir hassen es genauso wie du.

Datenlautsprecher