Hive-Abfragen | 15 Hive-Basisabfragen für Dateningenieure

Überblick

• Kennenlernen 15 grundlegende Bienenstockabfragen einschließlich-
  • Einfache Auswahl: Spaltenauswahl
  • Einfache Auswahl: Zeilenauswahl
  • Neue Spalten erstellen
  • Funktionen von BienenstockHive ist eine dezentrale Social-Media-Plattform, die es ihren Nutzern ermöglicht, Inhalte zu teilen und sich mit anderen zu verbinden, ohne dass eine zentrale Behörde eingreifen muss. Verwendet die Blockchain-Technologie, um die Datensicherheit und das Eigentum zu gewährleisten. Im Gegensatz zu anderen sozialen Netzwerken, Hive ermöglicht es Nutzern, ihre Inhalte durch Krypto-Belohnungen zu monetarisieren, die die Schaffung und den aktiven Austausch von Informationen fördert....
• Diese Liste ist keineswegs vollständig.. Fühlen Sie sich frei, mehr im Kommentarbereich hinzuzufügen.

Einführung

Inhaltsverzeichnis:

• Einfache Auswahl: Spaltenauswahl
• Einfache Auswahl: Zeilenauswahl
• Neue Spalten erstellen
• Hive-Funktionen
  • Einfache Funktionen
  • Aggregationen
  • DatumsfunktionenDatumsfunktionen sind unverzichtbare Werkzeuge in der Programmierung und Datenanalyse. Ermöglicht Manipulationen, Effizientes Berechnen und Formatieren von Datumsangaben. Zu den häufigsten Anwendungen gehört die Berechnung der Differenz zwischen Datumsangaben, die Extraktion von Komponenten wie z.B. das Jahr oder den Monat, und Konvertierung zwischen verschiedenen Formaten. Diese Funktionen sind in Bereichen wie dem Projektmanagement von entscheidender Bedeutung, Finanzberichterstattung und statistische Analysen....

Einfache Auswahl: Spaltenauswahl

Ein Bienenstock, Die Datenabfrage erfolgt über eine Anweisung AUSWÄHLENDer Befehl "AUSWÄHLEN" ist in SQL von grundlegender Bedeutung, Wird zum Abfragen und Abrufen von Daten aus einer Datenbank verwendet. Ermöglicht das Angeben von Spalten und Tabellen, Filtern von Ergebnissen mithilfe von Klauseln wie "WO" und Bestellung mit "SORTIEREN NACH". Seine Vielseitigkeit macht es zu einem unverzichtbaren Werkzeug für die Datenmanipulation und -analyse, Erleichterung der effizienten Beschaffung spezifischer Informationen..... Eine ausgewählte Anweisung hat 6 Schlüsselkomponenten;

• Spaltennamen AUSWÄHLEN
• FROM Tabellenname
• GRUPPIEREN NACHDie Klausel "GRUPPIEREN NACH" In SQL wird es verwendet, um Zeilen, die Werte teilen, in bestimmte Spalten zu gruppieren. Auf diese Weise können Aggregationsfunktionen ausgeführt werden, als SUM, COUNT oder AVG, Informationen zu den resultierenden Gruppen. Seine Verwendung ist unerlässlich, um Daten zu analysieren und statistische Zusammenfassungen zu erhalten. Es ist wichtig zu beachten, dass alle markierten Spalten, die nicht Teil einer Aggregationsfunktion sind, in die "GRUPPIEREN NACH".... Spaltennamen
• WO Bedingungen
• Bedingungen haben
• SORTIEREN nach Spaltennamen

In der Praxis, sehr wenige Abfragen enthalten all diese Klauseln, was viele Abfragen vereinfacht. Außerdem, Die Bedingungen in der Klausel WO"WO" ist ein Begriff im Deutschen, der übersetzt wird als "wo" in Spanisch. Wird verwendet, um Fragen über den Standort von Personen zu stellen, Objekte oder Ereignisse. In grammatikalischen Zusammenhängen, Es kann als Adverb des Ortes fungieren und ist grundlegend für die Bildung von Fragen. Die korrekte Anwendung ist in der alltäglichen Kommunikation und im Sprachunterricht unerlässlich, Erleichterung des Verständnisses und des Austauschs von Informationen über Positionen und Richtungen.... Sie können sehr komplex sein und wenn Sie zwei oder mehr Bretter miteinander verbinden müssen, mehr Klauseln werden benötigt (BEITRETEN"BEITRETEN" ist ein grundlegender Vorgang in Datenbanken, der es Ihnen ermöglicht, Datensätze aus zwei oder mehr Tabellen basierend auf einer logischen Beziehung zwischen ihnen zu kombinieren. Es gibt verschiedene Arten von JOIN, als INNER JOIN, LINKER JOIN und RECHTER JOIN, Jede mit ihren eigenen Eigenschaften und Verwendungsmöglichkeiten. Diese Technik ist unerlässlich für komplexe Abfragen und relevantere und detailliertere Informationen aus mehreren Datenquellen.... und AUF).

Alle Namen der vorherigen Klauseln wurden aus Gründen der Übersichtlichkeit in Großbuchstaben geschrieben. HQL unterscheidet nicht zwischen Groß- und Kleinschreibung. Es ist auch nicht notwendig, jede Klausel in eine neue Zeile zu schreiben, aber es ist oft klarer, dies für alle außer den einfachsten Abfragen zu tun.

In dieser Lektion, Wir fangen mit dem sehr einfachen an und gehen zum komplexesten über.

Einfache Auswahl: Spaltenauswahl

Unter allen Hive-Abfragen, die einfachste Abfrage ist effektiv die, die den Inhalt der gesamten Tabelle zurückgibt.

AUSWÄHLEN *
VON geog_all;
ANSICHT ERSTELLEN [WENN NICHT EXISTIERT] [db_name.]view_name [(Spaltenname [COMMENT column_comment], ...)  ]

Du übst besser und, allgemein, effizienter, die Spaltennamen, die zurückgegeben werden sollen, explizit aufzulisten.

SELECT Anonid, Kraftstoffarten, Eicheltyp
VON geog_all;

Einfache Auswahl: Zeilenauswahl

Gleichzeitig Begrenzung der von einer Abfrage zurückgegebenen Spalten, zusätzlich können Sie die zurückgegebenen Zeilen begrenzen. Der einfachste Fall mit anderen Worten: Wie viele Zeilen werden mit dem GrenzeDer Begriff "GRENZE" bezieht sich auf den Begriff der Beschränkung oder des Zwecks in verschiedenen Zusammenhängen, wie Mathe, Recht und Philosophie. In Mathematik, Eine Begrenzung beschreibt das Verhalten einer Funktion, wenn sie sich einem bestimmten Wert nähert. Im juristischen Bereich, Sie impliziert die Grenzen von Rechten und Pflichten. Das Verständnis des Konzepts der Begrenzung ist unerlässlich, um Probleme in verschiedenen Disziplinen zu analysieren und zu lösen.....

SELECT Anonid, Kraftstoffarten, Eicheltyp
VON geog_all
GRENZE 10;

Dies ist nützlich, wenn Sie sich nur ein Bild davon machen möchten, wie die Daten aussehen. Wie gewöhnlich, Sie möchten die zurückgegebenen Zeilen basierend auf einigen Kriterien einschränken. Mit anderen Worten, bestimmte Werte oder Bereiche innerhalb einer oder mehrerer Spalten.

SELECT Anonid, Kraftstoffarten, Eicheltyp
VON geog_all
WO Kraftstoffarten = "Nur Elektro";

Der Ausdruck in der where-Klausel kann komplexer sein und mehr als eine Spalte enthalten.

SELECT Anonid, Kraftstoffarten, Eicheltyp
VON geog_all
WO Kraftstoffarten = "Nur Elektro" UND Eicheltyp > 42;

SELECT Anonid, Kraftstoffarten, Eicheltyp
VON geog_all
WO Kraftstoffarten = "Nur Elektro" UND Eicheltyp > 42 UND Nüsse1 <> "--";

Beachten Sie, dass die in den Bedingungen der Where-Klausel verwendeten Spalten nicht in der Select-Klausel erscheinen müssen. Auch andere Operatoren können in der where-Klausel verwendet werden. Für komplexe Ausdrücke, Klammern können verwendet werden, um den Vorrang zu erzwingen.

SELECT Anonid, Kraftstoffarten, Eicheltyp, Nüsse1, ldz
VON geog_all
WO
Kraftstoffarten = "Nur Elektro"
UND acorn_type BETWEEN 42 UND 47
UND (Muttern1 NICHT IN ("KMU", "UKI") ODER ldz = "--");

Neue Spalten erstellen

Es ist möglich, neue Spalten in der Abfrageausgabe zu erstellen. Diese Spalten können aus Kombinationen anderer Spalten stammen, die Operatoren verwenden und / oder integrierte Hive-Funktionen.

SELECT Anonid, eprofileclass, Eicheltyp, (eprofileclass * Eicheltyp) AS multiplizieren, (eprofileclass + Eicheltyp) AS hinzugefügt
VON edrp_geography_data b;

Eine vollständige Liste der in Hive verfügbaren Operatoren und Funktionen finden Sie im Dokumentation.

Wenn Sie eine neue Spalte erstellen, es usual proporcionar un ‚alias‘ für die Spalte. Dies ist im Wesentlichen der Name, den Sie der neuen Spalte geben möchten. Der Alias ​​wird unmittelbar nach dem Ausdruck angegeben, auf den er sich bezieht. Optional, Sie können der Übersichtlichkeit halber das Schlüsselwort AS hinzufügen. Wenn Sie keinen Alias ​​für Ihre neuen Spalten angeben, Hive wird einen Namen für dich generieren.

Auch wenn der Begriff Alias ​​für eine neue Spalte, die keinen natürlichen Namen hat, etwas seltsam erscheinen mag, alias ‚además se puede utilizar con cualquier columna existente para proporcionar un nombre más significativo en la salida.

Tabellen können auch mit einem Alias ​​versehen werden, Dies ist besonders häufig bei Join-Abfragen mit mehreren Tabellen der Fall, bei denen zwischen Spalten mit demselben Namen in verschiedenen Tabellen unterschieden werden muss. Gleichzeitig mit Operatoren neue Spalten erstellen, Außerdem gibt es viele integrierte Hive-Funktionen, die verwendet werden können.

Hive-Funktionen

Einfache Funktionen

Konkat kann verwendet werden, um Zeichenfolgen hinzuzufügen

SELECT Anonid, eichel_kategorie,
acorn_group,
Eicheltyp,
concat (eichel_kategorie, ",", acorn_group, ",", Eicheltyp)  AS acorn_code
FROM geog_all;

substr kann verwendet werden, um einen Teil einer Zeichenfolge zu extrahieren

SELECT anon_id,
fortgeschrittene Zeit,
substr (fortgeschrittene Zeit, 1, 2) AS-Tag,
substr (fortgeschrittene Zeit, 3, 3) AS Monat,
substr (fortgeschrittene Zeit, 6, 2) AS-Jahr
VON elec_c;

Längenbeispiele, Anleitung und Investition

SELECT Anonid,
     Eichelcode,
     Länge (Eichelcode),
     Instr (Eichelcode, ',') AS a_catpos,
     Instr (umkehren (Eichelcode), "," ) AS reverse_a_typepo

Wo Must-Have-Funktionen ineinander verschachtelt werden können und Typkonvertierungen

SELECT Anonid,
substr (Eichelcode, 7, 2) AS ac_type_string,
werfen (substr (Eichelcode, 7, 2) AS INT) AS ac_type_int,
substr (Eichelcode, 7, 2) +1 AS ac_type_not_sure
VON geog_all;

Aggregationen

Aggregatfunktionen werden verwendet, um eine Art mathematischer oder statistischer Berechnung für eine Gruppe von Zeilen durchzuführen. Die Zeilen in jeder Gruppe werden durch die unterschiedlichen Werte in einer bestimmten Spalte oder Spalten bestimmt. Eine Liste aller verfügbaren Funktionen ist in der Apache-Dokumentation aktiviert.

SELECT anon_id,
              zählen (elkwh) AS total_row_count,
              Summe (elkwh) AS total_period_usage,
              Mindest (elkwh) AS min_period_usage,
              durchschnittlich (elkwh) AS avg_period_usage,
             max (elkwh) AS max_period_usage
       FROM elec_c
GROUP BY anon_id;

Im obigen Beispiel, fünf Aggregationen wurden in einer einzigen anon_id-Spalte vorgenommen. Es ist möglich, in mehreren Spalten zu aggregieren, indem Sie sie sowohl in der select-Klausel als auch in der group by-Klausel angeben. Die Gruppierung erfolgt nach der Reihenfolge der Spalten, die in der Klausel Gruppieren nach aufgeführt sind. Was nicht erlaubt ist, ist die Angabe einer nicht aggregierten Spalte in der select-Klausel, die nicht in der group by-Klausel erwähnt wird.

SELECT anon_id,
              substr (fortgeschrittene Zeit, 6, 2) AS-Lesung_Jahr,
              zählen (elkwh) AS total_row_count,
              Summe (elkwh) AS total_period_usage,
              Mindest (elkwh) AS min_period_usage,
              durchschnittlich (elkwh) AS avg_period_usage,
              max (elkwh) AS max_period_usage
       FROM elec_c
GROUP BY anon_id, substr (fortgeschrittene Zeit, 6, 2);

Leider, la cláusula group by no aceptará alias ‚.

SELECT anon_id,
              substr (fortgeschrittene Zeit, 6, 2) AS-Lesung_Jahr,
              zählen (elkwh) AS total_row_count,
              Summe (elkwh) AS total_period_usage,
              Mindest (elkwh) AS min_period_usage,
              durchschnittlich (elkwh) AS avg_period_usage,
              max (elkwh) AS max_period_usage
      FROM elec_c
GROUP BY anon_id, substr (fortgeschrittene Zeit, 6, 2)
BESTELLEN VON anon_id, Lesejahr;

Aber die Klausel Sortieren nachDer Befehl "SORTIEREN NACH" In SQL wird es verwendet, um die Ergebnisse einer Abfrage basierend auf einer oder mehreren Spalten zu sortieren. Ermöglicht das Festlegen der aufsteigenden Reihenfolge (ASC) oder absteigend (DESC) der Daten, Erleichterung der Visualisierung und Analyse von Informationen. Es ist ein unverzichtbares Werkzeug für die Organisation von Daten in Datenbanken, Verbesserung des Verständnisses und des Zugangs zu relevanten Informationen.... Ja, das tut es.

Das Stichwort DeutlichDas Wort "UNTERSCHEIDBAR" im Englischen wird es ins Spanische übersetzt als "unterschiedlich" Ö "Verschieden". Im Bereich Programmierung und Datenbanken, insbesondere in SQL, Wird verwendet, um Duplikate in Abfrageergebnissen zu entfernen. Beim Anwenden der DISTINCT-Klausel, Es werden nur die eindeutigen Werte eines Datensatzes abgerufen, die die Analyse und Darstellung relevanter und nicht redundanter Informationen erleichtert.... Stellt einen Satz einer eindeutigen Kombination von Spaltenwerten innerhalb einer Tabelle ohne Aggregation bereit.

SELECT DISTINCT eprofileclass, Kraftstoffarten
VON geog_all;

Datumsfunktionen

In den Tabellen elec_c und gas_c, die Spalte "Datum/Uhrzeit", auch wenn es Informationen über die Art des Zeitstempels enthält, ist als String-Typ eingestellt. Die meiste Zeit, das kann ganz bequem sein. Trotz dieses, Es wird Zeiten geben, in denen wir die Wirbelsäule wirklich als Zeitstempel behandeln müssen. Das vielleicht offensichtlichste Beispiel ist, wenn Sie die Zeilen rechtzeitig nach der erweiterten Spalte sortieren müssen.

Hive bietet eine Reihe von datumsbezogenen Funktionen, die es Ihnen ermöglichen, Zeichenfolgen in Zeitstempel zu konvertieren und, zur selben Zeit, Teile des Zeitstempels extrahieren.

unix_timestamp gibt das aktuelle Datum und die Uhrzeit zurück, Als ganze Zahl!

from_unixtime nimmt eine ganze Zahl und wandelt sie in eine erkennbare Zeitstempelzeichenfolge um

SELECT unix_timestamp () AS aktuelle Zeit
FROM probe_07
GRENZE 1;

SELECT from_unixtime (unix_timestamp ()) AS aktuelle Zeit
FROM probe_07
GRENZE 1;

Es gibt mehrere Datumsteilwerkzeuge, die die relevanten Teile einer Zeitstempelzeichenfolge extrahieren

SELECT anon_id,
             from_unixtime (UNIX_TIMESTAMP (Lesedatum, 'ddMMMyy'))
                  WIE proper_date,
            Jahr (from_unixtime (UNIX_TIMESTAMP (Lesedatum, 'ddMMMyy')))
                 WIE full_year,
            Monat (from_unixtime (UNIX_TIMESTAMP (Lesedatum, 'ddMMMyy')))
                WIE full_month,
            Tag (from_unixtime (UNIX_TIMESTAMP (Lesedatum, 'ddMMMyy')))
               WIE full_day,
           last_day (from_unixtime (UNIX_TIMESTAMP (Lesedatum, 'ddMMMyy')))
              WIE last_day_of_month,
           date_add ( (from_unixtime (UNIX_TIMESTAMP (Lesedatum, 'ddMMMyy'))),10)
              AS added_days
FROM elec_days_c
ORDER BY proper_date;

Fazit:

In der Post, Wir behandeln einige grundlegende Hive-Funktionen und -Abfragen. Das Ausführen von Abfragen für verteilte Daten unterscheidet sich nicht wesentlich vom Ausführen von Abfragen in MySQL. Es folgen einige Beiträge, in denen wir erweiterte Funktionen und Abfragen behandeln.. Ich hoffe der Beitrag hat dir gefallen. Vergessen Sie nicht, Ihre Kommentare im Kommentarbereich unten zu hinterlassen.

Ich empfehle Ihnen, diese Beiträge zu lesen, um sich mit den Tools für Big Data vertraut zu machen:

Teilen Sie uns Ihre Gedanken in den Kommentaren unten mit..

Verwandt