Dieser Artikel wurde im Rahmen der Data Science Blogathon
Datenwissenschaft, maschinelles Lernen, MLops, Datentechnik, all diese datengrenzen rücken mit geschwindigkeit und präzision vor. Die Zukunft der Datenwissenschaft wird von größeren Unternehmen wie Microsoft bestimmt, Amazonas, Datenbausteine, Google und diese Unternehmen treiben Innovationen in diesem Bereich voran. Aufgrund dieser schnellen Veränderungen, Es ist sinnvoll, sich bei einem dieser Big Player zertifizieren zu lassen und mehr über deren Produktangebot zu erfahren. Was ist mehr, mit den End-to-End-Lösungen dieser Plattformen, von skalierbaren Data Lakes zu skalierbaren Clustern, für Test und Produktion, macht das Leben für Datenprofis einfacher. Aus betriebswirtschaftlicher Sicht, hat die gesamte Infrastruktur unter einem Dach, in der Cloud und auf Abruf, und immer mehr Unternehmen neigen dazu oder, was ist mehr, sind aufgrund der anhaltenden Pandemie gezwungen, in die Cloud zu wechseln.
Wie hilft DP-100 (Entwerfen und implementieren Sie eine Data Science-Lösung in Azure) an einen Datenwissenschaftler oder jeden, der mit Daten arbeitet?
Zusammenfassend, Unternehmen sammeln Daten aus verschiedenen Quellen, mobile Apps, Kassensysteme, interne Tools, Maschinen, etc., und das alles in verschiedenen Abteilungen oder diversen Datenbanken, Dies gilt insbesondere für große Altunternehmen. Eine der größten Hürden für Data Scientists besteht darin, relevante Daten unter einem Dach zu bekommen, um Modelle für den Einsatz in der Produktion zu erstellen.. Im Fall von Azure, all diese Daten werden in einen Data Lake verschoben, Datenmanipulation kann mit SQL- oder Spark-Gruppen erfolgen, Datenreinigung, Modellvorverarbeitung, Erstellen von Modellen mit Testclustern (kostengünstig), Modellüberwachung, Modell-Eigenkapital, Datendrift und Clusterimplementierung (höhere skalierbare Kosten). Der Data Scientist kann sich auf die Lösung von Problemen konzentrieren und Azure die schwere Arbeit übernehmen lassen.
Ein weiteres Anwendungsszenario ist die Modellverfolgung mit mlflow (Open-Source-Projekt von Databricks). Jeder, der an einem DS-Hackathon teilgenommen hat, kennt das Model-Tracking, Metriken zu protokollieren und Modelle zu vergleichen ist eine mühsame Aufgabe, wenn Sie keine Pipeline konfiguriert haben. In Azure, All dies wird durch die Verwendung von Experimenten erleichtert, die als bezeichnet werden, alle Modelle sind registriert, Metriken werden protokolliert, Artefakte werden protokolliert, alles mit einer einzigen Codezeile.
Über Azure DP-100
Azure DP-100 (Entwerfen und implementieren Sie eine Data Science-Lösung in Azure) ist Microsofts Data Science-Zertifizierung für alle Datenenthusiasten. Es ist eine Lernerfahrung im eigenen Tempo, mit Freiheit und Flexibilität. Nach Fertigstellung, man kann problemlos in blau arbeiten und modelle bauen, Experimente verfolgen, Rohre bauen, Hyperparameter anpassen und Camino AZUR.
Anforderungen
- Grundkenntnisse in Python, nachdem ich mindestens daran gearbeitet habe 3-6 Monate, erleichtert die Prüfungsvorbereitung.
- Grundkenntnisse des maschinellen Lernens. Dies hilft, die Codes zu verstehen und Fragen zu AA während der Prüfung zu beantworten..
- Nachdem Sie am Jupyter-Laptop oder im Jupyter-Labor gearbeitet haben, das ist kein Mandat, da alle Labore auf dem Jupyter-Laptop sind, es ist einfach mit ihnen zu arbeiten.
- Kenntnisse in Databricks und mlflow können genutzt werden, um bessere Testergebnisse zu erzielen. Ab Juli 2021, diese Konzepte sind in DP-100 enthalten.
- Rs. 4500 Prüfungsgebühren.
- Registrieren Sie sich für ein kostenloses Azure-Konto, Sie erhalten Credits von 13.000 Rupien, mit denen Sie Azure ML erkunden können. Das ist mehr als genug. Aber Azure ML ist nur für die ersten paar kostenlos 30 Tage. Also nutze dieses Abonnement gut.
- Das Wichtigste ist, dass Sie Ihren Prüfungstermin innerhalb von 30 Tage ab heute, Bezahl es, das dient als guter motivator.
Dp-Prüfungsseite 100
Das ist es wert?
Die Kosten für die Prüfung betragen ca. 4.500 Rupien und nicht viele Unternehmen erwarten eine Zertifizierung bei der Einstellung, es ist gut es zu haben, aber viele, Weder die Recruiter fordern noch wissen es, dann stellt sich die frage: Lohnt es sich zu bezahlen? Ist es meine Wochenenden wert?? Die Antwort ist ja, nur weil, obwohl man ein großartiger Lehrer für maschinelles Lernen oder Python-Experte sein könnte, aber das Innenleben von Azure ist spezifisch für Azure, Viele Methoden sind spezifisch für Azure, um Leistungsverbesserungen voranzutreiben. Sie können nicht einfach einen Python-Code ausgeben und erwarten, dass er optimale Leistung liefert. Viele Prozesse sind in Azure automatisiert, zum Beispiel: automl-Modul erstellt Modelle mit nur einer Codezeile, Hyperparameter-Tuning erfordert eine Codezeile. No ML Code ist ein weiteres Drag-and-Drop-Tool, das den Modellbau zum Kinderspiel macht. Behälter / Lagerung / Schlüsseltresore / Arbeitsraum / Experimente / alle sind Werkzeuge und bestimmte Arten von Blau. Beim Erstellen von Compute-Instanzen, mit der Pipeline arbeiten, mlflow hilft auch, die Konzepte von Mlops zu verstehen. Auf jeden Fall von Vorteil, wenn Sie in Azure arbeiten und das Wesentliche erkunden möchten. Allgemein, die Belohnungen überwiegen den Aufwand.
Vorbereitung
- Die Prüfung basiert auf MCQ mit rund 60 ein 80 Fragen und die vorgesehene Zeit ist 180 Protokoll. Diese Zeit ist mehr als genug, um alle Fragen zu beantworten und zu überprüfen.
- Es werden zwei Laborfragen oder Fragen vom Typ Fallstudie gestellt, die obligatorisch sind und nicht übersprungen werden können.
- Es ist ein überwachter Test, Bereiten Sie sich also auf die Prüfung vor.
- Microsoft ändert das Muster etwa zweimal im Jahr, Daher ist es besser, das Update zu überprüfen Prüfungsmuster.
- Es ist einfacher, wenn die Prüfungsvorbereitung unterteilt ist in 2 Schritte, Theorie und Labor.
- Die Theorie ist ziemlich detailliert und du brauchst mindestens 1-2 Wochen der Vorbereitung und Überprüfung. Alle theoretischen Fragen können studiert werden von Microsoft-Dokumente. Ein ausführliches Studium dieser Dokumente genügt..
- Dies wichtiger Abschnitt stellt die größte Anzahl von Fragen dar – Erstellen und betreiben Sie Machine-Learning-Lösungen mit Azure Machine Learning.
- Labore sind auch wichtig. Obwohl keine praktischen Laborfragen gestellt werden, Es ist hilfreich, Azure-spezifische Klassen und Methoden zu verstehen. Und diese machen den Großteil der Fragen aus.
- Es werden keine Fragen zum maschinellen Lernen gestellt, zum Beispiel, es wird nicht nach dem R2-Score gefragt. Sie fragen sich vielleicht, wie Sie den R2-Wert für ein Experiment aufzeichnen. Dann, ML-App auf Azure sollte im Mittelpunkt stehen.
- Microsoft bietet einen von Lehrern geführten Leitfaden. bezahlter Kurs auch für DP-100. Ich sehe keine Notwendigkeit, das anzugehen, da alles in den MS-Dokumenten enthalten ist.
- Übungslabore, Über 14, üben Sie mindestens einmal, um sich mit dem Azure-Arbeitsbereich vertraut zu machen.
- Überprüfen Sie die Theorie, bevor Sie Prüfungen ablegen, um bei der Prüfung nicht verwirrt zu werden.
Gemessene Fähigkeiten:
- Einrichten eines Azure Machine Learning-Arbeitsbereichs
- Führe Experimente durch und trainiere Modelle
- Modelle optimieren und verwalten
- Modelle bereitstellen und nutzen
Klonen Sie das Repository, um Azure Labs zu üben:
Git-Klon https://github.com/microsoftdocs/ml-basics
Einige Methoden / wichtige Azure-Klassen:
## um einen Arbeitsplatz zu schaffen
ws = Arbeitsbereich.get(name="aml-arbeitsplatz",
subscription_id='1234567-abcde-890-fgh...',
resource_group='aml-ressourcen')
## Modell registrieren
model = Model.register(Arbeitsbereich=ws,
model_name="Klassifizierungsmodell",
model_path="model.pkl", # lokaler Pfad
description='Ein Klassifizierungsmodell',
tags={'Datei Format': 'CSV'},
model_framework=Modell.Framework.SKIKITLEARN,
model_framework_version='0.20.3')
## Führen Sie eine .py-Datei in einer Piepeline aus
step2 = PythonScriptStep(name="Zugmodell",
source_directory = 'Skripte',
script_name="train_model.py",
compute_target="aml-cluster")
# Definieren Sie die Schrittkonfiguration des Parallellaufschritts
parallel_run_config = ParallelRunConfig(
source_directory='batch_scripts',
entry_script="batch_scoring_script.py",
mini_batch_size="5",
error_threshold=10,
output_action="append_row",
Umgebung=batch_env,
compute_target=aml_cluster,
node_count=4)
# Erstellen Sie den Parallellaufschritt
parallelrun_step = ParallelRunStep(
name="Batch-Score",
parallel_run_config=parallel_run_config,
Eingänge=[batch_data_set.as_named_input('batch_data')],
output=output_dir,
Argumente=[],
allow_reuse=Wahr
)
Einige wichtige Konzepte (keine vollständige Liste):
- Erstellen Sie einen Compute-Cluster für Tests und Produktionen
- Pipelineschritte erstellen
- Verbinden Sie den Databricks-Cluster mit dem Azure ML-Arbeitsbereich
- Hyperparameter-Tuning-Methode
- Mit Daten arbeiten: Datensätze und Data Warehouse
- Modelldrift
- Unterschiedliche Privatsphäre
- Erkennen Sie die Ungerechtigkeit des Modells (MCQ-Fragen)
- Modellerklärungen mit Formerklärer.
- Methode zum Erinnern
- Scriptrunconfig
- Pipeline-Daten
- ParallelRunConfig
- PipelineEndpunkt
- RunConfiguration
- drin () Lauf ()
- PostedPipeline
- ComputeTarget.attach
- Datensatzmethoden / Datenspeicher
Azure DP-100-Prüfungsvorbereitungssitzung
Azure Machine Learning-Arbeitsbereich:
Azure Databricks erstellt einen Cluster:
Azure-Designer:
Prüfungstag
- Testen Sie Ihr System am Vortag. Arbeitslaptops machen manchmal Probleme, Daher ist es besser, persönliche Laptops zu verwenden.
- Bücher sind nicht erlaubt / Papiere / Stifte oder andere Schreibwaren.
- Der Aufseher führt die ersten grundlegenden Prüfungen durch und ermöglicht Ihnen den Prüfungsbeginn.
- Sobald die Prüfung abgegeben wurde, Ergebnisse werden auf dem Bildschirm und dann in einer E-Mail bereitgestellt. Also vergiss nicht, deine Post zu checken.
- Die Zertifizierung gilt nur für 2 Jahre.
Viel Glück! Dein nächstes Ziel sollte sein DP-203 (Daten-Engineering in Microsoft Azure).
Die in diesem Artikel gezeigten Medien sind nicht Eigentum von DataPeaker und werden nach Ermessen des Autors verwendet.
