Génération d'hypothèses pour des projets de science des données

Cet article a été publié dans le cadre du Blogathon sur la science des données.

introduction

La première étape vers la résolutionLa "résolution" fait référence à la capacité de prendre des décisions fermes et d’atteindre les objectifs fixés.. Dans des contextes personnels et professionnels, Il s’agit de définir des objectifs clairs et d’élaborer un plan d’action pour les atteindre. La résolution est essentielle à la croissance personnelle et à la réussite dans divers domaines de la vie, car cela vous permet de surmonter les obstacles et de rester concentré sur ce qui compte vraiment.... des problèmes dans les projets de science des données ne consiste pas à construire des modèles d'apprentissage automatique. Oui, tu as bien lu!

Cette distinction appartient à la génération d'hypothèses, l'étape où nos compétences en résolution de problèmes sont combinées avec notre intuition commerciale. C'est une étape vraiment cruciale pour assurer la réussite d'un projet de science des données.

Soyons honnêtes: nous pensons tous à une hypothèse presque tous les jours. Prenons l'exemple d'un sport célèbre en Inde: criquet. C'est cette période de l'année où la fièvre IPL est élevée et nous sommes tous absorbés par la prédiction du vainqueur..

Si vous avez deviné quelle équipe gagnerait en fonction de divers facteurs, tels que la taille du stade et les frappeurs présents dans l'équipe avec six capacités de frappeur ou des frappeurs avec des moyennes élevées de T20, Félicitations à tous. Vous avez tous fait une supposition éclairée et généré des hypothèses basées sur votre connaissance du domaine du sport..

De la même manière, la première étape pour résoudre tout problème commercial à l'aide de l'apprentissage automatique est la génération d'hypothèses. Il est important de comprendre l'énoncé du problème avec une bonne connaissance du domaine et de formuler une hypothèse vous exposera davantage à de nouvelles idées de résolution de problèmes..

Ensuite, dans cet article, Voyons ce qu'est la génération d'hypothèses et découvrons pourquoi c'est important pour tous les data scientists.

Table des matières

• Qu'est-ce que la génération d'hypothèses?
• Génération d'hypothèses vs test d'hypothèses
• Comment la génération d'hypothèses aide-t-elle?
• Quand doit-on générer des hypothèses?
• Étude de cas: Générer des hypothèses pour prédire la durée du trajet en taxi à New York

Qu'est-ce que la génération d'hypothèses?

Hypothèse La génération est une « supposition » informé des divers facteurs qui affectent le problème commercial qui doit être résolu par l'apprentissage automatique. Lors de la formulation d'une hypothèse, le scientifique des données ne doit pas connaître le résultat de l'hypothèse qui a été générée sur la base d'une preuve.

« Une hypothèse peut être définie simplement comme une hypothèse. Une hypothèse scientifique est une hypothèse intelligente « . – Isaac asimov

La génération d'hypothèses est une étape cruciale dans tout projet de science des données. Si vous sautez ceci ou le révisez, la probabilité d'échec du projet augmente de façon exponentielle.

Génération d'hypothèses vs. Tests d'hypothèses

C'est une erreur très courante que font les débutants en science des données.

La génération d'hypothèses est un processus qui commence par une supposition éclairée, considérant que le test d'hypothèse est un processus consistant à conclure que l'hypothèse fondée est vraie / faux ou que la relation entre les variables est statistiquement significative ou non.

Cette dernière partie pourrait être utilisée pour de futures recherches utilisant des tests statistiques. Une hypothèse est acceptée ou rejetée en fonction du niveau de signification et du score du test utilisé pour tester l'hypothèse.

Pour en savoir plus sur les tests d'hypothèses en détail, vous pouvez le lire ici ou vous pouvez également l'apprendre à travers ce cours.

Comment la génération d'hypothèses aide-t-elle?

Ici il y a 5 principales raisons pour lesquelles la génération d'hypothèses est si importante en science des données:

• La génération d'hypothèses aide à comprendre le problème commercial à mesure que nous approfondissons l'inférence des divers facteurs qui influencent notre variableEn statistique et en mathématiques, ongle "variable" est un symbole qui représente une valeur qui peut changer ou varier. Il existe différents types de variables, et qualitatif, qui décrivent des caractéristiques non numériques, et quantitatif, représentation de grandeurs numériques. Les variables sont fondamentales dans les expériences et les études, puisqu’ils permettent l’analyse des relations et des modèles entre différents éléments, faciliter la compréhension de phénomènes complexes.... objectif.
• Vous aurez une bien meilleure idée de quels sont les principaux facteurs responsables de la résolution du problème.
• Données à collecter à partir de diverses sources qui sont essentielles pour transformer votre problème commercial en un problème basé sur la science des données
• Améliorez la connaissance de votre domaine si vous êtes nouveau dans le domaine pendant que vous passez du temps à comprendre le problème
• Aide à aborder le problème de manière structurée

Quand doit-on générer des hypothèses?

La question à un million de dollars: À quelle heure dans le monde devez-vous effectuer la génération d'hypothèses?

• La génération d'hypothèses doit être effectuée avant d'examiner l'ensemble de données ou la collecte de données.
• Vous remarquerez que si vous avez généré votre hypothèse correctement, aurait inclus toutes les variables présentes dans l'ensemble de données dans la génération de son hypothèse.
• Il peut également avoir inclus des variables qui ne sont pas présentes dans l'ensemble de données

Étude de cas: génération d'hypothèses sur « prédire la durée du trajet en taxi à New York »

Voyons maintenant le « PRÉVISION DE LA DURÉE DU VOYAGE EN TAXI À NEW YORK« énoncé du problème et générer quelques hypothèses qui affecteraient la durée de notre trajet en taxi pour comprendre la génération d'hypothèses.

Voici l'énoncé du problème:

Prévoir la durée d'un trajet pour que l'entreprise puisse affecter les taxis qui restent libres pour le prochain trajet. Cela aidera à réduire le temps d'attente des clients et à gagner la confiance des clients..

Nous allons commencer!

Génération d'hypothèses basée sur divers facteurs

1. Fonctions basées sur la distance / la vitesse

Essayons de trouver une formule qui soit liée à la durée du voyage et nous aide à générer plusieurs hypothèses pour le problème:

TEMPS = DISTANCE / LA VITESSE

La distance et la vitesse jouent un rôle important dans la prévision de la durée du trajet.

On peut remarquer que la durée du trajet est directement proportionnelle à la distance parcourue et inversement proportionnelle à la vitesse du taxi. Avec cela, nous pouvons arriver à une hypothèse basée sur la distance et la vitesse.

• Distance: Plus la distance parcourue par le taxi est grande, plus la durée du voyage est longue.
• Point de chute intérieur: Les points de débarquement dans les voies encombrées ou intérieures pourraient entraîner une augmentation de la durée du voyage.
• La vitesse: A plus grande vitesse, durée de voyage plus courte

2. Fonctions basées sur la voiture

Les voitures sont de différents types, tailles et marques, et ces caractéristiques de la voiture pourraient être vitales pour le voyage non seulement pour la sécurité des passagers mais aussi pour la durée du voyage. Générons maintenant quelques hypothèses basées sur les caractéristiques de la voiture.

• État de la climatisationr: Les voitures bien conditionnées sont peu susceptibles d'avoir des problèmes de panne et pourraient avoir une durée de trajet plus courte
• Taille de la voiture: Petites voitures (Hayon) peut avoir une durée de trajet plus courte et des voitures de plus grande taille (XUV) peut avoir un temps de trajet plus long en fonction de la taille de la voiture et de la congestion dans la ville.

3. Type de voyage

Les types de voyages peuvent être différents selon les fournisseurs de voyages: il peut s'agir d'un voyage dans une station éloignée, voyages individuels ou en groupe. Définissons maintenant une hypothèse en fonction du type de trajet utilisé.

• Voiture de piscine: Les voyages en groupe peuvent augmenter la durée du voyage, puisque la voiture atteint plusieurs endroits avant d'atteindre la destination assignée.

4. Fonctions basées sur les détails du contrôleur

Un chauffeur est une personne importante en matière de temps de trajet. Divers facteurs concernant le conducteur peuvent aider à comprendre la raison de la durée du trajet et voici quelques hypothèses à ce sujet.

• Âge du conducteur: Les conducteurs plus âgés pourraient être plus prudents et contribuer à un temps de trajet plus long.
• Genre: Les conductrices sont susceptibles de conduire lentement et cela pourrait contribuer à un temps de trajet plus long.
• Expérience de conduite: Les conducteurs ayant moins d'expérience de conduite peuvent entraîner une durée de trajet plus longue.
• État de santé: Les conducteurs ayant un problème de santé peuvent contribuer à une durée de trajet plus longue.

5. Données passagers

Les passagers peuvent influencer la durée du voyage sciemment ou inconsciemment. Comme d'habitude, nous rencontrons des passagers demandant aux conducteurs d'accélérer car ils sont en retard et il pourrait y avoir d'autres facteurs d'hypothèse que nous pouvons considérer.

• Âge des passagers: Les personnes âgées en tant que passagers peuvent contribuer à une durée de voyage plus longue, car les conducteurs ont tendance à ralentir les trajets impliquant des personnes âgées.
• Conditions médicales ou grossesse: Les passagers ayant des problèmes de santé contribuent à une durée de voyage plus longue.
• Urgence: Les passagers en situation d'urgence pourraient aider à réduire le temps de voyage.
• Comptage des passagers: Un nombre plus élevé de passagers entraîne des trajets plus courts en raison de l'encombrement des sièges

6. Fonctions date et heure

Le jour et l'heure de la semaine sont importants, étant donné que New York est une ville animée et peut être très encombrée pendant les heures de bureau ou en semaine. Générons maintenant quelques hypothèses sur les caractéristiques basées sur la date et l'heure.

Jour de ramassage:

• Les week-ends pourraient contribuer à plus de déplacements dans les stations éloignées et pourraient avoir une durée de déplacement plus longue.
• Les jours de semaine ont tendance à avoir un temps de trajet plus long en raison du trafic élevé.
• Si le jour de prise en charge est un jour férié, la durée du voyage peut être plus courte.
• Si le jour de prise en charge tombe une semaine de vacances, le temps de trajet pourrait être plus court en raison de la diminution du trafic.

Conditions météorologiques:

• Les voyages tôt le matin ont une durée de voyage plus courte en raison de moins de trafic
• Les trajets de nuit ont une durée de trajet plus longue en raison des heures de pointe

7. Fonctionnalités routières

Les routes sont de différents types et l'état de la route ou les obstacles sur la route sont des facteurs qui ne peuvent être ignorés. Formons quelques hypothèses basées sur ces facteurs.

• Etat de la route: La durée du trajet est plus longue si l'état de la route est mauvais
• Type de route: Les trajets sur des routes en béton ont tendance à avoir une durée de trajet plus courte.
• Grève sur la route: Les grèves effectuées sur les routes dans le sens de la circulation augmentent la durée du trajet

8. Fonctionnalités basées sur la météo

Le temps peut changer à tout moment et pourrait éventuellement affecter le voyage si le temps se dégrade. Donc, c'est une caractéristique importante à considérer dans notre hypothèse.

• Météo au début du voyage: Les conditions météorologiques pluvieuses contribuent à une durée de voyage plus longue

Remarques finales

• Après avoir rédigé notre hypothèse et examiné les base de données Vous remarquerez que vous auriez couvert l'écriture d'hypothèses sur la plupart des caractéristiques présentes dans l'ensemble de données. Il se peut également que vous deviez travailler avec moins de fonctions et que les fonctions sur lesquelles vous avez émis l'hypothèse ne soient pas capturées. / actuellement stocké par la société et non disponible.
• Allez toujours de l'avant et capturez des données à partir de sources externes si vous pensez que les données sont pertinentes pour votre prédiction. Pas .: Obtenir des informations météo
• Il est également important de noter que, puisque la génération d'hypothèses est une hypothèse estimée, l'hypothèse générée pourrait s'avérer vraie ou fausse une fois que l'analyse exploratoire des données et les tests d'hypothèses sont effectués sur les données.

J'espère que vous avez pu tirer quelque chose de précieux de ce post. S'il y a quelque chose que j'ai manqué ou quelque chose d'inexact ou si vous avez des commentaires, Faites-moi savoir dans les commentaires. je serais grandement apprécié.

En rapport