Geração de hipóteses para projetos de ciência de dados

Este artigo foi publicado como parte do Data Science Blogathon.

Introdução

El primer paso hacia la resoluçãoo "resolução" refere-se à capacidade de tomar decisões firmes e atingir metas estabelecidas. Em contextos pessoais e profissionais, Envolve a definição de metas claras e o desenvolvimento de um plano de ação para alcançá-las. A resolução é fundamental para o crescimento pessoal e o sucesso em várias áreas da vida, pois permite superar obstáculos e manter o foco no que realmente importa.... de problemas en proyectos de ciência de datos no se trata de construir modelos de aprendizaje automático. sim, você leu certo!

Essa distinção pertence à geração de hipóteses, a etapa em que nossas habilidades de resolução de problemas são combinadas com nossa intuição de negócios. É uma etapa verdadeiramente crucial para garantir um projeto de ciência de dados bem-sucedido.

Sejamos honestos: todos nós pensamos em uma hipótese quase todos os dias. Considere o exemplo de um esporte famoso na Índia: Grilo. É aquela época do ano em que a febre do IPL é alta e estamos todos concentrados em prever o vencedor..

Se você está adivinhando qual time ganharia com base em vários fatores, como o tamanho do estádio e os rebatedores presentes na equipe com seis habilidades de rebatidas ou rebatedores com altas médias de T20, Parabéns a todos. Todos vocês têm feito suposições fundamentadas e gerando hipóteses com base em seu conhecimento de domínio do esporte..

Do mesmo modo, a primeira etapa para resolver qualquer problema de negócios usando o aprendizado de máquina é a geração de hipóteses. Compreender a definição do problema com um bom conhecimento do domínio é importante e formular uma hipótese irá expô-lo ainda mais a novas idéias para a resolução de problemas..

Então, neste artigo, Vamos mergulhar no que é a geração de hipóteses e descobrir por que ela é importante para todos os cientistas de dados.

Tabela de conteúdo

• O que é geração de hipótese?
• Geração de hipótese vs teste de hipótese
• Como a geração de hipóteses ajuda?
• Quando deve a geração de hipóteses?
• Estudo de caso: Gerar hipóteses com a previsão da duração da corrida de táxi em Nova York

O que é geração de hipótese?

Hipótese A geração é uma “suposição” informado sobre vários fatores que estão afetando o problema de negócios que precisa ser resolvido pelo aprendizado de máquina. Ao formular uma hipótese, o cientista de dados não deve saber o resultado da hipótese que foi gerada com base em qualquer evidência.

“Uma hipótese pode ser definida simplesmente como uma suposição. Uma hipótese científica é uma suposição inteligente “. – Isaac Asimov

A geração de hipóteses é uma etapa crucial em qualquer projeto de ciência de dados. Se você pular ou revisar, a probabilidade de o projeto falhar aumenta exponencialmente.

Geração de hipótese vs. Testando hipóteses

Este é um erro muito comum que os iniciantes em ciência de dados cometem.

A geração de hipóteses é um processo que começa com uma suposição fundamentada, Considerando que o teste de hipótese é um processo de concluir que a suposição fundamentada é verdadeira / falso ou que a relação entre as variáveis ​​é estatisticamente significativa ou não.

Esta última parte pode ser usada para pesquisas futuras usando testes estatísticos. Uma hipótese é aceita ou rejeitada com base no nível de significância e na pontuação do teste usado para testar a hipótese.

Para entender mais sobre o teste de hipótese em detalhes, você pode ler aqui ou também pode aprender por meio deste curso.

Como a geração de hipóteses ajuda?

Aqui tem 5 principais razões pelas quais a geração de hipóteses é tão importante na ciência de dados:

• La generación de hipótesis ayuda a comprender el problema empresarial a medida que profundizamos en la inferencia de los diversos fatores que afectan nuestra variávelEm estatística e matemática, uma "variável" é um símbolo que representa um valor que pode mudar ou variar. Existem diferentes tipos de variáveis, e qualitativo, que descrevem características não numéricas, e quantitativo, representando quantidades numéricas. Variáveis são fundamentais em experimentos e estudos, uma vez que permitem a análise de relações e padrões entre diferentes elementos, facilitando a compreensão de fenômenos complexos.... objetivo.
• Você terá uma ideia muito melhor de quais são os principais fatores responsáveis ​​por resolver o problema.
• Dados a serem coletados de várias fontes que são essenciais para transformar seu problema de negócios em um problema baseado em ciência de dados
• Aumente a percepção do seu domínio se você for novo no domínio, pois passa mais tempo entendendo o problema
• Ajuda a abordar o problema de forma estruturada

Quando deve a geração de hipóteses?

A pergunta de um milhão de dólares: A que horas do mundo você deve realizar a geração de hipóteses?

• A geração de hipóteses deve ser feita antes de olhar para o conjunto de dados ou coleta de dados.
• Você notará que, se gerou sua hipótese corretamente, teria incluído todas as variáveis ​​presentes no conjunto de dados na geração de sua hipótese.
• Também pode ter incluído variáveis ​​que não estão presentes no conjunto de dados

Estudo de caso: geração de hipóteses sobre “prever a duração da corrida de táxi na cidade de Nova York”

Vamos ver agora o “PREVISÃO DA DURAÇÃO DA VIAGEM DE TÁXI DE NOVA IORQUE“ declaração do problema e gerar algumas hipóteses que afetariam a duração de nossa viagem de táxi para entender a geração de hipóteses.

Aqui está a declaração do problema:

Prever a duração de uma viagem para que a empresa possa designar os táxis que ficam livres para a próxima viagem. Isso ajudará a reduzir o tempo de espera do cliente e também a ganhar a confiança do cliente..

Vamos começar!

Geração de hipóteses com base em vários fatores

1. Funções baseadas em distância / Rapidez

Vamos tentar criar uma fórmula que esteja relacionada à duração da viagem e nos ajude a gerar várias hipóteses para o problema:

TEMPO = DISTÂNCIA / RAPIDEZ

Distância e velocidade desempenham um papel importante na previsão da duração da viagem.

Podemos notar que a duração da viagem é diretamente proporcional à distância percorrida e inversamente proporcional à velocidade do táxi.. Com isso podemos chegar a uma hipótese baseada na distância e velocidade.

• Distância: Quanto maior a distância percorrida pelo táxi, quanto maior a duração da viagem.
• Ponto de queda interno: Os pontos de desembarque em vias congestionadas ou internas podem resultar em um aumento na duração da viagem.
• Velocidade: Em alta velocidade, duração de viagem mais curta

2. Funções baseadas em carros

Os carros são de vários tipos, tamanhos e marcas, e essas características do carro podem ser vitais para a viagem, não só para a segurança dos passageiros, mas também para a duração da viagem. Vamos agora gerar algumas hipóteses com base nas características do carro.

• Condição do acr: Carros bem condicionados provavelmente não apresentarão problemas de avaria e podem ter uma duração de viagem mais curta
• Tamanho do carro: Carros pequenos (Hatchback) pode ter uma duração de viagem mais curta e carros de tamanho maior (XUV) pode ter um tempo de viagem mais longo dependendo do tamanho do carro e do congestionamento na cidade.

3. Tipo de viagem

Os tipos de viagens podem ser diferentes dependendo dos provedores de viagens: pode ser uma viagem em uma estação remota, viagens individuais ou em grupo. Agora vamos definir uma hipótese com base no tipo de viagem usada.

• Carro piscina: Viagens em grupo podem aumentar a duração da viagem, uma vez que o carro chega a vários lugares antes de chegar ao destino designado.

4. Recursos baseados em detalhes do controlador

Um motorista é uma pessoa importante quando se trata de tempo de viagem. Vários fatores sobre o motorista podem ajudar a entender o motivo da duração da viagem e aqui estão algumas hipóteses sobre isso.

• Idade do motorista: Motoristas mais velhos podem ser mais cuidadosos e contribuir para uma viagem mais longa.
• Gênero: As motoristas tendem a dirigir devagar e isso pode contribuir para um tempo de viagem mais longo.
• Experiência do motorista: Os motoristas com menos experiência de direção podem levar a uma viagem de longa duração.
• Condição médica: Motoristas com problemas médicos podem contribuir para uma viagem de longa duração.

5. Dados do passageiro

Os passageiros podem influenciar a duração da viagem, consciente ou inconscientemente. Em geral, encontramos passageiros pedindo aos motoristas para acelerar, pois estão ficando tarde e pode haver outros fatores de hipótese que podemos considerar.

• Idade dos passageiros: Pessoas mais velhas como passageiros podem contribuir para uma viagem mais longa, já que os motoristas tendem a diminuir a velocidade em viagens que envolvem pessoas mais velhas.
• Condições médicas ou gravidez: Passageiros com problemas médicos contribuem para uma maior duração da viagem.
• Emergência: Passageiros em caso de emergência podem ajudar a reduzir o tempo de viagem.
• Contagem de passageiros: O maior número de passageiros leva a viagens mais curtas devido ao congestionamento de assentos

6. Funções de data e hora

O dia e a hora da semana são importantes, como Nova York é uma cidade movimentada e pode ficar muito congestionada durante o horário de expediente ou durante a semana. Agora vamos gerar algumas hipóteses sobre as características com base na data e hora.

Dia de coleta:

• Os fins de semana podem contribuir para mais viagens em estações remotas e podem ter uma duração de viagem mais longa.
• Os dias de semana tendem a ter um tempo de viagem mais longo devido ao tráfego intenso.
• Se o dia de coleta for feriado, a duração da viagem pode ser mais curta.
• Se o dia de coleta cair em uma semana de feriado, o tempo de viagem pode ser mais curto devido a menos tráfego.

Clima:

• As viagens de manhã cedo têm uma duração mais curta devido ao menor tráfego
• As viagens noturnas têm uma duração maior devido aos horários de pico

7. Recursos baseados em estradas

As estradas são de tipos diferentes e as condições da estrada ou os obstáculos na estrada são fatores que não podem ser ignorados. Vamos formar algumas hipóteses com base nesses fatores.

• Estado da estrada: A duração da viagem é maior se o estado da estrada estiver ruim
• Tipo de estrada: Viagens em estradas de concreto tendem a ter uma duração de viagem mais curta.
• Greve na estrada: Greves realizadas nas estradas na direção da viagem aumentam a duração da viagem

8. Recursos baseados no clima

O tempo pode mudar a qualquer momento e pode afetar a viagem se o tempo piorar. Portanto, esta é uma característica importante a considerar em nossa hipótese.

• Clima no início da viagem: A condição de tempo chuvoso contribui para uma maior duração da viagem

Notas finais

• Depois de escrever nossa hipótese e olhar para o conjunto de dados Você notará que teria coberto a hipótese ao escrever sobre a maioria dos recursos presentes no conjunto de dados. Também pode haver a possibilidade de que você tenha que trabalhar com menos funções e as funções sobre as quais você hipotetizou não estão sendo capturadas. / atualmente armazenado pela empresa e não disponível.
• Sempre vá em frente e capture dados de fontes externas se você acha que os dados são relevantes para sua previsão. Não .: Obtenha informações meteorológicas
• Também é importante notar que, uma vez que a geração de hipóteses é uma suposição estimada, a hipótese gerada pode acabar sendo verdadeira ou falsa, uma vez que análises exploratórias de dados e testes de hipótese sejam realizados nos dados.

Espero que você tenha conseguido extrair algo de valor desta postagem. Se há algo que perdi ou algo impreciso ou se você tem algum comentário, Deixe-me saber nos comentários. Eu seria muito apreciado.

Relacionado