Este artigo foi publicado como parte do Data Science Blogathon.
Introdução
Essas situações podem ser tratadas entendendo o caso de uso de cada métrica..
Todo mundo conhece o básico de todas as métricas de classificação usadas com frequência, mas quando se trata de saber qual é o certo para avaliar o desempenho do seu modelo de classificação, muito poucos confiam no próximo passo a dar.
A aprendizagem supervisionada é geralmente em regressão (tem objetivos contínuos) ou na classificação (tem objetivos discretos). Porém, neste artigo, Vou tentar me concentrar em uma parte muito pequena, mas muito importante do aprendizado de máquina, sendo esse o tópico favorito dos entrevistadores, “quem sabe o que”, também pode ajudá-lo a obter seus conceitos corretos em modelos de classificação e, Finalmente, sobre qualquer problema de negócios. Este artigo irá ajudá-lo a saber que quando alguém lhe diz que um modelo de ml está dando um 94% precisão, que perguntas fazer para descobrir se o modelo está realmente funcionando conforme necessário.
Então, Como decidir as questões que ajudarão?
Agora, isso é um pensamento para a alma.
Responderemos a isso sabendo como avaliar um modelo de classificação, o caminho correto.
Nós revisaremos os seguintes tópicos neste artigo:
-
Precisão
-
Defeitos
-
Matriz de confusão
-
Métricas baseadas na matriz de confusão
-
Resumo
Depois de ler este artigo, terá o conhecimento sobre:
-
O que é matriz de confusão e por que você precisa usá-la?
-
Como calcular uma matriz de confusão para um problema de classificação 2 aulas
-
Métricas baseadas na matriz de confusão e como usá-las
Precisão e suas falhas:
Precisão (ACC) mede a fração de previsões corretas. é definido como “a relação entre as previsões corretas e o total de previsões feitas”.
Problema com precisão:
Oculte os detalhes de que você precisa para entender melhor o desempenho do seu modelo de classificação. Você pode seguir os exemplos abaixo para ajudá-lo a entender o problema:
-
Variável de destino de várias classes: quando seus dados têm mais de 2 aulas. Com 3 ou mais aulas, você pode obter uma espécie de precisão do 80%, mas você não sabe se é porque todas as classes predizem igualmente bem ou se o modelo está negligenciando uma ou duas classes.
-
Da desequilibrado
Um típico exemplo de dados desequilibrados está em um problema de classificação de e-mail onde os e-mails são classificados como spam ou não spam. Aqui, a contagem de spam é consideravelmente muito baixa (Menor que 10%) do que o número de e-mails relevantes (sem spam) (mais do que 90%). Então, a distribuição original de duas classes leva a um conjunto de dados desequilibrado.
Se fizermos duas aulas, então os dados balanceados significariam que temos 50% pontos para cada uma das classes. O que mais, se há 60-65% pontos para uma aula e 40% f
A precisão da classificação não destaca os detalhes de que você precisa para diagnosticar o desempenho do seu modelo. Isso pode ser destacado usando uma matriz de confusão.
Matriz de confusão:
Wikipedia define o termo como “uma matriz de confusão, também conhecido como matriz de erro, é um projeto de tabela específico que permite a visualização do desempenho de um algoritmo ".
Abaixo está uma matriz de confusão para duas classes (+, -).
Existem quatro quadrantes na matriz de confusão, que são simbolizados abaixo.
matriz de confusão
- : O número de em
- Previu que um e-mail é spam e realmente é.
- Falso negativo (FN): O número de instâncias que foram positivas (+) e foram classificados incorretamente como negativos (-). Também é conhecido como Erro de digitação 2.
- Previu que um e-mail não é spam e na verdade é.
- Verdadeiro negativo (TN): O número de instâncias que foram negativas (-) e foram classificados corretamente como (-).
- Previu que um e-mail não é spam e, na verdade, não é.
- Falso positivo (FP): O número de instâncias que foram negativas (-) e foram classificados incorretamente como (+). Isso também é conhecido como Erro de digitação 1.
- Previu que um e-mail não é spam e na verdade é.
Para adicionar um pouco de clareza:
Para a esquerda: verdadeiros positivos para valores de eventos previstos corretamente.
Canto superior direito: falso-positivo para valores de eventos previstos incorretamente.
Para baixo à esquerda: falsos negativos para valores de não evento previstos corretamente.
Canto inferior direito: Negativos verdadeiros para valores sem eventos previstos incorretamente.
Métricas baseadas em matriz de confusão:
-
Precisão
-
Lembrar
-
Pontuação F1
Precisão
A precisão calcula a capacidade de um classificador de não rotular uma observação negativa verdadeira como positiva.
Precision=TP /(TP + FP)
Usando precisão
Usamos precisão ao trabalhar em um modelo semelhante ao conjunto de dados de detecção de spam, já que o Recall realmente calcula quantos pontos positivos reais nosso modelo captura, rotulando-o como positivo.
Lembrar (sensibilidade)
Recall calcula a capacidade de um classificador de encontrar observações positivas no conjunto de dados. Se você quisesse ter certeza de encontrar todos os comentários positivos, poderia maximizar a memória.
Recall=TP /(TP + FN)
Sempre tendemos a usar a retirada quando precisamos identificar corretamente os cenários positivos, como em um conjunto de dados de detecção de câncer ou um caso de detecção de fraude. Precisão ou precisão não será tão útil aqui.
Medida F
Para comparar quaisquer dois modelos, utilizamos F1-Score. É difícil comparar dois modelos com baixa precisão e alta recuperação ou vice-versa. A pontuação F1 ajuda a medir a recuperação e a precisão ao mesmo tempo. Use a média harmônica em vez da média aritmética ao punir valores extremos mais.
Compreendendo a Matriz de Confusão
Digamos que temos um problema de classificação binária em que queremos prever se um paciente tem câncer ou não., dependendo dos sintomas (as características) introduzido no modelo de aprendizado de máquina (classificador).
Como estudado anteriormente, o lado esquerdo da matriz de confusão mostra a classe prevista pelo classificador. Entretanto, a linha superior da matriz mostra os rótulos de classe reais dos exemplos.
Se o conjunto de problemas tiver mais de duas classes, a matriz de confusão apenas cresce pelo respectivo número de classes. Por exemplo, se houver quatro classes, seria uma série de 4 x 4.
Em palavras simples, o número de aulas não importa, o principal permanecerá o mesmo: o lado esquerdo da matriz são os valores previstos e no topo os valores reais. O que temos que verificar é onde eles se cruzam para ver o número de exemplos previstos para qualquer classe em comparação com o número real de exemplos para essa classe.
Embora você possa calcular manualmente as métricas como a matriz de confusão, precisão e recuperação, a maioria das bibliotecas de aprendizado de máquina, como Scikit-learn para Python, têm métodos integrados para obter essas métricas.
Gerando uma matriz de confusão no Scikit Learn
Já cobrimos a teoria sobre como funciona a matriz de confusão, aqui vamos compartilhar comandos python para obter a saída de qualquer classificador como um array.
Para obter a matriz de confusão para o nosso classificador, precisamos instanciar a matriz de confusão que importamos do Sklearn e passar os argumentos relevantes: os verdadeiros valores e nossas previsões.
de sklearn.metrics importar confused_matrix
c_matrix = confusão_matrx (irritável, previsões)
imprimir (c_matrix)
Resumo
Em um breve resumo, nós analisamos:
-
precisão
-
problemas que pode trazer para a mesa
-
matriz de confusão para entender melhor o modelo de classificação
-
precisão e recuperação e cenário sobre onde usá-los
Nós tendemos a usar a precisão porque todos têm uma ideia do que isso significa. É necessário aumentar o uso de métricas mais adequadas, como recuperação e precisão, isso pode parecer estranho. Agora você tem uma ideia intuitiva de por que eles funcionam melhor para alguns problemas, como tarefas de classificação desequilibradas.
As estatísticas nos fornecem definições formais para avaliar essas medidas.. Nosso trabalho como cientista de dados é conhecer as ferramentas certas para o trabalho certo, e isso acarreta a necessidade de ir além da precisão ao trabalhar com modelos de classificação.
Usando recuperação, precisão e pontuação F1 (precisão e recuperação média harmônica) nos permite avaliar modelos de classificação e também nos faz pensar em usar apenas a precisão de um modelo, especialmente para problemas desequilibrados. Como aprendemos, precisão não é uma ferramenta de avaliação útil em vários problemas, então vamos implementar outras medidas adicionadas ao nosso arsenal para avaliar o modelo.
Calças rohit
