Big Data

“Analyse de puissance | Statistiques pour les débutants

Cet article a été publié dans le cadre du Blogathon sur la science des données.

introduction

Quelle quantité de données est suffisante pour établir une signification statistique? En d'autres termes, Quelle devrait être la taille optimale de l'échantillon? Souvent, il n'est pas tout à fait possible d'exécuter l'expérience statistique plusieurs fois pour assurer une puissance suffisante. En même temps, notre modèle d'apprentissage automatique pourrait ne pas être statistiquement concluant si nous n'avons pas une taille d'échantillon appropriée.

Analysons d'abord la puissance statistique en détail.

Puissance statistique d'un test d'hypothèse implique la probabilité de détecter un effet, car il y a un vrai effet. C'est la confiance qui est dérivée des résultats d'une étude et qui est inversement liée à l'erreur de type 2.

Notez que l'erreur de type 2 est faux négatif quand on ne rejette pas les hypothèses fausses nulles.

En ce point, il est important de comprendre quelle est l'hypothèse nulle? C'est un test d'hypothèse statistique qui suppose un résultat. Par exemple, l'hypothèse nulle dans la statistique KS implique que les deux populations appartiennent à une distribution similaire.

La source: Wiki avec des ajouts de l'auteur

Il est important de noter dans l'illustration ci-dessus que plus la puissance d'un test est élevée, plus petit est le, c'est-à-dire, l'erreur de type 2

Comment la puissance statistique la plus faible d'une expérience conduit à des conclusions invalides sur le résultat, vous voulez que vos expériences aient un seuil de puissance minimum. Généralement, on s'attend à ce que 80% ou plus. Une centrale de 80% signifie qu'il y a un 80% probabilité de détecter un effet existant (Oui, en même temps, un 20% probabilité d'observer une erreur de type 2).

Analyse de puissance:

Il est maintenant temps de voir une image plus grande, c'est-à-dire, l'analyse de puissance qui dépend de quatre variables liées, comme mentionné ci-dessous:

1) Taille de l'effet: plus les données sont importantes, plus petite est l'erreur aléatoire.

2) Taille de l'échantillon: une plus grande taille d'échantillon permet de détecter des effets plus petits

3) Niveau de signification: une

4) Puissance statistique

Les quatre variables sont liées les unes aux autres et la modification d'une variable affecte le reste des variables.

L'analyse de puissance est le processus d'estimation de l'un des 4 variables données des valeurs pour 3 variables. Souvent utilisé pour estimer la taille minimale de l'échantillon pour mener une expérience.

Au fur et à mesure que nous augmentons la taille de l'échantillon, on peut aussi détecter les petits effets, bien qu'au prix de plusieurs expériences statistiques. Même à ce moment là, il arrive un moment où l'ajout de données n'augmente plus la puissance.

Notez qu'il est tout à fait possible que l'échantillon avec lequel nous travaillons ne capture pas l'effet même s'il existe dans la population. Ceci est largement attribué à l'erreur d'échantillonnage lorsque l'échantillon n'est pas représentatif de la population..

L'analyse de puissance est également utilisée pour vérifier et valider les résultats et les conclusions de l'expérience.. Par exemple, si nous spécifions la taille de l'effet, taille de l'échantillon et niveau de signification, nous pouvons calculer la puissance d'une expérience pour vérifier si la probabilité d'erreur de type 2 est dans une plage acceptable.

Selon Documentation, nous pouvons résoudre n'importe quel 4 paramètres dans un test T indépendant de 2 échantillons:

La source: Auteur

Nous pouvons également utiliser tracer des courbes de puissance pour vérifier comment la variation de la taille de l'effet et la taille de l'échantillon différent modifient la puissance de l'expérience à un niveau de signification donné.