Analyse de la variance ou ANOVA

Principes de l’analyse de la variance ou ANOVA

L'analyse de variance utilise le même cadre conceptuel que la régression linéaire. La différence principale vient de la nature des variables explicatives : au lieu d'être quantitatives, elles sont ici qualitatives. Dans le cadre de l'ANOVA, les variables explicatives sont souvent appelées facteurs.

Modèle de l’analyse de la variance ou ANOVA

Si p est le nombre de facteurs, le modèle de l'ANOVA s'écrit de la manière suivante :

y_i = β₀ + ∑_j=1...q β_k(i,j),j + ε_i

où y_i est la valeur observée pour la variable dépendante pour l'observation i, k_(i,j) est l'indice correspondant à la modalité du facteur j pour l'observation i, et ε_i est l'erreur du modèle.

Les hypothèses utilisées en ANOVA sont identiques à celles de la régression linéaire : les erreurs ε_i suivent une même loi normale N(0,s) et sont indépendantes.

Options pour l’analyse de la variance ou ANOVA dans XLSTAT

XLSTAT permet de traiter les cas :

• d'ANOVA équilibrée : lorsque les effectifs des modalités sont égaux pour l'ensemble des facteurs,
• d'ANOVA déséquilibrée : lorsque les effectifs de toutes les modalités de l'un des facteurs ne sont pas égaux.

Cet outil permet de faire l'ANOVA à un ou plusieurs facteurs. Les interactions sont calculées jusqu'à l'ordre 4.

De plus il est possible de sélectionner les variables à prendre en compte dans l’analyse grâce à quatre options :

• Meilleur modèle : cette méthode permet de choisir le meilleur modèle parmi tous les modèles comprenant un nombre de variables variant de « Min variables » à « Max variables » à définir par l'utilisateur. Par ailleurs le « critère » pour déterminer le meilleur modèle peut être choisi par l'utilisateur. Les critères disponibles sont : R² ajusté, Moyenne des Carrés des Erreurs (MCE), Cp de Mallows, AIC de Akaike, SBC de Schwarz, PC d'Amemiya.
• Stepwise : le processus de sélection commence par l'ajout de la variable ayant la plus forte contribution au modèle (le critère utilisé est la statistique t de Student). Si une seconde variable est telle que la probabilité associée à son t est inférieure à la « Probabilité pour l'entrée », elle est ajoutée au modèle. De même pour une troisième variable. A partir de l'ajout de la troisième variable, après chaque ajout, on évalue pour toutes les variables présentes dans le modèle quel serait l'impact de son retrait (toujours au travers de la statistique t). Si la probabilité est supérieure à la « Probabilité pour le retrait », la variable est retirée. La procédure se poursuit jusqu'à ce que plus aucune variable ne puisse être ajoutée/retirée.
• Ascendante : la procédure est identique à cette de la sélection progressive, hormis le fait que les variables sont uniquement ajoutées et jamais retirées.
• Descendante : la procédure commence par l'ajout simultané de toutes les variables. Les variables sont ensuite retirées du modèle suivant la procédure utilisée pour la sélection progressive.

Dans le cas de variables ayant plusieurs niveaux, plusieurs tests et procédures de comparaisons multiples sont disponibles :

• Bonferroni,
• Dunn-Sidak,
• Dunnett,
• Fisher,
• Tukey,
• Duncan,
• REGWQ,
• Newman-Keuls.

Enfin un processus de validation est aussi disponible.

Résultats pour l’analyse de la variance ou ANOVA

Ci-dessous est une liste non exhaustive des résultats obtenus pour l'analyse de la variance (ANOVA) avec XLSTAT.

• Coefficients d'ajustement : dans ce tableau sont affichées les statistiques relatives à l'ajustement du modèle de régression :
  • Observations : le nombre d'observations prises en compte dans les calculs.
  • Somme des poids : la somme des poids des observations prises en compte dans les calculs.
  • DDL : le nombre de degrés de liberté pour le modèle retenu (correspondant à la partie erreurs).
  • R² : le coefficient de détermination du modèle. Le R² s'interprète comme la proportion de la variabilité de la variable dépendante expliquée par le modèle. Plus le R² est proche de 1, meilleur est le modèle. L'inconvénient du R² est qu'il ne prend pas en compte le nombre de variables utilisées pour ajuster le modèle.
  • R² ajusté : le coefficient de détermination ajusté du modèle. Le R² ajusté peut être négatif si le R² est voisin de zéro. Le R² ajusté est une correction du R² qui permet de prendre en compte le nombre de variables utilisées dans le modèle.
  • MCE : la moyenne des carrés des erreurs (MCE).
  • RMCE : la racine de la moyenne des carrés des erreurs (RMCE) est la racine carrée de la MCE.
  • MAPE : la Mean Absolute Percentage Error.
  • DW : le coefficient de Durbin-Watson. Ce coefficient correspond au coefficient d'autocorrélation d'ordre 1 et permet de vérifier que les résidus du modèle ne sont pas autocorrélés, sachant que l'indépendance des résidus est l'une des hypothèses de base de la régression linéaire. L'utilisateur pourra se référer à une table des coefficients de Durbin-Watson pour vérifier si l'hypothèse d'indépendance des résidus est acceptable.
  • Cp : le coefficient Cp de Mallows.
  • AIC : le critère d'information d'Akaike (Akaike's Information Criterion). Ce critère proposé par Akaike (1973) dérive de la théorie de l'information, et s'appuie sur la mesure de Kullback et Leibler (1951). C'est un critère de sélection de modèles qui pénalise les modèles pour lesquels l'ajout de nouvelles variables explicatives n'apporte pas suffisamment d'information au modèle, l'information étant mesurée au travers de la SCE. On cherche à minimiser le critère AIC.
  • SBC : le critère bayésien de Schwarz (Schwarz's Bayesian Criterion). Ce critère proposé par Schwarz (1978) est proche du critère AIC, et comme ce dernier on cherche à le minimiser.
  • PC : le critère de prédiction d'Amemiya (Amemiya's Prediction Criterion).Ce critère prop osé par Amemiya (1980) permet comme le R² ajusté de tenir compte de la parcimonie du modèle.
  • Press RMCE. Le Press RMCE peut alors être comparé au RMCE. Une différence importante entre les deux indique que le modèle est sensible à la présence ou absence de certaines observations dans le modèle.
• Le tableau des Type I SS permet de visualiser l'influence de l'ajout progressif des variables explicatives sur l'ajustement du modèle, au sens de la somme des carrés des erreurs (SCE), de la moyenne des carrés des erreurs (MCE), du F de Fisher, ou de la probabilité associée au F de Fisher. Plus la probabilité est faible, plus la contribution de la variable au modèle est importante, toutes les autres variables étant déjà dans le modèle. Remarque : l'ordre de sélection des variables dans le modèle influe sur les valeurs obtenues.
• Le tableau des Type II SS permet de visualiser l'influence du retrait d'une variable explicative sur l'ajustement du modèle, toutes les autres variables étant conservées, au sens de la somme des carrés des erreurs (SCE), de la moyenne des carrés des erreurs (MCE), du F de Fisher, ou de la probabilité associée au F de Fisher. Plus la probabilité est faible, plus la contribution de la variable au modèle est importante. Remarque : dans le cas des ANOVAs déséquilibrées, l'utilisation des Type III est recommandée mais XLSTAT affiche les Type II pour les utilisateurs avancés qui voudraient disposer des Type II.
• Le tableau des Type III SS permet de visualiser l'influence du retrait d'une variable explicative sur l'ajustement du modèle, toutes les autres variables étant conservées, au sens de la somme des carrés des erreurs (SCE), de la moyenne des carrés des erreurs (MCE), du F de Fisher, ou de la probabilité associée au F de Fisher. Plus la probabilité est faible, plus la contribution de la variable au modèle est importante, toutes les autres variables étant déjà dans le modèle. Remarque : contrairement au cas des Type I SS, l'ordre de sélection des variables dans le modèle n'influe pas sur les valeurs obtenues, et contrairement aux Type II SS, les valeurs ne dépendent pas des effectifs des cellules (par cellule on entend une combinaison de modalités des différents facteurs), ce qui fait des Type III le test recommandé pour évaluer la contribution d'une variable.
• Le tableau d'analyse de la variance permet d'évaluer le pouvoir explicatif des variables explicatives. Dans le cas où la constante du modèle n'est pas fixée à une valeur donnée, le pouvoir explicatif est évalué en comparant l'ajustement (au sens des moindres carrés) du modèle final avec l'ajustement du modèle rudimentaire composé d'une constante égale à la moyenne de la variable dépendante. Dans le cas où la constante du modèle est fixée, la comparaison est faite par rapport au modèle pour lequel la variable dépendante serait égale à la constante fixée.
• L'équation du modèle est ensuite affichée pour faciliter la lecture ou la réutilisation du modèle.
• Le tableau des coefficients normalisés (aussi appelés coefficients bêta) permet de comparer le poids relatif des variables. Plus la valeur absolue d'un coefficient est élevée, plus le poids de la variable correspondante est important. Lorsque l'intervalle de confiance autour des coefficients normalisés comprend la valeur 0 (cela est facilement visible sur le graphique des coefficients normalisés), le poids d'une variable dans le modèle n'est pas significatif.
• Dans le tableau des prédictions et résidus sont donnés pour chaque observation, son poids, la valeur de la variable explicative qualitative s'il n'y en a qu'une, la valeur observée de la variable dépendante, la prédiction du modèle, les résidus, les intervalles de confiance, ainsi que la prédiction ajustée et le D de Cook si les options correspondantes ont été activées dans la boîte de dialogue. Deux types d'intervalles de confiance sont affichés : un intervalle de confiance autour de la moyenne (correspondant au cas où l'on ferait la prédiction pour un nombre infini d'observations avec un ensemble de valeurs données des variables explicatives) et un intervalle autour de la prédiction ponctuelle (correspondant au cas d'une prédiction isolée pour des valeurs données des variables explicatives). Le second intervalle est toujours plus grand que le premier, les aléas étant plus importants. Si des données de validation ont été sélectionnées, elles sont affichées en fin de tableau.

Résultats graphique pour l’analyse de la variance ou ANOVA

Les graphiques suivant permettent de visualiser les résultats mentionnés ci-dessus.

S'il n'y a qu'une seule variable explicative dans le modèle, le premier graphique affiché permet de visualiser les valeurs observées, la droite de régression et les deux types d'intervalles de confiance autour des prévisions.

Le second graphique permet quant à lui de visualiser les résidus normalisés en fonction de la variable explicative. En principe, les résidus doivent être distribués de manière aléatoire autour de l'axe des abscisses. L'observation d'une tendance ou d'une forme révèlerait un problème au niveau du modèle.

Les trois graphiques affichés ensuite permettent de visualiser respectivement l'évolution des résidus normalisés en fonction de la variable dépendante, la distance entre les prédictions et les observations (pour un modèle idéal, les points seraient tous sur la bissectrice), et les résidus normalisés sur la forme d'un diagramme en bâtons. Ce dernier graphique permet de rapidement voir si un nombre anormal de données sort de l'intervalle ]-2, 2[ sachant que ce dernier, sous hypothèse de normalité, doit contenir environ 95% des données.

Tutoriels

• ANOVA à un facteur suivie de tests de comparaisons multiples
• ANOVA déséquilibrée à deux facteurs avec interactions

Aperçus