Régression non paramétrique (Kernel, LOWESS)

Quand utiliser la régression non paramétrique ?

La régression paramétrique peut être utilisée lorsque les hypothèses des méthodes de régression plus classiques, telle que la régression linéaire, ne sont pas vérifiées, ou lorsque la structure du modèle n'a pas fondamentalement d'intérêt et lorsque seule la qualité prédictive du modèle est importante.

XLSTAT propose deux régressions non paramétriques:

• Kernel regression
• et Lowless.

Kernel regression

La Kernel regression est un outil de modélisation faisant partie de la famille des méthodes de lissage. Contrairement à la régression linéaire qui est utilisée dans un but explicatif et prédictif (comprendre un phénomène pour pouvoir le prévoir ensuite), la Kernel regression est classée parmi les méthodes de régression non paramétrique essentiellement utilisées dans un but prédictif. La structure du modèle est en effet variable et complexe, ce dernier fonctionnant comme un filtre ou une boîte noire. De nombreuses variantes de la Kernel regression existent.

Comme pour toute méthode de modélisation, un échantillon d'apprentissage de taille n_app est utilisé pour estimer les paramètres du modèle. Un échantillon de validation de taille n_valid peut ensuite être utilisé pour évaluer la qualité du modèle. Enfin, le modèle peut être appliqué sur un échantillon de prédiction de taille npred, pour lequel les valeurs de la variable dépendante Y sont inconnues.

1. La première caractéristique de la Kernel regression est l'utilisation d'une fonction noyau pour pondérer les observations de l'échantillon d'apprentissage, en fonction de leur « distance » à l'observation prédite. Plus les valeurs des variables explicatives d'une observation de l'échantillon d'apprentissage sont proches des valeurs observées pour l'observation en cours de prédiction, plus le plus poids de l'observation de l'échantillon d'apprentissage sera important. Les différentes fonctions noyau proposées par XLSTAT sont :
   • Uniforme
   • Triangle
   • Epanechnikov
   • Quartic
   • Triweight
   • Tricube
   • Gaussien
   • Cosinus
2. La seconde caractéristique de la Kernel regression est la bande passante associée à chaque variable. Elle intervient dans le calcul et du noyau et du poids des observations, et permet de différencier ou d'homogénéiser le poids relatif des variables, tout en agissant sur l'impact d'une observation de l'échantillon d'apprentissage en fonction de sa distance à l'observation prédite.
3. La troisième caractéristique est le degré du modèle polynomial utilisé pour ajuster le modèle aux observations de l'échantillon d'apprentissage.

La régression LOWESS

La régression LOWESS (Locally weighted regression and smoothing scatter plots) a été introduite dans le but de créer des courbes lissées passant au travers de nuages de points.

La régression LOWESS peut être considérée comme un cas particulier de la Kernel regression. La "robust LOWESS" est quant à légèrement différente, plus performante, mais plus coûteuse en temps de calcul.

Résultats pour les régressions non paramétriques dans XLSTAT

Entre autres XLSTAT proposent les résultats suivant :

• Coefficients d'ajustement : dans ce tableau sont affichées les statistiques suivantes :
  • le coefficient de détermination R² ;
  • la somme des carrés des erreurs (ou résidus) du modèle (SCE) ;
  • la moyenne des carrés des erreurs (ou résidus) du modèle (MCE) ;
  • la racine de la moyenne des carrés des erreurs (ou résidus) du modèle (RMCE) ;
• Prédictions et résidus : ce tableau donne pour chaque observation les données de départ, la valeur prédite par le modèle et les résidus.

Résultats graphiques pour la régression non paramétrique

Si une seule variable quantitative explicative a été sélectionnée, ou si une variable temporelle a été sélectionnée, le premier graphique représente les données et la courbe correspondant aux prédictions du modèle. Si l'option « en fonction de X1 » a été sélectionnée, le premier graphique correspond aux données observées et aux prédictions en fonction de la première variable explicative sélectionnée. Le second graphique affiché est le diagramme en bâtons des résidus.

Tutoriels

• Régression non paramétrique (kernel regression) avec XLSTAT

Aperçus