Profiling heteroscedasticity in linear regression models

Abstract

Diagnostics for heteroscedasticity in linear regression models have been intensively investigated in the literature. However, limited attention has been paid on how to identify covariates associated with heteroscedastic error variances. This problem is critical in correctly modelling the variance structure in weighted least squares estimation, which leads to improved estimation efficiency. We propose covariate‐specific statistics based on information ratios formed as comparisons between the model‐based and sandwich variance estimators. A two‐step diagnostic procedure is established, first to detect heteroscedasticity in error variances, and then to identify covariates the error variance structure might depend on. This proposed method is generalized to accommodate practical complications, such as when covariates associated with the heteroscedastic variances might not be associated with the mean structure of the response variable, or when strong correlation is present amongst covariates. The performance of the proposed method is assessed via a simulation study and is illustrated through a data analysis in which we show the importance of correct identification of covariates associated with the variance structure in estimation and inference. The Canadian Journal of Statistics 43: 358–377; 2015 © 2015 Statistical Society of CanadaRésuméLes outils de diagnostic pour l'hétéroscédasticité dans les modèles de régression linéaire sont largement étudiés dans la littérature. Toutefois, l'identification des covariables associées aux variances hétéroscédastiques n'a suscité que peu d'intérêt. Ce problème joue pourtant un rôle clé pour l'estimation par les moindres carrés pondérés, puisque la modélisation correcte de la structure de variance accroî t l'efficacité de l'estimation. Les auteurs proposent des statistiques spécifiques aux covariables fondées sur un ratio d'information comparant l'estimateur de la variance basé sur le modèle à l'estimateur sandwich de la variance. Ils développent une procédure diagnostique en deux étapes, détectant d'abord l'hétéroscédasticité et identifiant ensuite les covariables dont peut dépendre la structure de variance. Ils généralisent la méthode proposée afin d'accommoder des complications pratiques telles que l'absence de lien entre la structure de la moyenne et une covariable associée avec l'hétéroscédasticité, ou la forte corrélation des covariables. Les auteurs évaluent la performance de la méthode proposée à l'aide d'une étude de simulation et l'illustrent en analysant un jeu de données montrant l'importance d'identifier correctement les covariables associées avec la structure de variance pour l'estimation et l'inférence. La revue canadienne de statistique xx: 1–20; 2015 © 2015 Société statistique du Canada