A non asymptotic penalized criterion for Gaussian mixture model selection

Abstract

Specific Gaussian mixtures are considered to solve simultaneously variable selection and clustering problems. A non asymptotic penalized criterion is proposed to choose the number of mixture components and the relevant variable subset. Because of the non linearity of the associated Kullback-Leibler contrast on Gaussian mixtures, a general model selection theorem for MLE proposed by Massart (2007) is used to obtain the penalty function form. This theorem requires to control the bracketing entropy of Gaussian mixture families. The ordered and non-ordered variable selection cases are both addressed in this paper. Key-words: Model-based clustering, Variable selection, Penalized likelihood criterion, Bracketing entropy. ∗ INRIA Futurs, Projet select, Université Paris-Sud 11 † INRIA Futurs, Projet select, Université Paris-Sud 11 in ria -0 02 84 61 3, v er si on 2 4 Ju n 20 08 Un critère pénalisé non asymptotique pour la sélection de modèle de mélanges gaussiens Résumé : Des mélanges gaussiens de formes spécifiques sont considérés pour résoudre un problème de sélection de variables en classification non supervisée. Un critère pénalisé non asymptotique est proposé pour sélectionner le nombre de composantes du mélange et l’ensemble des variables pertinentes pour cette classification. Le contraste Kullback-Leibler ayant un comportement non linéaire sur les mélanges gaussiens, un théorème général de sélection de modèles pour l’estimation de densités par maximum de vraisemblance du à Massart (2007) est utilisé pour déterminer la forme de la pénalité. Ce théorème nécessite le contrôle de l’entropie à crochet des familles de mélanges gaussiens étudiées. Le cas des variables ordonnées et celui des variables non ordonnées sont tous deux considérés dans cet article. Mots-clés : Classification non supervisée, Mélanges gaussiens, Sélection de variables, Critère pénalisé, Entropie à crochet. in ria -0 02 84 61 3, v er si on 2 4 Ju n 20 08 A penalized criterion for Gaussian mixture selection 3

Topics

    0 Figures and Tables

      Download Full PDF Version (Non-Commercial Use)