Exorciser vos statistiques 2: combattre la débauche des modalités

Lors de mon précédent billet, je m’étais rapidement intéressé à quelques principes permettant d’éviter des problèmes de dimensionnalité liés à un grand nombre de variables. Cette fois-ci, je souhaiterais évoquer le cas où c’est le grand nombre des modalités de la variable qui pose problème.

Dans l'analyse des correspondances multiples (ACM), la contribution de chaque variable nominale à l’inertie diffère en fonction du le nombre des modalités de cette variable. Dans le cas où des variables possèdent  des modalités relativement nombreuses, on observe l’apparence de modalités peu fréquentes, aussi appelées « classes faibles ». Celles-ci posent rapidement problème, du fait qu’elles contribuent à l'inertie de la variable plus qu’elles ne devraient étant donné leur réel impact.  De ce fait, elles contribuent souvent bien trop fortement à la détermination des premiers axes factoriels – faussant ainsi la représentation des données.

Comment se sortir de ce problème ?  Que faire de ces modalités bien encombrantes ?

Tuez les toutes, Dieu reconnaîtra les siennes!

Encore une fois, l’une des manières simples de traiter ce problème est de supprimer les gêneurs, et donc, de ne pas s’intéresser à ces classes faibles. C’est ce que fait l'analyse spécifique des correspondances multiples, développée en particulier par la statisticienne française Brigitte Leroux [Le Roux B., 1999 ; Le Roux B., Rouanet H., 2004].

Pour éviter de fausser le calcul des inerties et donc des axes factoriels, on ignore sans autre forme de procès les modalités trop peu fréquentes dans le calcul des distances entre les individus .

Soyez plus pondéré mon ami...

Une approche alternative à cette première méthode, efficace bien qu’un peu brutale au premier abord, a été développée en 2009 par Odysseas Moschidis, de l’hôpital de Thessalonique (oui, décidément, nous dépendons beaucoup des biostatistiques).

Dans son article, O. Moschidis propose de maintenir malgré leurs inconvénients les modalités faibles dans les calculs de distance. Mais pour éviter de biaiser l’analyse, il change tout bonnement de métrique, remplaçant le traditionnel Ξ² par une nouvelle métrique, qui prend également en compte le nombre de modalités de chaque variable. Celle-ci s’écrit :

ai et aj sont les individus, m leurs caractéristiques communes, s le nombre total de caractéristiques communes, les lambdas et mus représentant les modalités respectivement exprimées par ai et aj pour une variable k .

L'originalité du calcul réside en fait dans le terme [1/(pk-1)], où pk  représente le nombre de modalités d'une variable k.

Du fait de ce terme, on traite tout de même les classes faibles, mais la surestimation de leur importance dans le calcul des axes est ici annulée par la pondération. Une approche simple mais astucieuse, qu'il peut être utile d'adopter.

Bibliographie

LE ROUX Brigitte, « Analyse spécifique d’un nuage euclidien », Mathématiques et Sciences humaines, 37, 1999.

LE ROUX Brigitte, ROUANET Henry, Geometric Data Analysis from Correspondence Analysis to Structured Data Analysis, Dordrecht-Boston-London, Kluwer Academic Publisher, 2004.

MOSCHIDIS Odysseas, "A Different Approach to Multiple Correspondence Analysis than that of specific MCA", Mathematics and Human Sciences, n°186, 2009


Florian CAFIERO

Ancien élève de l'Ecole Normale Supérieure, Florian Cafiero étudie l'histoire économique à l'université Paris-IV Sorbonne sous la direction de Dominique Barjot. Il enseigne les "traitements statistiques de corpus" aux Langues'O.

More Posts

Imprimer ce billet Imprimer ce billet

About Florian CAFIERO

Ancien élève de l'Ecole Normale Supérieure, Florian Cafiero étudie l'histoire économique à l'université Paris-IV Sorbonne sous la direction de Dominique Barjot. Il enseigne les "traitements statistiques de corpus" aux Langues'O.
This entry was posted in Statistiques and tagged , . Bookmark the permalink.

2 Responses to Exorciser vos statistiques 2: combattre la débauche des modalités

  1. Florian CAFIERO says:

    En effet, j'aurais dû l'évoquer, mea culpa... Plus qu'un survey, je voulais surtout présenter la solution de Moschidis, pas bien difficile non plus, et qui présente d'excellentes performances.

  2. Il existe une solution plus simple qui consiste à mettre en supplémentaire les modalités à faible importance numérique : c'est ce que j'ai développé dans le logiciel Trideux que beaucoup utilisent. Cf. aussi pour la mise en œuvre le "Que sais-je ?" 3782 Les méthodes d'analyse d'enquête.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Vous pouvez utiliser ces balises et attributs HTML : <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong> <embed style="" type="" id="" height="" width="" src="" object="" allowfullscreen="" allowscriptaccess="" cachebusting="" bgcolor="" quality="" flashvars=""> <iframe width="" height="" frameborder="" scrolling="" marginheight="" marginwidth="" src=""> <object style="" height="" width="" param="" embed=""> <param name="" value=""> <pre style="" name="" class="" lang="" width="">