Les bases de données que nous traitons en histoire, philologie, ou toute autre science intéressée au passé ont-elles une forme particulière ? A priori, étant donnée la diversité des sujets étudiés, des époques de référence, des problématiques dans lesquelles elles sont insérées, on serait tenté de répondre non. Pourtant, elles ont souvent un point commun. En effet, que cela soit dû à de la spécialisation poussée de nos recherches ou à la maigreur des sources à notre disposition (ce qui fut notre cas par exemple lors de nos travaux sur les vidas occitanes, qui ne sont pas légions), nous connaissons souvent énormément de choses, mais sur très peu d’objets.

Nos méthodes habituelles au purgatoire

Ceci n’est pas sans conséquence. Lorsque nous créons une base données à partir de notre sujet d’études, celle-ci prend souvent la forme d’une matrice très “étirée”:  peu d’individus en ligne, mais des caractéristiques remplissant d’innombrables colonnes. Les analyses de textes sont sans doute un des exemples les plus flagrants de ce fait. Nous travaillons ainsi assez souvent sur peu de textes ou de livres à la fois. Par contre, chaque mot différent pouvant devenir une caractéristique, on peut souvent compter des milliers de colonnes dans nos matrices. Cette forme particulière est un sérieux frein à l’usage de méthodes statistiques courantes – au point qu’on parle à propos de cette fâcheuse situation de “malédiction de la dimension”.

Cette malédiction prend plusieurs formes. La fiabilité des analyses factorielles devient par exemple vite éprouvée. En analyse géométrique, il s’agirait ainsi de projeter une petite poignée de points dans un espace au très grands nombres de dimensions, puis d’essayer d’en étudier la forme,  en deux dimensions…

Pour les régressions, c’est également l’enfer. Plus le nuage de points présente d’incomplétude, plus là aussi, la qualité des estimations va décliner, de nombreux et potentiellement fort différents modèles étant également plausibles pour expliquer la structure du nuage de points.

En réalité, la plupart des outils statistiques les plus communs ont été créés pour des situations dans lesquelles le nombre d’observations est très supérieur au au nombre de dimensions de l’espace, et ne sont donc que rarement pertinentes pour nos types de données. Pourtant, il n’est pas rare de voir ces outils utilisés dans nos disciplines… Une prise de conscience de ce type de problèmes est donc urgente et nécessaire.

Que faire ?

Sans rentrer dans les détails, voici quelques pistes à suivre dans ce genre de cas :

• Une première possibilité est de sélectionner des dimensions pertinentes, au détriment d’une analyse exhaustive des différentes caractéristiques des individus étudiés. Bien entendu, il peut-être difficile de déterminer ex ante les caractéristiques les plus pertinentes à exploiter. On notera par ailleurs que cette démarche n’est fondée que s’il existe des dimensions peu ou pas pertinentes ; si les dimensions sont nombreuses mais toutes pertinentes, les résultats que l’on obtiendra seront moins bons, malgré les problèmes liés à l’augmentation du nombre de dimensions.
• Dans la même idée de retirer de l’information non pertinente, on peut, selon le type de données que l’on gère et l’interprétation qu’on veut en faire, ne s’intéresser qu’à la position relative des points, et non à leur position absolue. Plutôt que d’utiliser une AFC, on calculera plutôt dans ce cas un “Multi-dimensional scaling” (MDS – désolé pour l’anglicisme, je ne connais pas d’équivalent français du terme).
• Un autre angle d’attaque peut être de changer de métrique, c’est-à-dire, de manière de mesurer les distances entre points. En particulier, le calcul “classique” des distances entre point via la métrique dite “euclidienne” est rarement optimal. En effet, quand le nombre de dimensions augmente, le mode de calcul euclidien a tendance à concentrer les distances autour d’une valeur moyenne. Des géométries moins intuitives, comme celle de Minkowski (visant originellement à décrire le monde einsteinien de l’espace-temps), ont des performances bien meilleures dans ces situations.
• Michael Verleysen, de l’Université Catholique de Louvain, présentait lors du séminaire organisé à l’Université Paris I (où il mettait justement en garde contre les dangers précédemment évoqués) l’intérêt de projections non-linéaires dans ce genre de cas. Il a ainsi développé une méthode visant en quelque sorte à “dérouler” les données : si par exemple, les données ressemblent en trois dimensions à un rouleau de papier, cette méthode, utilisant des projections curvilignes, transformera ce rouleau en une feuille de papier, plus simple à interpréter, et de moindre dimension.

Rappelons bien sûr que les régressions ou analyses factorielles peuvent marcher ;   il y a simplement de fortes chances, que dans le cas de données à faible effectif et à nombreuses dimensions, ces outils soient mis en échecs. Et dans ce cas, ces pistes sont à explorer…