MASHS 2012 – Modèles et Apprentissage en Sciences Humaines et Sociales – Paris, 4 et 6 juin 2012

L’appel à communication pour le cru 20121 du colloque Modèles et Apprentissage en Sciences Humaines et Sociales, qui se tiendra à Paris, à l’Université Paris 1 Panthéon-Sorbonne, les 4 et 5 Juin 2012, est paru. Vous le trouverez sur le carnet AnalyseSHS, ou sur le site du laboratoire Statistique, Analyse, Modélisation Multidisciplinaire (SAMM, EA 4543).

Le thème du colloque est l’application des mathématiques et des méthodes informatiques, et plus généralement de la modélisation, aux sciences humaines et sociales. Il est parrainé par la Société française de statistiques.

Call for paper, English version here.

  1. voir notre précédent billet concernant le cru 2011 []
Publié dans Journées d'études, Veille et publications | Marqué avec , | Laisser un commentaire

Louis Havet, Cesare Segre, critique verbale et diasystème

Dire clairement et fournir les outils pour penser ce que tout le monde croyait savoir est peut-être ce qui caractérise certaines avancées scientifiques. Dans deux articles publiés en 1976 et 1978, Cesare Segre définit ce qu’il nomme le « diasystème » des textes :

Segre (Cesare), « Critique textuelle, théorie des ensembles et diasystème », Bulletin de la classe des lettres et des sciences morales et politiques de l’Académie royale de Belgique, 62 (1976), p. 279–292.

———, « Les transcriptions en tant que diasystèmes », dans La pratique des ordinateurs dans la critique des textes, Paris, 1979, p. 45–49.

Cesare Segre et le diasystème

Revenons à la définition qu’il en propose :

(…) chaque texte littéraire constitue une structure. Cette structure est la réalisation d’un système linguistique et stylistique. (…) Qu’est-ce qui se passe si les retouches linguistiques et stylistiques ne sont pas apportées par l’auteur, mais par des copistes, des éditeurs, etc. ? Du point de vue théorique, il y a interférence de deux systèmes : celui de l’auteur et celui du copiste, de l’éditeur, etc. Le copiste maintient le système de l’auteur, dans la plupart des cas, de façon quantitativement remarquable, mais il y intervient pour réaliser au moins en partie son propre système (…). Les copistes médiévaux travaillent normalement entre deux pôles d’attraction : l’effort pour respecter l’exemplaire qu’ils copient et la tendance à suivre leurs propres habitudes linguistiques. Le résultat est un compromis linguistique ; et le philologue doit péniblement restituer l’aspect originel du texte à l’aide, par exemple, des rimes. Le résultat de cette Sprachmischung pourrait être défini, à mon avis, un diasystème. Le terme, créé par Weinreich désigne en « dialectologie », soit le super-système auquel on peut ramener deux systèmes similaires, soit le système qui naît d’un compromis entre deux systèmes en contact. Il me semble que le mélange linguistique représenté par les transcriptions médiévales constitue un type particulièrement développé et intéressant de diasystème, dans la seconde des deux acceptions données1.

Cette définition, qui renvoie à une réalité et un constat connu, ouvre, par sa théorisation, des horizons riches à la critique textuelle et à la stemmatique :

S’il est vrai, comme je viens de le suggérer, que les concepts de variante, de faute, de leçon équipollente rentrent dans les deux ensembles complémentaires des leçons authentiques et des leçons innovées, la connaissance du système stylistique propre à chaque copiste devient pour le philologue un nouvel instrument d’analyse. En effet, ce qui permettra de reconnaître l’affinité génétique entre deux ou plusieurs manuscrits ne sera plus seulement la présence de fautes communes, mais aussi le fait que ces manuscrits appartiennent au même système stylistique, qui n’est pas celui qui s’est réalisé dans l’œuvre. Chaque variante qui appartient à ce système peut être considérée comme une innovation, même quand elle est tout à fait plausible. Ce critère est particulièrement efficace dans le cas de textes où on décèle de véritables remaniements, plutôt que des fautes, par exemple dans les chansons de geste. (…) Dans le cas le plus simple, le diasystème sera le résultat du compromis entre le système du texte (S1) et le système du copiste (S2) : D = S1 + S2. Mais cette même copie sera à son tour recopiée par un autre copiste, avec son système (S3) ; il en résulte : D = (S1 + S2) + S3, et ainsi de suite. L’établissement du stemma coïncidera alors avec une stratigraphie des divers systèmes qui coexistent dans un texte. S’il est vrai que la dichotomie représente la majorité statistique des possibilités stemmatiques, on est autorisé à conclure que le philologue arrivera à travailler dans la plupart des cas sur deux diasystèmes, ceux des sous-archétypes, et que par leur comparaison, il pourra chercher à restituer l’image de l’archétype (ou de l’original)2.

Mais la force de la théorie de Segre est qu’elle ne se borne pas à souligner l’existence de deux systèmes concurrents, qui seraient clairement séparables et où l’on pourrait toujours dégager ce qui relève de l’un ou de l’autre, mais elle met également en valeur les interférences, les compromis, issus de la mise en contact des deux :

Chaque transcription constitue donc une sorte de « créolisation » du texte. (…) Le dépouillement linguistique qui accompagne d’habitude les éditions critiques ne fait que préciser le mélange entre la langue ou le dialecte de départ et les particularités linguistiques propres au copiste, ou à la série de copistes qui se sont succédés. Souvent, dans des analyses plus subtiles, on arrive à déceler aussi des phénomènes d’interférence, autrement dit des solutions de compromis entre les langues en contact3.

et, pour reprendre la citation de Vogt que donne Segre :

« Tout enrichissement ou appauvrissement d’un système comporte nécessairement la réorganisation de toutes les oppositions distinctives précédentes. Admettre qu’un élément donné soit simplement ajouté au système qui le reçoit sans y provoquer de conséquences signifie détruire l’idée même de système ».

Pour résumer, « Il ne s’agit pas de détecter des fautes et des déformations, mais de découvrir les effets du compromis entre deux ou plusieurs systèmes », perspective qui toutefois « ne compromet pas les méthodes ecdotiques » mais « écarte une idée trop simpliste de la reconstruction du texte. En effet, s’il est toujours permis de corriger les fautes d’un texte donné, par contre les autres variantes réclament un jugement qui soit fondé sur l’évidence du contexte, tout autant que sur la cohérence des diasystèmes en concurrence » et permet au contraire « d’appliquer les procédés de l’analyse linguistique des textes (fondés sur des considérations d’ordre statistique et probabiliste) à l’étude des variantes de contenu (affronté d’ordinaire par une problématique binariste) »4 .

Louis Havet et la critique verbale

Voilà qui nous permet d’aborder avec une regard renouvelé le travail magistral entrepris par Louis Havet, et publié dans son Manuel de critique verbale appliqué aux textes latins, travail qui, chez les romanistes, n’a pas nécessairement toujours eu bonne réputation5. Il faut pourtant faire justice aux constatations de bons sens, qui n’ont, pour certaines, aucunement perdu de leur actualité, que Havet livre dans son introduction.

Tout d’abord, contre les correcteurs qui auraient la main leste, il multiplie les avertissements, et s’il écrit en « subordonnant les corrections aux fautes », c’est parce qu’une « correction ne vaut que par sa traduction en l’énoncé d’une faute » ; et ces fautes doivent être caractérisées par des « indices de faute », à distinguer des « licences de métrique » et des « fautes d’auteur » ; cela doit nous mener à « donner sa pleine valeur à un principe souvent oublié et violé dans la pratique, celui de la concordance des indices de faute. C’est ce principe (…) qui introduit dans la constatation des fautes un élément objectif ». Faisant de son ouvrage une « protestation contre un simplisme mensonger », il rappelle en outre que la critique verbale doit s’appuyer sur des connaissances linguistiques et stylistiques pointues, et il évoque ainsi notamment la « métrique dramatique » (nous soulignons) :

Au lieu d’expliquer tels phénomènes par quelque suggestion du grec, ou bien par une influence prétendue de la phonétique latine, j’y vois les effets d’une nécessité terre à terre et toute pratique, celle de faciliter la récitation de l’acteur en guidant sa mémoire et sa voix. Une démonstration ne serait possible qu’après de longs travaux préparatoires de statistique comparative6.

En mettant en avant l’étude des fautes en elles-mêmes, Havet ouvre la voie à l’étude des systèmes des scribes et à une meilleure connaissances des phénomènes propres à la transmission manuscrite des textes. Il est extrêmement regrettable qu’il n’y ait pas eu, dans le domaine de la romanistique, d’ouvrage équivalent à celui entrepris par Havet. Un travail qui serait sans doute difficile, mais pas hors de portée, et dont on ne saurait, finalement, se dispenser ; les risques d’un raisonnement systématiquement spécifique, sans effort de théorisation générale, n’étant pas moins grands que ceux d’un raisonnement d’ensemble qui néglige les spécificités de chaque cas. Nous ne pouvons, en la matière, qu’applaudir aux propos tenus par Robert Marichal, en conclusion du colloque de 1978 consacré à La Pratique des ordinateurs dans la critique des textes :

Les latinistes ont le Manuel de critique verbale de Havet – il n’intéresse pas seulement d’ailleurs les latinistes et je connais un assyriologue qui en fait le plus grand cas –, mais ils l’utilisent souvent mal, comme un réservoir de corrections, au lieu, comme Havet le souhaitait, de l’étudier et de l’enrichir. Pour la langue vulgaire, nous n’avons rien. (…) J’ai essayé d’adapter à l’ancien français les analyses de Havet et j’ai accompagné, en 1956 et 1970, deux éditions d’un catalogue, ébauches très imparfaites et très incomplètes, en particulier parce que les textes étaient courts, les fautes donc peu nombreuses : deux mille seulement se répartissant en moins de cent catégories. C’est donc tout à fait insuffisant, mais c’est un premier pas que j’accomplissais dans l’espoir, fortement teinté de sceptiscisme, que certains m’imiteraient : je n’ai été suivi par personne, pas plus d’ailleurs que ne l’avait été Havet lui-même, en 1925, dans son édition de l’Asinaria. Je n’en suis pas étonné : c’est un travail long et fastidieux, démoralisant parce qu’il est très complexe ; il requerrait d’ailleurs la collaboration d’un psychologue. Mais il ne paraît pas douteux qu’un gros catalogue, bien fait, fondé sur de nombreux textes variés, nous donnerait une compréhension beaucoup plus profonde de la psychologie d’un copiste et permettrait d’aboutir à une pondération statistique des variantes, dont plusieurs d’entre vous ont d’ailleurs déjà parlé7.

Cet impératif demeure ; tout comme le regret que le principe d’un « catalogue des fautes » ne se soit pas imposé comme partie légitime de toute édition critique, qu’on lui préfère ou non le nom de census des phénomènes du système du copiste8.

Robert Marichal lie d’ailleurs l’élaboration de ces catalogues à la question, alors fraîchement énoncée, de la caractérisation des systèmes des scribes, nécessairement complétée par une étude codicologique et paléographique approfondie : « Plus profondément, par cet examen [des fautes et des aspects codicologiques] on peut espérer tracer, comme on dit aujourd’hui, le profil, plus ou moins caractérisé, bien sûr, d’un copiste, découvrir son propre code, son système, différent de celui de l’auteur et, par conséquent, décrypter ces diasystèmes dont M. Segre nous a montré l’importance et dont l’étude peut dépasser l’ecdotique pour aborder les secrets de la création (…). »9.

Apports à la stemmatique

Revenons un instant à nos moutons stemmatiques : un des enjeux essentiels des critiques apportées aux méthodes statistiques de stemmatologie, dont très notablement celle de Dom Quentin, est d’être, justement, trop « statistiques », en refusant dans un premier sens le jugement de qualité des variantes, et en reportant l’orientation du stemma à une étape ultérieure, après l’établissement des liens entre les manuscrits. Retour de fait à l’empirisme et à son postulat que « communauté de leçon implique communauté d’origine ». Voilà qui a de quoi faire bondir tout adepte de la méthode de Lachmann, pour qui « communauté d’erreur implique communauté d’origine », et ce encore si et seulement si cette erreur est de celles qui n’ont pu être commises indépendamment par deux scribes, ou rattrapées par un copiste un peu habile.

Les méthodes de stemmatologie purement statistiques peuvent vraisemblablement être en ce sens à profit remplacées par des méthodes algorithmiques. Cette donnée a bien été notée depuis un certain temps par les stemmatologues et fait même l’objet d’un projet de recherche spécifique, le projet STAM (Algorithmic Methods in Stemmatology).

C’est par là, bien sûr, que cette question rejoint le diasystème et la critique verbale ; car face à cette nécessaire hiérarchisation des variantes, et aux typologies de faute qui font transpirer les stemmatologues, si l’on peut certes choisir de faire appel au jugement critique du philologue (qui est, toujours, absolument indispensable comme le note Jean-Duplacy10), émerge la nécessité de s’appuyer sur une connaissance fine des mécanismes de transmission des textes, des facteurs de faute ou des causes de variation, pour concevoir des outils philologiques et mathématiques permettant d’estimer la chance qu’à une leçon de constituer une erreur séparative, la probabilité qu’elle a d’appartenir au système du scribe ou à celui de l’original, etc.  Et pour ce faire, partir de l’existant : la caractérisation et l’identification de ce qui forme le système du scribe – ou les systèmes des scribes successifs11.

Ce fondement établi, il sera alors possible de proposer des méthodes, à la fois algorithmiques et statistiques, qui permettront de dégager les stemmas possibles, et d’estimer, pour chacun et de manière relative, la probabilité d’être le bon12.

Peut-être est-il alors possible de relire l’interrogation formulée par Frédéric Duval, « Quel éditeur pourra juger du degré de confiance à placer dans des algorithmes complexes, dont il ne maîtrise pas les soubassements ? »13, en disant qu’il nous faut considérer le chemin à faire comme le prolongement de la philologie par des méthodes mathématiques, plutôt que l’application de méthodes mathématiques à la philologie14.

  1. C. Segre, « Critique textuelle, théorie des ensembles et diasystème », Bulletin de la classe des lettres et des sciences morales et politiques de l’Académie royale de Belgique, 62 (1976), p. 279–292, aux p. 283-285. []
  2. Ibid., p. 286. []
  3. Id., « Les transcriptions en tant que diasystèmes », dans La pratique des ordinateurs dans la critique des textes, Paris, 1979, p. 45–49, à la p. 46. []
  4. Ibid., p. 45. []
  5. Voir notamment B. Cerquiglini, qui le qualifie de « traité de criminologie et manuel de psychologie clinique du scribe » Bernard Cerquiglini, « Eloge de la variante », Langages, 17 (1983), p. 25-35, à la p. 30, terme d’ailleurs proche de celui employé par Havet, qui dit de son ouvrage qu’il « ressemble à une Pathologie plutôt qu’à une Thérapeutique », pour insister sur le fait qu’il subordonne les corrections aux fautes, et que ce sont ces dernières qui sont au cœur de son ouvrage. []
  6. Louis Havet, Manuel de critique verbale appliqué aux textes latins, Paris, 1911, p. XII-XIII. []
  7. Robert Marichal, « Conclusions du colloque », dans La Pratique des ordinateurs dans la critique des textes, cit.,  p. 285-288, à la p. 287. []
  8. Il faut toutefois citer les deux éditions où Marichal a livré un catalogue de fautes, La navire ou consolation du Roi François Ier à sa soeur Marguerite, Paris, 1956, et  Marguerite de Navarre, La Coche, Genève et Paris, 1971 ; ainsi que la liste donnée dans École nationale des chartes, Groupe de recherches « Civilisation de l’écrit au Moyen Âge », Conseils pour l’édition des textes médiévaux, Fascicule II, Actes et documents d’archives, Paris, 2001, p. 25-30 []
  9. Ibid., p. 288 []
  10. Rappelant que « le rôle d’une philologie éclairée est bien entendu essentiel », il note que « Avant tout calcul taxinomique, manuel ou automatique, le philologue rencontre un certain nombre de problèmes préalables qui sont fondamentalement de son ressort, même quand leur solution comporte un recours aux mathématiques et à l’informatique » ; Jean Duplacy, « Préalables philologiques à la classification automatique des états d’un texte », dans La pratique des ordinateurs dans la critique des textes, Paris, 1979, p. 23-33. []
  11. En la matière, au-delà du domaine de la stemmatologie, les innovations dans le domaine de l’authorship attribution ou de l’identification de séquences aberrantes dans des textes peuvent nous être utiles. Si l’on est en mesure de dégager le système des scribes des différents manuscrits, on peut proposer une approximation, du système du modèle, de l’archétype ou, disons-le, de l’original. Et de là, nous disposons d’outils qui nous permettront d’estimer la probabilité qu’à une leçon d’appartenir à l’un des deux. []
  12. Cela correspondrait aux remarques formulées par Humphrey Palmer, sur la nécessité de ne pas se contenter de proposer un stemma probable, mais de prouver qu’il est le seul possible, ou de savoir qu’il ne l’est pas ; Humphrey Palmer, « Proving uniqueness in a pedigree of manuscripts », dans La Pratique des ordinateurs…,  p. 185-189. []
  13. Frédéric Duval, « Conflit d’interprétations : typologie des facteurs de choix éditoriaux », dans Les enjeux intellectuels des pratiques d’édition (Paris les 4, 5 et 6 mai 2011), Paris, 2011. []
  14. Voir notamment les remarques de Alexander Kleinlogel, « The application of numerical methods to manuscript classification and genealogy has in general been confined to a transfer of quantitative techniques developed for other disciplines. The question of their theoretical adequacy in the domain of textual criticism and of their compatibility with the inherent logical structures has hardly ever been raised or answered…»., « Fundamentals of a formal theory of manuscript classification and genealogy », dans La Pratique…, p. 193-205, à la p. 193. []
Publié dans Modélisation | Marqué avec , , | Laisser un commentaire

Le scandale du stemma contaminé. Note sur l’usage des cardiogrammes en philologie.

 Lorsqu’il s’intéresse à une tradition textuelle, le philologue peut parfois rester perplexe. En effet, la situation rêvée dans laquelle un texte serait transmis de génération en génération, sinon à l’identique, du moins de manière linéaire (A recopie sur B, qui lui même recopiait sur C etc.), ne se réalise pas nécessairement. Il arrive ainsi qu’un texte ait été copié, non à partir d’une seule source, mais qu’un passage de ce texte soit recopié à partir d’une source, le suivant d’une autre source etc. On parle alors de contamination de la tradition, et plus précisément dans le cas que nous évoquons de contamination successive.

Pour comprendre la généalogie des manuscrits d’un texte, ce qu’on appelle le stemma codicum, il faut dans ce cas découper le texte en fonction  des diverses sources qu’il a pu utiliser. C’est là qu’interviennent nos cardiogrammes.

Même silhouette, même famille

Mais pourquoi diable utiliser des cardiogrammes en philologie ? L’idée, développée par les philologues néerlandais Wattel et Van Mulken, est d’utiliser cet outil comme forme de représentation graphique des distances entre les versions d’un texte.

La marche à suivre pour construire ces cardiogrammes est en fait assez simple. On prend comme point de référence une version, par rapport à laquelle toutes les autres versions seront comparées. Notons que, bien évidemment, le choix de cette version de référence est absolument indifférent, et que la terminologie « de référence » ne renvoie en aucun cas à quelque chose comme : la version la plus ancienne, la version la plus complète etc. Il s’agit seulement de définir arbitrairement un étalon.

On va ensuite comparer, ligne par ligne, ou page par page (en tout cas, unité de texte par unité de texte) la similarité observée entre cette version et chacune des autres. Pour cela, on liste exhaustivement les variantes observées dans les différentes versions étudiées. Et on calcule le nombre de fois par unité de texte choisie où apparaît une variante par rapport au texte de référence. Remarquons que l’on peut bien sûr pondérer ce calcul en fonction du type de variante, considérant qu’un changement de terminaison est x fois moins significatif qu’un remplacement total du mot utilisé. Nous reviendrons sur la question – épineuse – des pondérations en fonction du type de variante en stemmatologie dans un autre billet. Quel que soit donc son mode de calcul, ce nombre est alors transformé, normalisé, pour devenir une sorte de pourcentage de similarité ou de dissimilarité. Si les textes sont identiques tout au long d’une unité, on code +100% leur état ; s’ils sont aussi dissemblables que possibles, on code leur état -100%.

Sur le graphique ci-dessus, représentant le graphique obtenu selon la méthode que nous venons d’énoncer pour les différents manuscrits du Charroi de Nîmes, on peut ainsi se faire une idée de la similarité de ces manuscrits, et de leurs points communs éventuels. On voit par exemple que le manuscrit représenté par la quatrième ligne en partant du haut doit être très proche du manuscrit “de référence”: cette ligne est toujours haute (c’est à dire près de 100%), et plutôt droite (trois petits pics descendants dans la deuxième moitié du texte). On remarque aussi que 4 manuscrits représentés en bas du graphique sont représentés par un tracé quasi-identique: ils ont les mêmes dissemblances avec le texte de référence, et sont donc probablement de la même lignée.

Le cardiogramme

On peut ensuite représenter cette information un peu différemment – c’est ce qui constituera à proprement parler le cardiogramme – pour étudier, non pas la similarité globale, mais les différents points de rupture qui interviennent dans le texte, pour repérer l’éventuelle contamination successive.

L’idée est de filtrer l’information contenue dans le précédent diagramme pour ne retenir que les chocs les plus violents – ceux qui pourraient indiquer, au-delà d’une petite ingérence ou d’erreurs minimes d’un copiste, une rupture dans la source copiée, une trace de cette « contamination  successive » dont nous parlions au tout début. Ces chocs, plus précisément appelés « ondes de choc » (« shock waves »), ou « battements de cœur » (« heart beats ») pour filer la métaphore médicale, sont isolés en ne retenant du précédent graphique que les variations les plus brutales, et en renormalisant non sur échelle -100% / 100%, mais sur une échelle de 0 à 1. Ce choix de normalisation correspond au fait que l’on ne s’intéresse qu’à la valeur absolue du changement, et non à son sens : peu importe que l’on se rapproche ou s’éloigne du texte de référence, ce qui compte est qu’un fort changement a lieu – indiquant un passage probablement inspiré d’une autre source que celle du passage précédent.

 

Ce graphique représente le cardiogramme associé aux manuscrits de tout à l’heure. Ils permettent de visualiser les changements cruciaux dans chacun des textes – à chaque pic correspondant un changement possible de main, de source etc.

Pourquoi des cardiogrammes ?

On pourrait bien évidemment imaginer d’autres moyens statistiques pour obtenir les mêmes conclusions. On peut d’ailleurs totalement se passer de visualisation, et simplement compter, par unité de texte,  les variations par rapport au texte de référence, éventuellement les pondérer, et ne  considérer le chiffre obtenu comme significatif qu’à partir d’un certain seuil, au-delà duquel on considère que le passage a de fortes chances d’être tiré d’une source différente. C’est finalement là toute la démarche des cardiogrammes. Est-ce à dire que les cardiogrammes sont des gadgets ?

L’usage montre en fait que ces visualisations ont une portée heuristique évidente. Elles permettent de voir d’un coup d’œil les manuscrits venant d’une même filiation, et d’isoler les ruptures dues à contamination successive. Bien sûr, on pourrait repérer toutes ces ruptures à l’aide d’un algorithme quelconque. Il n’en reste pas moins que les cardiogrammes sont, si on tient à se faire par soi-même une idée de la tradition que l’on étudie, la visualisation la plus intelligente actuellement proposée.

Bibliographie

DEN HOLLANDER A.A., “How shock waves revealed successive contamination. A cardiogram of early sixteenth-century Dutch Bibles.” in VAN REENEN P., DEN HOLLANDER A.A, VAN MULKEN M.J.P. (Eds), Studies in Stemmatology 2 (pp.99-112), Amsterdam: John Benjamins, 2004

WATTEL E., VAN MULKEN M.J.P., “Schock Waves in Text Traditions, Cardiograms of the Medieval Litterature”, in VAN REENEN P., VAN MULKEN M.J.P. (Eds), Studies in Stemmatology (pp.105-121), Amsterdam: John Benjamins, 1996

 

Publié dans Statistiques | Marqué avec , , | 2 commentaires

Comment buvait-on chez Al Capone? Observer l’inobservable 2

Observer l’inobservable : tel était l’ambitieux agenda de notre précédent billet. Aux incrédules qui refuseraient d’imaginer qu’une telle magie puisse opérer, nous proposons une petite démonstration de ce tour de passe-passe. Le défi que l’on se propose ici n’est pas si mince : retracer la consommation d’alcools des Américains pendant la période de la Prohibition.

Durant cette période, en effet, il n’est plus possible de suivre cette consommation par les moyens habituels : l’alcool qui circule n’est évidemment pas soumis à un contrôle de l’Etat, ni à ses prélèvements obligatoires. De la sorte, il n’existe plus de statistiques fiables sur l’alcool produit et consommé dans le pays. Or, ces données seraient cruciales pour l’historien de la période, qui ne peut ni se faire une idée de l’efficacité de la politique anti-alcool des différents Etats américains, ni prendre une réelle mesure de l’économie souterraine liée aux trafics d’alcool, ni même vérifier l’adhésion réelle des Américains à ces mesures qu’ils ont fait voter.

Votre vue se trouble ? Prenez donc une petite proxy !

Pour résoudre ce problème, Jeffrey Miron, actuellement professeur au Massachussets Institute of Technology, a commis une série d’articles avec différents co-auteurs, visant à isoler une variable, ou un ensemble de variables, qui permettraient de suivre la consommation de boissons alcoolisées des Américains pendant cette période troublée.

Dans un article de 1991 [Miron, 1991], Miron a ainsi testé quatre indicateurs potentiels de la consommation d’alcool aux Etats-Unis: la mortalité due à la cirrhose, la mortalité enregistrée par les médecins comme étant directement due à l’alcool, les arrestations sur la voie publique pour « état d’ébrieté », et les maladies mentales causées par la consommation d’alcool – indicateurs pour lesquels on peut trouver des données fiables tout au long du siècle.

Pour chacune de ces variables, ils ont testé une relation de la forme :

avec :  

Yt un des 4 indicateurs au temps t, 

Xt la consommation d’alcool au temps t,

α, β, γ des constantes,

t un indice de tendance,

εt le résidu.

L’indicateur pour lequel la régression donne les meilleures performances (en particulier, celle où la variance expliquée R² est la plus élevée) sera choisie. De manière surprenante, la variable expliquant le mieux la consommation d’alcool à un temps t se révèle être le nombre de morts par cirrhose au même temps t. Médicalement, ce constat est très surprenant : une cirrhose est le résultat d’une consommation régulièrement excessive d’alcool, elle met du temps à se déclarer. C’est donc une variable décalée (la mort par cirrhose en t+5 ou 6) qui devrait donner les meilleures performances. Pourtant, il n’en est rien, et ceci semble même être une constante internationale sur ce siècle, comme l’ont montré et Miron et Dills dans leur article de 2003. [Dills, 2003]

Grâce à cette relation solide, on peut déduire la consommation d’alcool des Américains pendant la période. Il semblerait que la Prohibition n’ait en réalité fait diminuer la consommation que très peu de temps, et à très faible échelle, avant que la consommation ne remonte impitoyablement, jusqu’à la suppression des lois anti-alcool.

De l’eau dans notre vin

Bien évidemment, ce type d’études ne peut pas remplir les promesses impossibles de notre titre. On ne fait ici qu’inférer l’inobservable, on ne l’observe pas. On comprend toutefois l’intérêt de ce genre de méthodes, qui ne prédit probablement pas parfaitement l’état inobservable, mais qui donne, suite à un raisonnement rigoureux, un ordre de grandeur fiable. L’estimation, même imprécise, est d’un intérêt certain, surtout lorsqu’elle révèle, comme c’est le cas dans les études de Miron et de ses co-auteurs, des résultats assez contre-intuitifs. Nul doute que ce type d’étude donne à penser pour les historiens de la période.

Bibliographie

DILLS A.K., MIRON J., “Alcohol prohibition and cirrhosis”, NBER Working Paper Series, Cambridge, 2003, MIT Press

MIRON J., “Alcohol consumption during prohibition”, NBER Working Paper Series, Cambridge, 1991, MIT Press

 

Publié dans Statistiques | Marqué avec , | Laisser un commentaire

TEI, LaTeX et les éditions critiques sur papier : I. Les différents packages

En matière d’édition critique électronique, la norme qui semble aujourd’hui s’imposer suppose l’emploi du XML TEI. Mais, pour la version papier de cette même édition — on peut après tout souhaiter disposer également d’une version papier, ne serait-ce que parce que c’est ce qu’attendent les jurys de thèse et une bonne partie des futurs lecteurs —, quelles possibilités s’ouvrent à nous ? Y a-t-il une possibilité d’obtenir une version papier répondant aux normes de l’édition (et incluant notamment un apparat sur plusieurs étages) sans employer des logiciels de mise en page tels que InDesign, Scribus et apparentés, et en conservant une forme d’encodage sémantique ?

Dans beaucoup de cas, la solution passe par l’utilisation du logiciel LaTeX1. Ce logiciel, qu’il n’est plus besoin de présenter, permet, au travers d’un encodage en partie sémantique de profiter des riches possibilités de mise en page et des algorithmes du langage TeX de Donald Knuth. Il existe un certain nombre de modules complémentaires (packages) pour LaTeX répondant aux normes d’une édition critique.

Les différents packages

Ednotes

Ednotes2, de Uwe Lück, combine deux modules préexistants permettant d’obtenir un texte numéroté (lineno.sty) et des notes sur plusieurs étages (manyfoot) avec renvoi à la ligne. Ce module remplit ces missions fondamentales, mais ne tente pas d’aller plus loin dans les éléments propres à une édition critique (index et glossaire, etc.) et ne possède pas, pour l’instant de documentation unifiée.

Poemscol

Poemscol3, de John Burt, est spécialement dédié aux éditions de recueils de poèmes, et est conçu pour répondre aux normes de la Modern Language Association’s Committee on Scholarly Editions. Il permet un apparat sur plusieurs étages, ou bien encore signale automatiquement les sauts de page à l’intérieur d’une strophe, et a de nombreuses autres possibilités. Il est néanmoins probablement moins utilisé que Ledmac, pour un certain nombre de raisons4.

Comme exemple d’une édition publiée avec Poemscol, on pourra se reporter à John Burt (éd.), The collected poems of Robert Penn Warren, LSU Press, 1998 [Google books preview].

MauroTeX

Le projet MauroTeX5, que je ne connais pas très bien, semble également particulièrement intéressant : il permet, à partir d’un encodage qui lui est propre, d’obtenir, via TeX, une sortie pdf et html répondant aux critères fixés pour le projet d’édition des œuvres de Francesco Maurolico (1494-1575). Conçue pour répondre aux besoins d’un projet particulier, et datant désormais de quelques années, il s’agit d’un très bon exemple de ce qu’on peut faire avec LaTeX pour produire une édition à la fois en ligne et sur papier.

Ledmac

Ledmac (et ses affides Ledpar et Ledarab) est vraisemblablement le module complémentaire le plus utilisé en la matière et le plus complet6.

À l’origine de Ledmac, il y a trois ensemble de macros pour TeX : EDMAC, visant à permettre une mise en page répondant à l’exigence d’éditions critiques telles que celles des Oxford Classical Texts, de Teubner, ou autre ; TABMAC, pour les tableaux ; et EDSTANZA pour la mise en page de textes en vers. Le premier objectif de Ledmac était d’importer ces différentes macros de TeX à LaTeX, ce à quoi les développeurs de Ledmac ont ajouté de nouvelles fonctionnalités qui n’existaient pas dans leur modèle.

Fonctionnalités de Ledmac

Les fonctionnalités de Ledmac sont nombreuses, et on manquerait de place pour toutes les détailler ici. Pour en donner un aperçu, notons que Ledmac permet :

  • de numéroter un texte en prose ou en vers ;
  • de gérer l’indentation d’un texte en vers, vers par vers ;
  • de disposer de 5 étages de notes de bas de page avec renvoi à la ligne ;
  • de disposer de 5 étages de notes de fin, avec renvoi à la page et la ligne ;
  • de disposer de 3 étages de notes de bas de page avec appel de note ;
  • de choisir si l’on souhaite mettre en page ces notes sous formes de paragraphes, d’un paragraphe unique, ou sur deux ou trois colonnes ;
  • de redéfinir le lemme employé par la note si on le souhaite ;
  • de disposer de notes marginales ;
  • de disposer d’un (ou plusieurs) index et/ou glossaires, avec renvoi à la page et à la ligne, entrées et sous-entrées, renvois, etc.
  • en y ajoutant Ledpar, de disposer du texte en parallèle, sur deux colonnes ou deux pages, avec une correspondance exacte entre les deux textes, pour une édition/traduction ou une édition synoptique ;
  • de mettre en page des tableaux dans le cadre du texte numéroté (pour les éditions de textes techniques, par exemple).

En outre, Ledmac est bien sûr open source et sous The LaTeX Project Public License (lppl)  et la documentation inclut le code commenté du package : il est donc assez aisé de l’adapter à ses propres besoins. Parmi les modifications locales que l’on peut faire assez facilement, on notera qu’on peut :

  • créer de nouveaux étages de notes de bas de page ou de fin (si les 13 fournis ne suffisent pas…) ;

  • modifier l’ordre dans lequel les étages de notes vont être placés en bas de page (notes avec appel de notes placées avant ou après les notes d’apparat critique) ;

  • modifier l’indexation page-ligne pour, par exemple, modifier le séparateur page-ligne ou pour n’indexer les termes qu’à la ligne ou au vers ;

Exemple d’utilisation

Pour présenter un bref exemple d’utilisation de Ledmac, voici ce que donne un passage d’édition :

premier exemple LedmacOn peut également (ce n’est pas forcément conseillé pour un certain nombre de raisons) redéfinir (en préambule) le nom des commandes pour obtenir des noms qui aient plus de sens, et se retrouver par exemple avec un code tel que : Deuxième exemple LedmacCe qui, dans les deux cas, pourra donner :

Exemple de résultat de Ledmac sur une mini-page  De nombreuses thèses ou éditions critiques publiées ou en cours de publication ont été faites avec Ledmac, dans le monde anglo-saxon, mais aussi ailleurs, en France notamment7.

En conclusion : et la TEI dans tout ça ?

Et la TEI dans tout ça ? Faut-il encoder deux fois son édition, en XML TEI puis en LaTeX ? Peut-on, à partir d’un document TEI, obtenir un code LaTeX exploitable ?

De nombreuses initiatives existent pour la conversion de documents XML en LaTeX : le sujet à fait l’objet d’un cahier Gutenberg8, d’un billet de Lou Burnard sur le carnet Foxglove (Tweaking the Agora Stylesheets – 1, http://foxglove.hypotheses.org/272) et  de diverses expérimentations en cours (je suis d’ailleurs preneur de toute information sur ces initiatives, en commentaire de ce billet ou par mail).

À vrai dire, la question du passage de TEI à LaTeX mériterait un billet en soi, qui suivra peut-être !

 


  1. Voir notamment notre compte-rendu de l’atelier organisé par l’École nationale des chartes, Du texte à l’écran : L’édition de textes à l’heure de l’électronique [http://graal.hypotheses.org/95] sur ce même carnet. []
  2. Uwe Lück, ednotes.sty’ : for critical editions with LaTeX, 2006 [en ligne : http://ftp.oleane.net/pub/CTAN/macros/latex/contrib/ednotes/ednotes.pdf]. []
  3. Voir John Burt, Typesetting Poetry Collections with poemscol, 2011 [en ligne : http://ftp.oleane.net/pub/CTAN/macros/latex/contrib/poemscol/poemscol.pdf]. []
  4. Pour un débat sur Poemscol et sa comparaison avec Ledmac, voir notamment la discussion suivante sur comp.text.tex, http://compgroups.net/comp.text.tex/ledmac-and-critical-epic-poetry-without-stanzas et particulièrement l’intervention de John Burt. []
  5. Voir Jean-Pierre Sutto, Il Mauro-Tex, (traduction française disponible également), http://www.maurolico.unipi.it/mtex/mtex.htm. []
  6. Voir Peter Wilson et Herries Press , ledmac’ : A presumptuous attempt to port EDMAC, TABMAC and EDSTANZA to LaTeX, based on the original work by John Lavagnino, Dominik Wujastyk, Herbert Breger and Wayne Sullivan , [en ligne : http://ftp.oleane.net/pub/CTAN/macros/latex/contrib/ledmac/ledmac.pdf] []
  7. Pour la France, on citera la thèse de doctorat en cours de publication d’Anne Rochebouet, ‘D’une pel toute entiere sans nulle cousture: la cinquième mise en prose du “Roman de Troie” de Benoît de Sainte-Maure, édition critique et commentaire, doctorat, Université de Paris Sorbonne (Paris IV), 2009 ; pour les Pays-Bas, voir aussi les éditions de Dirk-Jan Dekker et notamment, « Iohannis Buridani De Dependentiis, diversitatibus et convenientiis [John Buridan’s Treatise de Dependentiis] », Vivarium, 42 (2004), p. 115-149 [URL : http://search.ebscohost.com/login.aspx?direct=true&db=aph&AN=14593067&site=ehost-live, DOI : 10.1163/1568534042066983]. []
  8. 51, octobre 2008 (paru en avril 2010) : LATEX vers XML : un état des lieux [http://cahiers.gutenberg.eu.org/cg-bin/feuilleter?id=CG_2008___51]. []
Publié dans Encodages | Marqué avec , , , , , , , | 3 commentaires

Observez l’inobservable: la magie des proxys

Pour les spécialistes d’époques lointaines, ou pour ceux qui s’intéressent à une histoire plus récente, mais néanmoins troublée, il n’est pas rare de ne disposer que d’une information lacunaire sur tel ou tel point ou période que l’on voudrait étudier. De ce fait, les bases de données que nous utilisons sont régulièrement entachées de vides, de “.”, ou de “NC”, mentions aussi disgracieuses qu’agaçantes. Souvent, il n’y a cependant pas de quoi s’alarmer: si les valeurs manquantes sont réparties aléatoirement dans la base de données, on peut poursuivre notre étude sans dangers. Si quelques passages d’un texte ont été effacées par-ci par-là, selon les caprices du temps et de l’encre, pas d’inquiétude. Si un fonctionnaire peu scrupuleux a oublié de noter de temps en temps une valeur dans les tables qu’il se devait de remplir, aucun souci. Mais que faire lorsque ces informations manquantes ne sont pas le fruit du hasard ? S’il manque un passage entier dans nos données, ou une séries de valeurs ayant une cohérence particulière, tous nos calculs ultérieurs s’en trouvent faussés. Comment alors combler ces manques ? On propose ici d’étudier rapidement une méthode classique face à ce genre de défaillances de nos connaissances: l’usage de “proxys”.

Définition d’une proxy

Bien entendu, les proxys dont nous parlons ici n’ont rien à voir avec les serveurs intermédiaires que vous utilisez pour accélérer ou sécuriser votre navigation web. Une proxy est en fait une variable particulièrement étroitement corrélé à une variable d’intérêt, quelque soit d’ailleurs la nature de cette corrélation. Son utilité est évidente: quand on ne peux plus observer notre variable d’intérêt, faute de données, on utilise sa variable proxy, dont on connaît le lien avec notre variable d’intérêt.

Supposons ainsi que je m’intéresse à l’histoire des famines dans une région donnée, et que je ne peux plus observer pendant un temps la production de blé – suite à une période de trouble, les taxes sont mal collectées, et la production plus mal mesurée que d’habitude. Comment puis-je faire pour continuer à observer l’évolution de cette production ? Pour ce faire, je vais tester la corrélation entre cette variable d’intérêt, la production de blé, et les autres variables que j’ai à ma disposition: conditions météorologiques, prix du pain, etc. Si je réussis à établir une relation régulière dans le temps entre l’une de ces variables et la production de blé, je vais pouvoir déduire la valeur de cette production pendant mon époque trouble grâce à l’autre variable que j’observe encore.  Si je peux par exemple établir qu’il existe une relation du type:

production de blé au temps t = f (prix du pain au temps t+1)

alors, je pourrais, quand me manquent des valeurs de la production de blé, calculer f(prix du pain en t+1) et estimer la production de blé en t. On dit alors que le prix du pain est un proxy de la production de blé.

Condition d’utilisation

Quelles sont les conditions pour pouvoir utiliser sans danger une telle variable à la place d’une autre ? Pour mieux s’en rendre compte, plaçons nous dans un cas simple, où nous essayons d’utiliser une variable inobservable dans une régression linéaire simple. On cherche à tester le modèle suivant:

Y = β0 + β1 x1+ β2 x2 + ε

où x2 est une variable inobservable, les autres variables étant elles observées, ε étant classiquement le résidu. Heureusement, nous avons des données concernant une variable a priori sans intérêt, mais en réalité fortement corrélée à notre insaisissable variable x2. Cette variable salvatrice, que nous appellerons s, vérifie en effet assez bien, d’après nos estimations, la relation:

x2= α0 + α1 s + ε2

En remplaçant dans notre première équation, on obtient:

Y= β0 + β1 x1+ β20 + α1 s + ε2) + ε

Ce qui se développe trivialement en:

Y= β0 + β1 x1+ β2 α0 + β2α1 s +  β2 ε2 + ε

Les alphas et les betas étant des coefficients réels, on peut les regrouper sans danger. En posant γ0= β0 + β2 αet γ1 = β2α1, on réécrit notre modèle sous la forme:

Y= γ0 + β1 x1 + γ1 s + β2 ε2 + ε

Le seul problème qui peut alors émerger vient du résidu ε2 , qui, s’il est par malheur corrélé à x1, va marquer notre modèle du sceau malin de l’hétéroscédasticité. Sous réserve de la vérification simple de la non-corrélation entre variable(s) explicative(s) du modèle original et résidu du modèle décrivant la relation entre variable d’intérêt et proxy, on peut donc remplacer sans danger notre variable originale inobservable par son proxy dans nos calculs.

Publié dans Statistiques | Marqué avec , , , , | Laisser un commentaire

Exorciser vos statistiques 2: combattre la débauche des modalités

Lors de mon précédent billet, je m’étais rapidement intéressé à quelques principes permettant d’éviter des problèmes de dimensionnalité liés à un grand nombre de variables. Cette fois-ci, je souhaiterais évoquer le cas où c’est le grand nombre des modalités de la variable qui pose problème.

Dans l’analyse des correspondances multiples (ACM), la contribution de chaque variable nominale à l’inertie diffère en fonction du le nombre des modalités de cette variable. Dans le cas où des variables possèdent  des modalités relativement nombreuses, on observe l’apparence de modalités peu fréquentes, aussi appelées « classes faibles ». Celles-ci posent rapidement problème, du fait qu’elles contribuent à l’inertie de la variable plus qu’elles ne devraient étant donné leur réel impact.  De ce fait, elles contribuent souvent bien trop fortement à la détermination des premiers axes factoriels – faussant ainsi la représentation des données.

Comment se sortir de ce problème ?  Que faire de ces modalités bien encombrantes ?

Tuez les toutes, Dieu reconnaîtra les siennes!

Encore une fois, l’une des manières simples de traiter ce problème est de supprimer les gêneurs, et donc, de ne pas s’intéresser à ces classes faibles. C’est ce que fait l’analyse spécifique des correspondances multiples, développée en particulier par la statisticienne française Brigitte Leroux [Le Roux B., 1999 ; Le Roux B., Rouanet H., 2004].

Pour éviter de fausser le calcul des inerties et donc des axes factoriels, on ignore sans autre forme de procès les modalités trop peu fréquentes dans le calcul des distances entre les individus .

Soyez plus pondéré mon ami…

Une approche alternative à cette première méthode, efficace bien qu’un peu brutale au premier abord, a été développée en 2009 par Odysseas Moschidis, de l’hôpital de Thessalonique (oui, décidément, nous dépendons beaucoup des biostatistiques).

Dans son article, O. Moschidis propose de maintenir malgré leurs inconvénients les modalités faibles dans les calculs de distance. Mais pour éviter de biaiser l’analyse, il change tout bonnement de métrique, remplaçant le traditionnel Ξ² par une nouvelle métrique, qui prend également en compte le nombre de modalités de chaque variable. Celle-ci s’écrit :

ai et aj sont les individus, m leurs caractéristiques communes, s le nombre total de caractéristiques communes, les lambdas et mus représentant les modalités respectivement exprimées par ai et aj pour une variable k .

L’originalité du calcul réside en fait dans le terme [1/(pk-1)], où pk  représente le nombre de modalités d’une variable k.

Du fait de ce terme, on traite tout de même les classes faibles, mais la surestimation de leur importance dans le calcul des axes est ici annulée par la pondération. Une approche simple mais astucieuse, qu’il peut être utile d’adopter.

Bibliographie

LE ROUX Brigitte, « Analyse spécifique d’un nuage euclidien », Mathématiques et Sciences humaines, 37, 1999.

LE ROUX Brigitte, ROUANET Henry, Geometric Data Analysis from Correspondence Analysis to Structured Data Analysis, Dordrecht-Boston-London, Kluwer Academic Publisher, 2004.

MOSCHIDIS Odysseas, “A Different Approach to Multiple Correspondence Analysis than that of specific MCA”, Mathematics and Human Sciences, n°186, 2009

Publié dans Statistiques | Marqué avec , | 2 commentaires

Zotero et BibLaTeX : créer une bibliographie classée par thèmes

Parmi les utilisations un peu plus avancées que l’on peut faire du couple Zotero-BibLaTeX, nous verrons aujourd’hui comment créer une bibliographie thématique.

Pour exposer quelque peu mon objectif : je souhaite utiliser une collection Zotero pour créer ma bibliographie de thèse, mais j’ignore encore si j’opterai en définitive pour un classement thématique ou un classement alphabétique strict. Quoi qu’il en soit, j’ai dans un premier temps besoin, pour mes recherches, d’une bibliographie classée par thèmes.

Plutôt que de classer fastidieusement les références à la main, il est possible d’opter pour une solution exploitant une fonctionnalité de Zotero, les marqueurs (tags) et une fonctionnalité de BibLaTeX, le classement par mots-clés.

Dans un premier temps, avec un thesaurus maison, je marque mes références dans Zotero (certaines possèdent déjà des marqueurs qui proviennent de la source que j’ai enregistrée. Sur chaque référence, les marqueurs préexistants sont signalés par une étiquette orange, ceux que j’ajoute par une étiquette bleue :

Aperçu Zotero

Voir les marqueurs à droite

J’opte pour une normalisation. Pour ce faire, je suis aidé par la liste que me donne Zotero des tags employés, et par les fonctionnalités de tri : lorsque je sélectionne toutes les références portant un marqueur donné, j’obtiens une liste des autres marqueurs que ces références portent également (je peux même en croiser plusieurs) :

Tri par marqueur

Le tri par marqueur

 Une fois cette indexation de la bibliographie réalisée, j’utilise dans LaTeX la commande du package BibLaTeX suivante :

 Le code LaTeX

Je peux croiser les mots-clés, ce qui m’évite d’avoir à réaliser une double indexation :

\printbibliography[keyword=contexte,keyword=anglo-normand]

Je peux aussi imprimer ma bibliographie en excluant un des mots-clés :

\printbibliography[notkeyword=non classé]

Pour finir, voici une version un peu plus avancée de la commande, avec un titre, un paragraphe introductif et un post-scriptum :

\defbibnote{introduction}{Cette section contient des g\'enéralités concernant la littérature épique médiévale et particulièrement la chanson de geste.}
\defbibnote{postscriptum}{On se rapportera également aux sections concernant le contexte historique de la littérature épique}
\printbibliography[keyword=épique,%
title=Littérature épique : généralités,%
prenote=introduction,%
postnote=postscriptum%
]

Publié dans Encodages | Marqué avec , , , | 7 commentaires

N-grams et identification des auteurs

Ces derniers temps, les études dans le domaine de l’authorship attribution ou de la classification des textes ont pris un souffle nouveau par le biais de l’utilisation de n-grams1, ouvrant des perspectives nouvelles pour la création de modèles indépendants de la langue du texte, de modèles ne nécessitant pas de preprocessing, d’encodage syntaxique, ou de connaissances a priori sur le style des auteurs, avec des taux de réussite souvent relativement élevés. Cette tendance nouvelle mérite quelque peu d’attention et d’explication.

Que sont les n-grams ?

Comme leur nom l’indique, les n-grams sont des suites d’un nombre donné de caractères (bigrammes, trigrammes, 4 grams, etc.).Pour prendre un exemple, avec des 5 grams, la phrase suivante :

Le chat mange la souris [oui, l'originalité des exemples est notre péché mignon]

donne :

Le ch, e cha, _chat, chat_, etc.

Quelle utilité ?

Par rapport à des analyses lexicométriques réalisées sur des listes d’occurrences de mots classiques, l’utilisation de n-grams permet de capter des informations relatives à la syntaxe, des cooccurrences, en un mot des séquences répétées. Pour prendre un petit exemple, si d’un point de vue d’analyse de fréquences de mots les deux phrases :

Le chat obèse mange la souris [et oui, à force...]

Le chat mange la souris obèse [il a très faim...]

sont équivalentes (le nombre d’occurrences de chaque terme étant égal), l’utilisation de n-grams fournira deux listes relativement différentes, rendant compte d’éléments syntaxiques et sémantiques autrement ignorés.

Pour autant, cette méthode est moins lourde à mettre en place que l’utilisation d’un encodage syntaxique. En particulier, cette méthode a l’avantage de ne pas être dépendante de la langue utilisée dans le texte à analyser. Ces performances ont d’ailleurs été testées avec succès sur des textes de langues diverses : anglais, grec, chinois .

Un autre intérêt des n-grams touche à l’analyse de champs lexicaux ou au rapprochement de lemmes. Ainsi, une liste de fréquences traditionnelle, non lemmatisée, distinguera chat, chats, etc. Un trigramme identifiera l’existence d’une équivalence. De la même manière, il pourra rapprocher le chat de le chaton (séquence le chat commune).

Quelques modèles mathématiques utilisant les n-grams

Il existe un nombre élevé de modèles employant les n-grams pour l’identification des auteurs, mais un bon nombre partage la caractéristique de se fonder sur la constitution de « profils » pour chaque auteur à partir d’un corpus d’entrainement, et de la comparaison probabiliste de chaque texte à attribuer avec ce profil2. La façon dont les profils sont construits peut varier.  Kešelj et al. les construisent en choisissant arbitrairement un nombre L de n-grams les plus fréquents (un profil d’auteur est alors constitué de ces L n-grams et de leurs fréquences normalisées). On peut également choisir de retirer tous les n-grams qui ne sont pas commun à au moins deux textes du même auteur. Le problème qui peut se poser dans la construction de ce type de profils est encore une fois celui de la dimensionalité : l’ensemble de n-grams différents contenus dans un texte sera la plupart du temps plus élevé que celui de mots différents (à part dans le cas de n-grams courts). Pour résoudre cette difficulté, diverses méthodes ont pu être proposées3.

Une fois ces profils constitués, il faut déterminer la probabilité qu’un texte relève d’un profil ou d’un autre, et donc qu’il ait été écrit par tel ou tel auteur. Divers modèles  probabilistes ont pu être employés à cette fin, notamment la classification naïve bayésienne. Le modèle employé par Kešelj et al. quant à lui reprend un algorithme énoncé dans les années 70 par Bennett4 et utilisé par lui avec des bigrammes pour comparer deux textes. Soit M(I,J) la fréquence du bigramme composé des lettres I et J dans le premier texte et N(I,J) la fréquence du même bigramme dans le second texte :

permet de mesurer la dissimilarité entre les deux textes. Pour pondérer les variations importantes de fréquence et éviter que les n-grams les plus fréquents aient un poids trop importants, Kešelj et al. choisissent en outre de «normaliser» les différences de fréquence en les divisant par la fréquence moyenne des n-grams considérés. Ce qui donne, avec f1(n) et f2(n) étant la fréquence du n-gram n dans le profil et dans le texte à attribuer :

En utilisant cet algorithme, les auteurs obtiennent un pourcentage de réussite, variant selon la longueur des n-grams et la taille des profils, qui se situe la plupart du temps à 83%, tout en variant entre 50 et 100%. D’autres modèles ont également pu permettre d’obtenir des taux de réussite comparables, mais il serait bien trop long de les voir tous ici, et, pour épargner nos forces et celles du lecteur, réservons leur présentation à une prochaine occasion !

  1. Voir notamment V. Kešelj, F. Peng, N. Cercone  et C. Thomas, « N-gram-based author profiles for authorship attribution », in Proceedings of the Conference Pacific Association for Computational Linguistics, PACLING, 2003, 3, p. 255–264 [en ligne] ; voir également les synthèses proposées dans Shlomo Argamon, Moshe Koppel, et Jonathan Schler, « Computational methods in authorship attribution. », Journal of the American Society for Information Science & Technology, 60 (2009), p. 9-26, aux p. 12-13 , ainsi que E. Stamatatos, « A survey of modern authorship attribution methods », Journal of the American Society for information Science and Technology, 60 (2009), p. 538–556, à la p. 541 [en ligne]. []
  2. L’efficacité de cette approche a été soulignée par Fuchun Peng et al., « Automated authorship attribution with character level language models », in 10th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2003), 2003, p. 267–274. []
  3. J. Houvardas and E. Stamatatos, « N-gram feature selection for authorship identification », Artificial Intelligence: Methodology, Systems, and Applications (2006), p. 77–86, proposent par exemple de comparer chacune des caractéristiques d’un profil avec celles qui lui sont similaires, et, à chaque fois, de ne garder que la plus significative. []
  4. William Ralph Bennett, Scientific and engineering problem-solving with the computer, Prentice Hall PTR, 1976. []
Publié dans Statistiques | Marqué avec , , , , | Laisser un commentaire

Colloque Modèles et apprentissages en Sciences Humaines et Sociales (MASHS 2011)

Les 23 et 24 juin prochains se tiendra à Marseille, au Centre de la Vieille Charité, la cinquième édition du colloque Modèles et apprentissages en Sciences Humaines et Sociales (MASHS 2011), consacrée à la modélisation mathématique ou informatique appliquée aux sciences humaines et sociales, hébergée cette année par le Groupement de Recherche en Économie Quantitative d’Aix Marseille (Gréqam) et organisée par Juliette Rouchier et Nathalie Villa-Vialaneix. Le programme en est à présent disponible.

L’après-midi du 23 se tiendra en partenariat avec le séminaire Statistique et Informatique pour les SHS de l’Université Paris 1 (http://analyseshs.hypotheses.org/). Florian et moi-même interviendront le 24 et parleront encore un peu des vidas de troubadours (« Setting bounds in an homogeneous corpus : a methodological study applied to medieval literature »).

Avis aux amateurs !

Publié dans Journées d'études, Veille et publications | Marqué avec , , | Laisser un commentaire

Exorcisez vos statistiques: contre la malédiction de la dimension

Les bases de données que nous traitons en histoire, philologie, ou toute autre science intéressée au passé ont-elles une forme particulière ? A priori, étant donnée la diversité des sujets étudiés, des époques de référence, des problématiques dans lesquelles elles sont insérées, on serait tenté de répondre non. Pourtant, elles ont souvent un point commun. En effet, que cela soit dû à de la spécialisation poussée de nos recherches ou à la maigreur des sources à notre disposition (ce qui fut notre cas par exemple lors de nos travaux sur les vidas occitanes, qui ne sont pas légions), nous connaissons souvent énormément de choses, mais sur très peu d’objets.

Nos méthodes habituelles au purgatoire

Ceci n’est pas sans conséquence. Lorsque nous créons une base données à partir de notre sujet d’études, celle-ci prend souvent la forme d’une matrice très “étirée”:  peu d’individus en ligne, mais des caractéristiques remplissant d’innombrables colonnes. Les analyses de textes sont sans doute un des exemples les plus flagrants de ce fait. Nous travaillons ainsi assez souvent sur peu de textes ou de livres à la fois. Par contre, chaque mot différent pouvant devenir une caractéristique, on peut souvent compter des milliers de colonnes dans nos matrices. Cette forme particulière est un sérieux frein à l’usage de méthodes statistiques courantes – au point qu’on parle à propos de cette fâcheuse situation de “malédiction de la dimension”.

Cette malédiction prend plusieurs formes. La fiabilité des analyses factorielles devient par exemple vite éprouvée. En analyse géométrique, il s’agirait ainsi de projeter une petite poignée de points dans un espace au très grands nombres de dimensions, puis d’essayer d’en étudier la forme,  en deux dimensions…

Pour les régressions, c’est également l’enfer. Plus le nuage de points présente d’incomplétude, plus là aussi, la qualité des estimations va décliner, de nombreux et potentiellement fort différents modèles étant également plausibles pour expliquer la structure du nuage de points.

En réalité, la plupart des outils statistiques les plus communs ont été créés pour des situations dans lesquelles le nombre d’observations est très supérieur au au nombre de dimensions de l’espace, et ne sont donc que rarement pertinentes pour nos types de données. Pourtant, il n’est pas rare de voir ces outils utilisés dans nos disciplines… Une prise de conscience de ce type de problèmes est donc urgente et nécessaire.

Que faire ?

Sans rentrer dans les détails, voici quelques pistes à suivre dans ce genre de cas :

  • Une première possibilité est de sélectionner des dimensions pertinentes, au détriment d’une analyse exhaustive des différentes caractéristiques des individus étudiés. Bien entendu, il peut-être difficile de déterminer ex ante les caractéristiques les plus pertinentes à exploiter. On notera par ailleurs que cette démarche n’est fondée que s’il existe des dimensions peu ou pas pertinentes ; si les dimensions sont nombreuses mais toutes pertinentes, les résultats que l’on obtiendra seront moins bons, malgré les problèmes liés à l’augmentation du nombre de dimensions.
  • Dans la même idée de retirer de l’information non pertinente, on peut, selon le type de données que l’on gère et l’interprétation qu’on veut en faire, ne s’intéresser qu’à la position relative des points, et non à leur position absolue. Plutôt que d’utiliser une AFC, on calculera plutôt dans ce cas un “Multi-dimensional scaling” (MDS – désolé pour l’anglicisme, je ne connais pas d’équivalent français du terme).
  • Un autre angle d’attaque peut être de changer de métrique, c’est-à-dire, de manière de mesurer les distances entre points. En particulier, le calcul “classique” des distances entre point via la métrique dite “euclidienne” est rarement optimal. En effet, quand le nombre de dimensions augmente, le mode de calcul euclidien a tendance à concentrer les distances autour d’une valeur moyenne. Des géométries moins intuitives, comme celle de Minkowski (visant originellement à décrire le monde einsteinien de l’espace-temps), ont des performances bien meilleures dans ces situations.
  • Michael Verleysen, de l’Université Catholique de Louvain, présentait lors du séminaire organisé à l’Université Paris I (où il mettait justement en garde contre les dangers précédemment évoqués) l’intérêt de projections non-linéaires dans ce genre de cas. Il a ainsi développé une méthode visant en quelque sorte à “dérouler” les données : si par exemple, les données ressemblent en trois dimensions à un rouleau de papier, cette méthode, utilisant des projections curvilignes, transformera ce rouleau en une feuille de papier, plus simple à interpréter, et de moindre dimension.

Rappelons bien sûr que les régressions ou analyses factorielles peuvent marcher ;   il y a simplement de fortes chances, que dans le cas de données à faible effectif et à nombreuses dimensions, ces outils soient mis en échecs. Et dans ce cas, ces pistes sont à explorer…

Publié dans Statistiques | Marqué avec , , | Laisser un commentaire

Une nouvelle revue consacrée à la Philologie numérique : Digital Philology: A Journal of Medieval Cultures

Une nouvelle revue consacrée à la Philologie numérique vient de naître. Fondée par  les romanistes Stephen G. Nicols (tenant historique de la « Nouvelle Philologie »1) et Nadia R. Altschul, Digital Philology: A Journal of Medieval Cultures paraîtra deux fois par an aux presses de l’Université John Hopkins (Baltimore, Maryland). Chaque année, un des deux numéros se construira autour d’une thématique précise, tandis que l’autre sera ouvert aux candidatures. Voici l’appel à contribution pour les numéros « ouverts » de 2012 et 2013.

Digital Philology: A Journal of Medieval Cultures

Call for Submissions

Digital Philology is a new peer-reviewed journal devoted to the study of medieval vernacular texts and cultures. Founded by Stephen G. Nichols and Nadia R. Altschul, the journal aims to foster scholarship that crosses disciplines upsetting traditional fields of study, national boundaries, and periodizations. Digital Philology also encourages both applied and theoretical research that engages with the digital humanities and shows why and how digital resources require new questions, new approaches, and yield radical results.

Digital Philology will have two issues per year, published by the Johns Hopkins University Press. One of the issues will be open to all submissions, while the other one will be guest-edited and revolve around a thematic axis.

Contributions may take the form of a scholarly essay or focus on the study of a particular manuscript. Articles must be written in English, follow the 3rd edition (2008) of the MLA style manual, and be between 5,000 and 9,000 words in length, including footnotes and list of works cited. Quotations in the main text in languages other than English should appear along with their English translation.

Digital Philology welcomes submissions for the 2012 and 2013 open issues. Inquiries and submissions (as a Word document attachment) should be sent to dph|a|jhu.edu, addressed to the Editor (Albert Lloret) and Managing Editor (Jeanette Patterson). Digital Philology will also publish reviews of books and digital projects. Correspondence regarding digital projects and publications for review may be addressed to Timothy Stinson at  tlstinson|a|gmail.com.

Editorial Board

Tracy Adams (Auckland University)

Benjamin Albritton (Stanford University)

Nadia R. Altschul (Johns Hopkins University)

R. Howard Bloch (Yale University)

Kevin Brownlee (University of Pennsylvania)

Jacqueline Cerquiglini-Toulet (Université Paris Sorbonne – Paris IV)

Suzanne Conklin Akbari (University of Toronto)

Lucie Dolezalova (Charles University, Prague)

Alexandra Gillespie (University of Toronto)

Jeffrey Hamburger (Harvard University)

Daniel Heller-Roazen (Princeton University)

Sharon Kinoshita (University of California, Santa Cruz)

Joachim Küpper (Freie University of Berlin)

Deborah McGrady (University of Virginia)

Christine McWebb (University of Waterloo)

Stephen G. Nichols (Johns Hopkins University)

Timothy Stinson (North Carolina State University)

Lori Walters (Florida State University)

Digital Philology: A Journal of Medieval Cultures

Call for Submissions

Digital Philology is a new peer-reviewed journal devoted to the study of medieval vernacular texts and cultures. Founded by Stephen G. Nichols and Nadia R. Altschul, the journal aims to foster scholarship that crosses disciplines upsetting traditional fields of study, national boundaries, and periodizations. Digital Philology also encourages both applied and theoretical research that engages with the digital humanities and shows why and how digital resources require new questions, new approaches, and yield radical results.

Digital Philology will have two issues per year, published by the Johns Hopkins University Press. One of the issues will be open to all submissions, while the other one will be guest-edited and revolve around a thematic axis.

Contributions may take the form of a scholarly essay or focus on the study of a particular manuscript. Articles must be written in English, follow the 3rd edition (2008) of the MLA style manual, and be between 5,000 and 9,000 words in length, including footnotes and list of works cited. Quotations in the main text in languages other than English should appear along with their English translation.

Digital Philology welcomes submissions for the 2012 and 2013 open issues. Inquiries and submissions (as a Word document attachment) should be sent to dph@jhu.edu, addressed to the Editor (Albert Lloret) and Managing Editor (Jeanette Patterson). Digital Philology will also publish reviews of books and digital projects. Correspondence regarding digital projects and publications for review may be addressed to Timothy Stinson at tlstinson@gmail.com.

Editorial Board

Tracy Adams (Auckland University)

Benjamin Albritton (Stanford University)

Nadia R. Altschul (Johns Hopkins University)

R. Howard Bloch (Yale University)

Kevin Brownlee (University of Pennsylvania)

Jacqueline Cerquiglini-Toulet (Université Paris Sorbonne – Paris IV)

Suzanne Conklin Akbari (University of Toronto)

Lucie Dolezalova (Charles University, Prague)

Alexandra Gillespie (University of Toronto)

Jeffrey Hamburger (Harvard University)

Daniel Heller-Roazen (Princeton University)

Sharon Kinoshita (University of California, Santa Cruz)

Joachim Küpper (Freie University of Berlin)

Deborah McGrady (University of Virginia)

Christine McWebb (University of Waterloo)

Stephen G. Nichols (Johns Hopkins University)

Timothy Stinson (North Carolina State University)

Lori Walters (Florida State University)

  1. Voir notamment Stephen G. Nichols, « Introduction: Philology in a Manuscript Culture », Speculum, 65-1 (Jan. 1990), p. 1-10. []
Publié dans Veille et publications | Marqué avec , , | Laisser un commentaire

Une solution bibliographique pour LaTeX et les Humanités : BibLaTeX

Depuis bien longtemps, les utilisateurs de LaTeX s’arrachaient les cheveux devant la seule véritable solution de gestion de bibliographique qui leur était proposée, j’ai nommé  BibTeX. N’accablons pas trop BibTeX : créé en 1985, peu après LaTeX, par Oren Patashnik et Leslie Lamport (le créateur de LaTeX himself), BibTeX répondait à un besoin de solution de gestion semi-automatisée des références bibliographiques, fondée sur une base de données contenant les références (fichier .bib) et un fichier de style (.bst). Cette solution était particulièrement innovante pour l’époque, où personne n’entendait encore parler de Zotero, et l’est encore à certains égards. Rendons grâce à ses auteurs.

Maintenant, avouons-le, BibTeX a un (très) gros défaut : ses fichiers de style. Ceux-ci sont écrit dans un code très particulier (qu’on qualifie de notation polonaise inversée ou reverse polish notation1, il fallait y penser). À titre d’exemple, voici un bout de bon vieux code bst de BibTeX (souvenirs, souvenirs…) :

INTEGERS { nameptr namesleft numnames }

FUNCTION {format.names}
{ 's :=
#1 'nameptr :=
s num.names$ 'numnames :=
numnames 'namesleft :=
{ namesleft #0 > }
{ s nameptr "\bgroup\sc {vv~}{ll~}\egroup{{}}{(ff)}{, jj}" format.name$ 't :=
nameptr #1 >
{ namesleft #1 >
{ ", " * t * }
{ numnames #2 >
{ "" * }
'skip$
if$
t "others" =
{ " et~al." * }
{ " et " * t * }
if$
}
if$
}
't
if$
nameptr #1 + 'nameptr :=
namesleft #1 - 'namesleft :=
}
while$
}

Si vous ne vous êtes pas enfuis en courant, vous aurez la joie d’apprendre qu’il existe désormais une alternative relativement plus simple, plus souple, et plus riche à BibTeX, qui s’appelle BibLaTeX. Développé et maintenu par Philipp Lehman, BibLaTeX réunit un grand nombre d’outils qui étaient auparavant dispersés dans divers modules. BibLaTeX fonctionne en utilisant les mêmes bases de données .bib que BibTeX, et, si à l’origine il se servait en partie du moteur de BibTeX, il peut désormais s’en dispenser complètement grâce à Biber, et gère ainsi nativement l’UTF8. En outre, et c’est là son plus grand avantage comparatif,  il utilise un langage pour les styles beaucoup plus abordable que celui de BibTeX :

\renewcommand*{\mkbibnamefirst}[1]{\textit{#1}}
\renewcommand*{\mkbibnamelast}[1]{\textit{#1}}
\renewcommand*{\mkbibnameprefix}[1]{\textit{#1}}
\renewcommand*{\mkbibnameaffix}[1]{\textit{#1}}
\DeclareFieldFormat{booktitle}{#1\isdot}
\DeclareFieldFormat{journaltitle}{#1\isdot}
\DeclareFieldFormat{issuetitle}{#1\isdot}
\DeclareFieldFormat{maintitle}{#1\isdot}
\DeclareFieldFormat{pages}{#1}
\DeclareFieldFormat{title}{#1\isdot}
\DeclareFieldFormat[article]{title}{#1}
\DeclareFieldFormat[inbook]{title}{#1}
\DeclareFieldFormat[incollection]{title}{#1}
\DeclareFieldFormat[inproceedings]{title}{#1}
\DeclareFieldFormat[patent]{title}{#1}
\DeclareFieldFormat[thesis]{title}{#1}
\DeclareFieldFormat[unpublished]{title}{#1}

Pour quelqu’un qui connaît un peu LaTeX, c’est tout de suite beaucoup plus parlant. Qui plus est, en plus d’être relativement accessible, ces styles sont configurables à l’extrême, et ce bien plus qu’à peu près n’importe quel autre format de styles bibliographiques que j’ai pu rencontrer. Je me suis lancé dans la création d’un style, et j’ai été agréablement surpris à la fois du degré de détail jusques auquel on peut aller et de l’élégance du code.

En outre, pour ceux qui ne voudraient malgré tout pas se lancer dans la création d’un style, il existe des styles tout prêts qui correspondent beaucoup mieux aux normes des humanités françaises (il y a notamment des styles de base qui fonctionnent en Auteur, titre, et qui gèrent le titre abrégé, les ibid., etc.). Pour les historiens, le style de la Historische Zeitschrift peut être un point de départ intéressant.

Parmi les nombreuses autres fonctionnalités qui me restent à explorer figurent celles jadis éparpillées dans les modules babelbibbibtopicbibunitschapterbib,citeinlinebibmcite et mciteplusmlbibmultibibsplitbib, plus d’autres propres à BibLaTeX. Les fonctionnalités évoquées dans la description du paquet on de quoi faire pâlir d’envie les utilisateurs d’autres logiciels de gestion bibliographique : la possibilité de diviser sa bibliographie en sections, de réaliser plusieurs bibliographies dans le même document, de diviser sa bibliographie selon l’emploi des références dans les chapitres, ou selon des thèmes et mots-clés, ou par types de documents…

Concrètement, pour l’impatient qui voudrait se lancer tout de suite dans BibLaTeX, il suffit d’ajouter dans le préambule la commande suivante :

\usepackage[babel]{csquotes}% Si vous ne l'aviez pas déjà.
\usepackage[backend=biber,%si on utilise biber, sinon bibtex.
sorting=nyt,%si on veut que les références soient triées dans la bibliographie par nom/date/titre.
style=style_choisi%par ex. historische_zeitschrift.
]{biblatex}
\addbibresource{Mon_fichier.bib}

Pour citer une référence, il suffira d’insérer à l’endroit opportun la commande :

\cite{clé}

Puis, pour afficher la bibliographie :

\printbibliography

Pour terminer, voici quelques exemples obtenus avec mon style de citation maison (encore en version bêta). Tout d’abord quelques citations en note :

Citations

Des citations en note

Et maintenant un extrait de la bibliographie :

bibliographie

Un extrait de la bibliographie

  1. Pour comprendre le principe de cette notation, il faut imaginer que les chiffres et opérations que l’on y met s’empilent, et que l’on pioche à partir du sommet de la pile : ainsi, si l’on écrit 10 3 2 + * le résultat est 50, puisque l’on prend les deux éléments du sommet de la pile (3 et 2) pour réaliser la première opération, donc 3+2 = 5 puis 5 est reposé au sommet de la pile, et on reprend les deux éléments du sommet de la pile pour faire la seconde opération, soit 5*10 = 50. Clair, non ? []
Publié dans Encodages | Marqué avec , , , , , , , , , | Laisser un commentaire

L’Information retrieval appliquée à la philologie. II. Differential term weighting

Revenons1 ici sur un projet de billet annoncé depuis quelques temps : celui de l’application possible que l’on peut faire à la philologie de traitements provenant du champ de l’Information retrieval. Cette fois-ci, il sera question du Differential term weighting.

Le principe général du Differential term weighting est de remplacer les effectifs lexicométriques bruts par une valeur calculée selon une formule déterminée. La formule choisie peut répondre à différents principes mathématiques et peut varier selon l’objectif recherché. Nous verrons d’abord les formules existantes et les principes mathématiques et objectifs auxquelles elles répondent, puis, dans un deuxième temps, on se penchera sur leur application possible aux analyses lexicométriques des textes anciens.

Les formules classiques

Avant de nous plonger en détail dans les différentes formules et leur principes et objectifs, attardons nous un peu sur les principes généraux qu’elles recouvrent. Au niveau du résultat recherché, tout d’abord, il ne nous faut pas oublier que ces formules ont été conçues sur la base d’une recherche de pertinence dans les recherches d’information, et que leur objectif est donc l’élimination du bruit dans le cadre d’une recherche plein-texte. Cet objectif diffère sensiblement du nôtre et de notre utilisation des effectifs lexicométriques. Au niveau du principe mathématique, il nous faut tout d’abord différencier deux choses : le poids local (L) qui est affecté à un nombre N d’occurrences d’un mot i dans un texte j (c’est-à-dire à la valeur qui figure, dans un tableau d’occurrences lexicométriques dans une des cellules) , et le poids global (G) qui est affecté au mot i dans l’ensemble des textes. Certaines des formules ne font usage que d’un seul de ces types de poids, d’autres utilisent les deux, sous la forme :LijxGi

Les poids locaux

Les trois types de poids locaux (Lij) employés les plus couramment sont ainsi :

  1. La fréquence brute du mot dans le document, soit Lij = Nij.
  2. Une valeur binaire : si Nij ≥ 1, alors Lij = 1, sinon Lij = 0.
  3. Une valeur logarithmique, employée généralement pour réduire les écarts trop importants entre les termes très fréquents et les termes rares, Lij = log(Nij+1).

Les poids globaux

Les poids globaux s’appuient tous sur une ou plusieurs des trois valeurs suivantes :

  1. le nombre d’occurrences du terme i dans le document j (que nous appellerons ici encore Nij).
  2. Le nombre total de documents dans lequel le terme i apparaît (que nous appellerons Di).
  3. Le nombre d’occurrences total du terme i dans l’ensemble des documents (que nous appellerons Ti).

Il faudrait pour être tout à fait complet, ajouter une dernière valeur, celle du nombre total de documents (Ndoc). Il y a, pour les poids globaux, trois méthodes principales :

1. La méthode dite « Normale » :

Cette méthode consiste donc à définir un poids global qui prenne en compte les différences entre mots très fréquents et mots peu fréquents, tout en les amoindrissant.

2. Occurrences totales sur nombre de documents où le terme est présent :

Ti/DiCette formule donne un poids global qui favorise les termes apparaissant très fréquemment dans un nombre très restreint de documents (un terme qui apparaît 100 fois dans un seul document aura un poids global de 100 ; un terme qui apparaît 100 fois dans 100 documents, aura un poids global de 1).

3. Log2(Ndoc/Di)+1Cette méthode donne un poids global qui favorise les termes qui apparaissent dans peu de documents.

La méthode 1 – entropie

Dans un article désormais un petit peu ancien, Susan T. Dumais décrit une autre méthode dont, selon elle, les résultats sont de loin supérieurs à ceux des autres2. Elle se fonde sur un calcul d’entropie ou de bruit. Mathématiquement, elle se présente ainsi :

entropyCette valeur d’entropie prend en compte la fréquence du terme dans le document concerné par rapport à la fréquence totale du terme, et la rapporte au nombre de documents total. En gros, plus le terme apparaît fréquemment dans un petit nombre de documents, plus la valeur d’entropie sera grande (elle sera supérieure pour un terme apparaissant 10 fois dans un seul document que pour un terme apparaissant en tout dix fois, mais une fois par document).

Intérêt et application de ces méthodes

L’objectif principal de ces méthodes est de fournir des documents pertinents lors d’une recherche d’information. Si elles sont extrêmement intéressantes dans leurs principes, leur utilité dans leur application à la philologie reste en partie à démontrer. On peut toutefois en retenir le principe et l’adapter à ses besoins.

Travaillant récemment, à l’aide d’analyses factorielles et de classification ascendantes hiérarchique, sur un corpus de courts textes (des vidas de troubadours contenues dans le ms. A) avec des propriétés très particulières, j’ai eu recours à une forme très basique de differential term weighting, mais celle-ci m’a été extrêmement utile et m’a permis d’exploiter le corpus sans me retrouver face à des résultats totalement biaisés. Les propriétés particulières de ce corpus étaient :

1. De se composer d’un ensemble de très courts textes, avec une moyenne de 164 mots, et une médiane de 147, qui pouvaient se répartir de ce point de vue en deux groupes principaux : entre 20 et 100 mots, et entre 100 et 300, mais malgré tout avec quelques individus aberrants pouvant dépasser 400 mots, voire atteindre 676. Comme une image vaut parfois mieux que de longs discours, voici la boîte à moustaches :Boîte à moustaches des vidas de A

2. D’utiliser un vocabulaire restreint, assez répétitif, avec un nombre délimité de formules types, et d’être donc en grande partie très homogènes du point de vue de leur lexique, provenant en outre du même manuscrit.

Ces deux éléments faisaient que l’analyse factorielle ne donnait pas grand chose, tandis que la classification ascendante hiérarchique me triait les textes uniquement d’après leur nombre de mots… Or, ce n’était pas ça qui m’intéressait, pas plus que la vérification de l’homogénéité globale de leur vocabulaire (que je connaissais déjà pour les avoir un peu pratiqués), mais bien au contraire les quelques éléments d’hétérogénéité pouvant renvoyer à des branches différentes de la tradition, à des auteurs différents, à des datations ou localisations différentes, etc. Pour pouvoir arriver à des résultats exploitables, j’ai fait usage d’une forme de poids local très rudimentaire, mais dans ce cas précis tout à fait salvatrice, en divisant le nombre d’occurrences du mot dans le document (Nij) par le nombre total de mots du document (Tj), ce qui revient à utiliser un taux :

Nij/TjÀ l’aide de ce poids local, j’ai obtenu des résultats beaucoup plus pertinents, dans lesquels j’ai déjà pu distinguer des rapprochements liés à des groupes de manuscrits, à des datations/localisations, et à des auteurs présumés. Il ne me reste plus désormais qu’à les analyser en détail !

  1. Après une période prolongée sans billet due à une période un peu chargée (colloques) de mon côté. []
  2. Dumais (Susan T.), « Improving the retrieval of information from external sources », Behavior Research Methods, Instruments, & Computers, 23 (1991), p. 229-236. []
Publié dans Statistiques | Marqué avec , , , , , , , , , | Laisser un commentaire

Les logiciels statistiques épisode II: visualiser librement ses données

Nous continuons notre exploration des logiciels statistiques en présentant les possibilités offertes par les logiciels libres. Il existe de très nombreux logiciels capables de réaliser tout ou partie des opérations possibles sur les logiciels propriétaires que nous évoquions précédemment – voire de réaliser des opérations qu’on ne peut pas faire avec les précédents. Avant d’aborder la question des logiciels libres généralistes (en pratique, du logiciel libre généraliste, R), nous allons dresser un rapide panorama des logiciels libres spécialisés. Commençons cette semaine par les logiciels libres permettant de visualiser ses données.

ViSta (Visual Statistics), développé à l’origine par le psychomètre américain Forrest Young, permet de réaliser simplement une grande variété de graphiques, de bonne qualité, et rigoureusement conçus. Les adeptes de Microsoft Office regretteront sûrement une intégration difficile de ce logiciel à leur suite bureautique favorite (importation de données depuis Excel très pénible, affichage des graphiques sous Word décevant). Au-delà de la simple préférence individuelle, ce point peut être gênant dans le cas de publications demandant des articles sous un format .doc.

Représentation cartographique sous VisIt 1.6

Représentation cartographique sous VisIt 1.6

Pour des graphiques plus impressionnants visuellement, on préfèrera probablement utiliser VisIt. Moins adapté aux sciences humaines que VisTa – ce logiciel ayant été originellement développé pour le “Department of Energy” américain – , il n’en reste pas moins un puissant outil pour les visualisations 2D et 3D.

La prise en main n’est pas aisée, les possibilités nombreuses, trop étendues pour nos usages – il est rare d’avoir besoin de créer des représentations tri-dimensionnelles de molécules, ou de passagers d’une voiture prête à s’écraser… – mais pour quiconque cherche une visualisation à la fois pointue et percutante, en particulier pour travailler sur des bases de données de grandes dimensions, VisIt s’impose comme une référence.

Existe aussi dans le domaine du traitement de bases de données de grande ampleur Open DX, un programme de visualisation très puissant, programmé à partir de l’explorateur de données d’IBM, et lui aussi centré sur la visualisation de données scientifiques. Malheureusement, le projet semble à l’abandon depuis près de quatre ans: sauf rebondissement, ce logiciel ne devrait donc pas connaître de mises à jour, ce qui risque de poser problèmes dans un futur immédiat.

Si vous chercher à travailler sur des données ayant un grand nombre de dimensions plutôt qu’un grand nombre d’individus, GGobi peut être une idée de choix. A l’aise pour les visualisations de données standard, il se montre encore à plus son avantage dans la visualisation de données  ayant de nombreuses dimensions, et est capable de réaliser des partitionnements intéressants de ces données. Il permet par ailleurs de créer des graphiques dynamiques et interactifs très réussis. Grâce au package rggobi, le logiciel permet par ailleurs de nombreuses interactions avec R. Là encore, la prise en main peut être un peu délicate, mais les fonctionnalités sont impressionnantes.

Publié dans Statistiques | Un commentaire