An R Stemmatology Package ?

Recently, I have started to rewrite some of the Perl scripts I used for stemmatological experiments (a few of them briefly commented on this site, the others in a to be published article) in R. Even if R is a lot slower than Perl (at least in that very particular case), I find it has some crucial advantages, and makes the scripts and procedures :

  1. easier to exchange with other researchers (that is, easier for them to install, use, benchmark, and the like) and as such good for results reproducibility ;
  2. part of a larger framework of statistical methods, and so facilitates the implementation of similar methods, the testing of various approaches over the same data, serendipity, etc.

These seem so convincing that I started wondering a few days back if it wouldn’t be of interest to integrate those functions into a package (in that regard, the ability to integrate sample datasets, such as the ones I used in my experiments, in the package, is very decisive for point 1), and, why not, make this package a broader one, able to integrate other stemmatological methods. To my knowledge, there is no stemmatology package as such in development, though several methods used in stemmatology are probably already implemented in R, and, also, the Stemweb project uses R, so they probably have already done so as well. I’ll continue converting the scripts and see how that goes, but I would very much welcome at any point any remark, commentary, suggestion or proposition regarding this potential package.

Here is an interesting slideshow by Rory Winston (2011), Creating R packages : <http://fr.slideshare.net/rorywinston/creating-r-packages> (and the filmed version here).

Another informative reading is Spencer Graves & Sundar Dorai-Raj (2008), Creating R Packages, Using CRAN, R-Forge, And Local R Archive Networks And Subversion (SVN) Repositories, <http://cran.r-project.org/doc/contrib/Graves+DoraiRaj-RPackageDevelopment.pdf>.

On a final, undirectly related, note, I would advise anybody interested to have a look at the exciting developments in the field of stemmatological software and particularly at what is done concerning the Stemweb and Stemmaweb apps :

Tara Andrews, Simo Linkola, Teemu Roos, Joris van Zundert, « White Paper: Interoperability between Stemmatological Microservices », The Tree of Texts, <http://treeoftexts.arts.kuleuven.be/?p=58>, 7 mai 2013.

As an addendum to this post, I have started a question about the reasons to create (or not) an R package, on the CrossValidated StackExchange site :

Why and when create a R package?

Jean-Baptiste Camps

Diplômé de l'École nationale des chartes, Jean-Baptiste Camps prépare un doctorat sur la Chanson d'Otinel, sous la direction de Dominique Boutet (Université Paris Sorbonne), et est ATER à l'École nationale des chartes, responsable pédagogique du master «Technologies numériques appliquées à l'histoire». [CV et liste des publications, voir : http://paris-sorbonne.academia.edu/JeanBaptisteCamps]

More Posts - Website

Follow Me:
LinkedIn

« Médiévistique numérique »

Pour les médiévistes de nos lecteurs, je me permets de relayer ici l’annonce d’une séance méthodologique consacrée à la « Médiévistique numérique » (co-coordonnée par votre serviteur) du séminaire de jeunes chercheurs, « Questes ». Que les jeunes chercheurs parmi vous n’hésitent pas à venir ou à participer activement à la séance, même s’ils ne sont pas encore des habitués du séminaire.

L’annonce se trouve ici : http://questes.hypotheses.org/1034.

Jean-Baptiste Camps

Diplômé de l'École nationale des chartes, Jean-Baptiste Camps prépare un doctorat sur la Chanson d'Otinel, sous la direction de Dominique Boutet (Université Paris Sorbonne), et est ATER à l'École nationale des chartes, responsable pédagogique du master «Technologies numériques appliquées à l'histoire». [CV et liste des publications, voir : http://paris-sorbonne.academia.edu/JeanBaptisteCamps]

More Posts - Website

Follow Me:
LinkedIn

Leçon inaugurale de Bernard Chazelle au Collège de France – “L’algorithmique et les sciences”

Aujourd’hui à 18 heures a lieu la leçon inaugurale de la chaire annuelle d’ “Informatique et sciences numériques”, tenue cette année par Bernard Chazelle, spécialiste des problèmes de complexité algorithmique. Son cours intitulé “L’algorithme et les sciences” s’attachera à montrer les apports des récents développements de l’algorithmique aux diverses branches du savoir. Les applications au champ des sciences humaines et sociales seront évoquées.

Plus de renseignements sur ce cours et sur le séminaire associé sont disponibles sur le site internet du collège de France.

Florian CAFIERO

Ancien élève de l'Ecole Normale Supérieure, Florian Cafiero étudie l'histoire économique à l'université Paris-IV Sorbonne sous la direction de Dominique Barjot. Il enseigne les "traitements statistiques de corpus" aux Langues'O.

More Posts

Voir et comprendre: de l’importance de la visualisation dans la compréhension des entités mathématiques

Il n’a sans doute échappé à personne que, dans la plupart des analyses statistiques ou raisonnements mathématiques employés en sciences humaines, les chercheurs utilisaient des outils éminemment visuels. La tradition veut que nos articles fourmillent d’histogrammes, de courbes ou de camemberts, mais aussi de visualisations plus sophistiquées: analyses factorielles,  représentations de réseaux, cartes de Kohonen, ou même cardiogrammes, pour reprendre un exemple dont nous parlions dans un billet récent. Pourtant, il n’existe bien souvent aucune raison a priori pour matérialiser nos raisonnements par des graphiques.  Pourquoi donc alors cette tendance ? Ferions-nous cela uniquement pour rendre nos articles visuellement attrayants ? Aimerions nous donner de grands airs en égrenant les visualisations les plus improbables ? Ou serions-nous simplement trop mauvais pour manier de « vrais » objets mathématiques ?

Déjà entendues de la bouche de collègues sceptiques, ces accusations ne sont pas forcément toujours complètement imméritées. Elles nécessitent néanmoins une réponse. A défaut de rentrer dans un grand élan théoricisant sur la portée heuristique de la visualisation, je vous propose une petite expérience, glanée dans le cours intitulé Street Fighting Mathematics professé par Sanjoy Mahajan au Massachussets Institute of Technology.

La somme des n premiers entiers impairs : preuve par récurrence

                 Un théorème mathématique bien connu stipule que la somme des n premiers entiers impairs est égal à . Comment le démontrer ? La solution standard est de démontrer ce fait par récurrence.

  • Pour n=1 : la propriété est trivialement vérifiée (1=1²)
  • Supposons la propriété vraie pour n, soit :

1n (2k-1) = n²

L’est-elle toujours pour n+1 ?

1n+1 (2k-1) = 2n +1 + ∑1n (2k-1) = 2n +1 + n²

Et donc, d’après notre hypothèse de

1n+1 (2k-1)=  2n +1 + n² = (n+1)²

                La propriété étant vraie pour n=1, est vraie pour n+1 si elle est vraie pour n, elle est vraie pour tout n. CQFD

                Cette démonstration est en effet d’une simplicité enfantine. Il n’empêche qu’elle ne nous donne aucune intuition sur le mécanisme qui fait que la somme des premiers entiers impairs est égal au carré du nombre de termes de cette somme.  La démonstration est rigoureuse, juste, simple – mais elle n’est pas particulièrement convaincante…

La somme des n premiers entiers impairs : « preuve » visuelle

Représentons maintenant notre problème graphiquement. Nous dessinons un puzzle, dans lequel on matérialise chaque nombre entier n par une série de n carrés de côté 1. Chaque terme de notre somme d’entiers impairs ajoute un morceau en forme de L à notre puzzle. Chaque pièce supplémentaire du puzzle étend le carré d’une unité de chaque côté.

 

On forme ainsi un carré dont le côté est augmenté d’une unité à chaque fois qu’on ajoute un terme à la somme. L’aire de ce carré de côté n×1=n est donc n×n = .

Vu sous cet angle, le carré ci-dessus à l’appui, notre problème devient aisément compréhensible, et on ne peut que se souvenir de son résultat…

C’est simplement ce genre d’effets, au-delà de toutes raisons stratégiques ou décoratives, que nous recherchons en proposant à nos lecteurs un support visuel à nos raisonnements et à nos résultats…

Florian CAFIERO

Ancien élève de l'Ecole Normale Supérieure, Florian Cafiero étudie l'histoire économique à l'université Paris-IV Sorbonne sous la direction de Dominique Barjot. Il enseigne les "traitements statistiques de corpus" aux Langues'O.

More Posts

Setting bounds in a homogeneous corpus

We inaugurate here a new category, dedicated to sources and research documents. Mostly, we will publish in this category scripts, databases and documents related to articles we have published. The main purpose is, by making our sources available, to allow for everybody who wishes it, to recreate our analyses and, as such, to increase the verifiability and openness of our research, and to allow for interactions with our readers.

In this case, we propose materials related to an article entitled « Setting bounds in an homogeneous corpus: a methodological study applied to medieval literature » who was proposed during last year MASHS conference.

We offer here the databases used, the memo of the R commands, the list of Repeated segments found in the texts, as well as some graphs that were produced during the analyses phase.

Abstract of the paper

The authors present here an exploratory and unspecific method, that does not necessitate any a priori on the data – nor any heavy transformation such as lemmatisation -, that is to be understood as a first step in the apprehension of a corpus. After a first phase of calibration, based on a control sample, they will introduce a method whose heuristic value is to bring out, at different levels, internal divisions of different kinds (diachronic, diatopic, related to authorship or scribes,…), that can then be analysed specifically. They illustrate this method by applying it to a corpus a Occitan medieval texts, the vidas, whose authors and origins are in good part unknown.

Les auteurs présentent ici une méthode exploratoire, non spécifique et ne nécessitant pas d’a priori sur les données -ni de transformations lourdes comme la lemmatisation -, qui se définit comme une première étape dans l’appréhension d’un corpus. Après une phase de calibration, fondée sur l’utilisation d’un échantillon témoin, sera présentée une méthode dont la valeur heuristique est de pouvoir rendre apparentes, à différents niveaux, des divisions internes de différentes natures (diachroniques, diatopiques, autoriales, scribales,…), pouvant ensuite faire l’objet d’analyses spécifiques. Ils illustrent cette méthode par une application à un corpus à première vue assez homogène de courts textes occitans médiévaux, les vidas, dont les auteurs et les origines sont en bonne part inconnues.

Sources

Databases

The first database contains the control sample, a frequency table of 12 troubadours’ cansos, in diplomatic transcription.

The second database contains a frequency table for the vidas of manuscript A.

R commands

The document contains a simple and very partially documented list of R commands that were used, as well as an R function created by the authors for the weighting of the texts (To compensate specifically for the different lengths of the texts, we adopted a very basic weighting (let Fij be the frequency of term i in document j and Tj the total of terms in document j, Fij/Tj). This was allowed by the relationship between the number of word forms and total number of words: length of the texts would still be rendered by their lexical richness, while not being the most important element of all subsequent analysis.)

Repeated Segments

For a presentation of the concept of RS and their use, see A. Salem and P. Lafon (1983). L’inventaire des segments répétés d’un texte. Mots 6 (1), 161–177 ; the repeated segments were computed using the Lexico3 software, developed by the SYLED–CLA2T of University Paris 3 Sorbonne–Nouvelle. The shorter segments systematically comprised in a longer one (that is, preceded and followed always by the same two word-forms) were eliminated by the software.

 

 

Jean-Baptiste Camps

Diplômé de l'École nationale des chartes, Jean-Baptiste Camps prépare un doctorat sur la Chanson d'Otinel, sous la direction de Dominique Boutet (Université Paris Sorbonne), et est ATER à l'École nationale des chartes, responsable pédagogique du master «Technologies numériques appliquées à l'histoire». [CV et liste des publications, voir : http://paris-sorbonne.academia.edu/JeanBaptisteCamps]

More Posts - Website

Follow Me:
LinkedIn

MASHS 2012 – Modèles et Apprentissage en Sciences Humaines et Sociales – Paris, 4 et 6 juin 2012

L’appel à communication pour le cru 20121 du colloque Modèles et Apprentissage en Sciences Humaines et Sociales, qui se tiendra à Paris, à l’Université Paris 1 Panthéon-Sorbonne, les 4 et 5 Juin 2012, est paru. Vous le trouverez sur le carnet AnalyseSHS, ou sur le site du laboratoire Statistique, Analyse, Modélisation Multidisciplinaire (SAMM, EA 4543).

Le thème du colloque est l’application des mathématiques et des méthodes informatiques, et plus généralement de la modélisation, aux sciences humaines et sociales. Il est parrainé par la Société française de statistiques.

Call for paper, English version here.

  1. voir notre précédent billet concernant le cru 2011 []

Jean-Baptiste Camps

Diplômé de l'École nationale des chartes, Jean-Baptiste Camps prépare un doctorat sur la Chanson d'Otinel, sous la direction de Dominique Boutet (Université Paris Sorbonne), et est ATER à l'École nationale des chartes, responsable pédagogique du master «Technologies numériques appliquées à l'histoire». [CV et liste des publications, voir : http://paris-sorbonne.academia.edu/JeanBaptisteCamps]

More Posts - Website

Follow Me:
LinkedIn

Louis Havet, Cesare Segre, critique verbale et diasystème

Dire clairement et fournir les outils pour penser ce que tout le monde croyait savoir est peut-être ce qui caractérise certaines avancées scientifiques. Dans deux articles publiés en 1976 et 1978, Cesare Segre définit ce qu’il nomme le « diasystème » des textes :

Segre (Cesare), « Critique textuelle, théorie des ensembles et diasystème », Bulletin de la classe des lettres et des sciences morales et politiques de l’Académie royale de Belgique, 62 (1976), p. 279–292.

———, « Les transcriptions en tant que diasystèmes », dans La pratique des ordinateurs dans la critique des textes, Paris, 1979, p. 45–49.

Cesare Segre et le diasystème

Revenons à la définition qu’il en propose :

(…) chaque texte littéraire constitue une structure. Cette structure est la réalisation d’un système linguistique et stylistique. (…) Qu’est-ce qui se passe si les retouches linguistiques et stylistiques ne sont pas apportées par l’auteur, mais par des copistes, des éditeurs, etc. ? Du point de vue théorique, il y a interférence de deux systèmes : celui de l’auteur et celui du copiste, de l’éditeur, etc. Le copiste maintient le système de l’auteur, dans la plupart des cas, de façon quantitativement remarquable, mais il y intervient pour réaliser au moins en partie son propre système (…). Les copistes médiévaux travaillent normalement entre deux pôles d’attraction : l’effort pour respecter l’exemplaire qu’ils copient et la tendance à suivre leurs propres habitudes linguistiques. Le résultat est un compromis linguistique ; et le philologue doit péniblement restituer l’aspect originel du texte à l’aide, par exemple, des rimes. Le résultat de cette Sprachmischung pourrait être défini, à mon avis, un diasystème. Le terme, créé par Weinreich désigne en « dialectologie », soit le super-système auquel on peut ramener deux systèmes similaires, soit le système qui naît d’un compromis entre deux systèmes en contact. Il me semble que le mélange linguistique représenté par les transcriptions médiévales constitue un type particulièrement développé et intéressant de diasystème, dans la seconde des deux acceptions données1.

Cette définition, qui renvoie à une réalité et un constat connu, ouvre, par sa théorisation, des horizons riches à la critique textuelle et à la stemmatique :

S’il est vrai, comme je viens de le suggérer, que les concepts de variante, de faute, de leçon équipollente rentrent dans les deux ensembles complémentaires des leçons authentiques et des leçons innovées, la connaissance du système stylistique propre à chaque copiste devient pour le philologue un nouvel instrument d’analyse. En effet, ce qui permettra de reconnaître l’affinité génétique entre deux ou plusieurs manuscrits ne sera plus seulement la présence de fautes communes, mais aussi le fait que ces manuscrits appartiennent au même système stylistique, qui n’est pas celui qui s’est réalisé dans l’œuvre. Chaque variante qui appartient à ce système peut être considérée comme une innovation, même quand elle est tout à fait plausible. Ce critère est particulièrement efficace dans le cas de textes où on décèle de véritables remaniements, plutôt que des fautes, par exemple dans les chansons de geste. (…) Dans le cas le plus simple, le diasystème sera le résultat du compromis entre le système du texte (S1) et le système du copiste (S2) : D = S1 + S2. Mais cette même copie sera à son tour recopiée par un autre copiste, avec son système (S3) ; il en résulte : D = (S1 + S2) + S3, et ainsi de suite. L’établissement du stemma coïncidera alors avec une stratigraphie des divers systèmes qui coexistent dans un texte. S’il est vrai que la dichotomie représente la majorité statistique des possibilités stemmatiques, on est autorisé à conclure que le philologue arrivera à travailler dans la plupart des cas sur deux diasystèmes, ceux des sous-archétypes, et que par leur comparaison, il pourra chercher à restituer l’image de l’archétype (ou de l’original)2.

Mais la force de la théorie de Segre est qu’elle ne se borne pas à souligner l’existence de deux systèmes concurrents, qui seraient clairement séparables et où l’on pourrait toujours dégager ce qui relève de l’un ou de l’autre, mais elle met également en valeur les interférences, les compromis, issus de la mise en contact des deux :

Chaque transcription constitue donc une sorte de « créolisation » du texte. (…) Le dépouillement linguistique qui accompagne d’habitude les éditions critiques ne fait que préciser le mélange entre la langue ou le dialecte de départ et les particularités linguistiques propres au copiste, ou à la série de copistes qui se sont succédés. Souvent, dans des analyses plus subtiles, on arrive à déceler aussi des phénomènes d’interférence, autrement dit des solutions de compromis entre les langues en contact3.

et, pour reprendre la citation de Vogt que donne Segre :

« Tout enrichissement ou appauvrissement d’un système comporte nécessairement la réorganisation de toutes les oppositions distinctives précédentes. Admettre qu’un élément donné soit simplement ajouté au système qui le reçoit sans y provoquer de conséquences signifie détruire l’idée même de système ».

Pour résumer, « Il ne s’agit pas de détecter des fautes et des déformations, mais de découvrir les effets du compromis entre deux ou plusieurs systèmes », perspective qui toutefois « ne compromet pas les méthodes ecdotiques » mais « écarte une idée trop simpliste de la reconstruction du texte. En effet, s’il est toujours permis de corriger les fautes d’un texte donné, par contre les autres variantes réclament un jugement qui soit fondé sur l’évidence du contexte, tout autant que sur la cohérence des diasystèmes en concurrence » et permet au contraire « d’appliquer les procédés de l’analyse linguistique des textes (fondés sur des considérations d’ordre statistique et probabiliste) à l’étude des variantes de contenu (affronté d’ordinaire par une problématique binariste) »4 .

Louis Havet et la critique verbale

Voilà qui nous permet d’aborder avec une regard renouvelé le travail magistral entrepris par Louis Havet, et publié dans son Manuel de critique verbale appliqué aux textes latins, travail qui, chez les romanistes, n’a pas nécessairement toujours eu bonne réputation5. Il faut pourtant faire justice aux constatations de bons sens, qui n’ont, pour certaines, aucunement perdu de leur actualité, que Havet livre dans son introduction.

Tout d’abord, contre les correcteurs qui auraient la main leste, il multiplie les avertissements, et s’il écrit en « subordonnant les corrections aux fautes », c’est parce qu’une « correction ne vaut que par sa traduction en l’énoncé d’une faute » ; et ces fautes doivent être caractérisées par des « indices de faute », à distinguer des « licences de métrique » et des « fautes d’auteur » ; cela doit nous mener à « donner sa pleine valeur à un principe souvent oublié et violé dans la pratique, celui de la concordance des indices de faute. C’est ce principe (…) qui introduit dans la constatation des fautes un élément objectif ». Faisant de son ouvrage une « protestation contre un simplisme mensonger », il rappelle en outre que la critique verbale doit s’appuyer sur des connaissances linguistiques et stylistiques pointues, et il évoque ainsi notamment la « métrique dramatique » (nous soulignons) :

Au lieu d’expliquer tels phénomènes par quelque suggestion du grec, ou bien par une influence prétendue de la phonétique latine, j’y vois les effets d’une nécessité terre à terre et toute pratique, celle de faciliter la récitation de l’acteur en guidant sa mémoire et sa voix. Une démonstration ne serait possible qu’après de longs travaux préparatoires de statistique comparative6.

En mettant en avant l’étude des fautes en elles-mêmes, Havet ouvre la voie à l’étude des systèmes des scribes et à une meilleure connaissances des phénomènes propres à la transmission manuscrite des textes. Il est extrêmement regrettable qu’il n’y ait pas eu, dans le domaine de la romanistique, d’ouvrage équivalent à celui entrepris par Havet. Un travail qui serait sans doute difficile, mais pas hors de portée, et dont on ne saurait, finalement, se dispenser ; les risques d’un raisonnement systématiquement spécifique, sans effort de théorisation générale, n’étant pas moins grands que ceux d’un raisonnement d’ensemble qui néglige les spécificités de chaque cas. Nous ne pouvons, en la matière, qu’applaudir aux propos tenus par Robert Marichal, en conclusion du colloque de 1978 consacré à La Pratique des ordinateurs dans la critique des textes :

Les latinistes ont le Manuel de critique verbale de Havet – il n’intéresse pas seulement d’ailleurs les latinistes et je connais un assyriologue qui en fait le plus grand cas –, mais ils l’utilisent souvent mal, comme un réservoir de corrections, au lieu, comme Havet le souhaitait, de l’étudier et de l’enrichir. Pour la langue vulgaire, nous n’avons rien. (…) J’ai essayé d’adapter à l’ancien français les analyses de Havet et j’ai accompagné, en 1956 et 1970, deux éditions d’un catalogue, ébauches très imparfaites et très incomplètes, en particulier parce que les textes étaient courts, les fautes donc peu nombreuses : deux mille seulement se répartissant en moins de cent catégories. C’est donc tout à fait insuffisant, mais c’est un premier pas que j’accomplissais dans l’espoir, fortement teinté de sceptiscisme, que certains m’imiteraient : je n’ai été suivi par personne, pas plus d’ailleurs que ne l’avait été Havet lui-même, en 1925, dans son édition de l’Asinaria. Je n’en suis pas étonné : c’est un travail long et fastidieux, démoralisant parce qu’il est très complexe ; il requerrait d’ailleurs la collaboration d’un psychologue. Mais il ne paraît pas douteux qu’un gros catalogue, bien fait, fondé sur de nombreux textes variés, nous donnerait une compréhension beaucoup plus profonde de la psychologie d’un copiste et permettrait d’aboutir à une pondération statistique des variantes, dont plusieurs d’entre vous ont d’ailleurs déjà parlé7.

Cet impératif demeure ; tout comme le regret que le principe d’un « catalogue des fautes » ne se soit pas imposé comme partie légitime de toute édition critique, qu’on lui préfère ou non le nom de census des phénomènes du système du copiste8.

Robert Marichal lie d’ailleurs l’élaboration de ces catalogues à la question, alors fraîchement énoncée, de la caractérisation des systèmes des scribes, nécessairement complétée par une étude codicologique et paléographique approfondie : « Plus profondément, par cet examen [des fautes et des aspects codicologiques] on peut espérer tracer, comme on dit aujourd’hui, le profil, plus ou moins caractérisé, bien sûr, d’un copiste, découvrir son propre code, son système, différent de celui de l’auteur et, par conséquent, décrypter ces diasystèmes dont M. Segre nous a montré l’importance et dont l’étude peut dépasser l’ecdotique pour aborder les secrets de la création (…). »9.

Apports à la stemmatique

Revenons un instant à nos moutons stemmatiques : un des enjeux essentiels des critiques apportées aux méthodes statistiques de stemmatologie, dont très notablement celle de Dom Quentin, est d’être, justement, trop « statistiques », en refusant dans un premier sens le jugement de qualité des variantes, et en reportant l’orientation du stemma à une étape ultérieure, après l’établissement des liens entre les manuscrits. Retour de fait à l’empirisme et à son postulat que « communauté de leçon implique communauté d’origine ». Voilà qui a de quoi faire bondir tout adepte de la méthode de Lachmann, pour qui « communauté d’erreur implique communauté d’origine », et ce encore si et seulement si cette erreur est de celles qui n’ont pu être commises indépendamment par deux scribes, ou rattrapées par un copiste un peu habile.

Les méthodes de stemmatologie purement statistiques peuvent vraisemblablement être en ce sens à profit remplacées par des méthodes algorithmiques. Cette donnée a bien été notée depuis un certain temps par les stemmatologues et fait même l’objet d’un projet de recherche spécifique, le projet STAM (Algorithmic Methods in Stemmatology).

C’est par là, bien sûr, que cette question rejoint le diasystème et la critique verbale ; car face à cette nécessaire hiérarchisation des variantes, et aux typologies de faute qui font transpirer les stemmatologues, si l’on peut certes choisir de faire appel au jugement critique du philologue (qui est, toujours, absolument indispensable comme le note Jean-Duplacy10), émerge la nécessité de s’appuyer sur une connaissance fine des mécanismes de transmission des textes, des facteurs de faute ou des causes de variation, pour concevoir des outils philologiques et mathématiques permettant d’estimer la chance qu’à une leçon de constituer une erreur séparative, la probabilité qu’elle a d’appartenir au système du scribe ou à celui de l’original, etc.  Et pour ce faire, partir de l’existant : la caractérisation et l’identification de ce qui forme le système du scribe – ou les systèmes des scribes successifs11.

Ce fondement établi, il sera alors possible de proposer des méthodes, à la fois algorithmiques et statistiques, qui permettront de dégager les stemmas possibles, et d’estimer, pour chacun et de manière relative, la probabilité d’être le bon12.

Peut-être est-il alors possible de relire l’interrogation formulée par Frédéric Duval, « Quel éditeur pourra juger du degré de confiance à placer dans des algorithmes complexes, dont il ne maîtrise pas les soubassements ? »13, en disant qu’il nous faut considérer le chemin à faire comme le prolongement de la philologie par des méthodes mathématiques, plutôt que l’application de méthodes mathématiques à la philologie14.

  1. C. Segre, « Critique textuelle, théorie des ensembles et diasystème », Bulletin de la classe des lettres et des sciences morales et politiques de l’Académie royale de Belgique, 62 (1976), p. 279–292, aux p. 283-285. []
  2. Ibid., p. 286. []
  3. Id., « Les transcriptions en tant que diasystèmes », dans La pratique des ordinateurs dans la critique des textes, Paris, 1979, p. 45–49, à la p. 46. []
  4. Ibid., p. 45. []
  5. Voir notamment B. Cerquiglini, qui le qualifie de « traité de criminologie et manuel de psychologie clinique du scribe » Bernard Cerquiglini, « Eloge de la variante », Langages, 17 (1983), p. 25-35, à la p. 30, terme d’ailleurs proche de celui employé par Havet, qui dit de son ouvrage qu’il « ressemble à une Pathologie plutôt qu’à une Thérapeutique », pour insister sur le fait qu’il subordonne les corrections aux fautes, et que ce sont ces dernières qui sont au cœur de son ouvrage. []
  6. Louis Havet, Manuel de critique verbale appliqué aux textes latins, Paris, 1911, p. XII-XIII. []
  7. Robert Marichal, « Conclusions du colloque », dans La Pratique des ordinateurs dans la critique des textes, cit.,  p. 285-288, à la p. 287. []
  8. Il faut toutefois citer les deux éditions où Marichal a livré un catalogue de fautes, La navire ou consolation du Roi François Ier à sa soeur Marguerite, Paris, 1956, et  Marguerite de Navarre, La Coche, Genève et Paris, 1971 ; ainsi que la liste donnée dans École nationale des chartes, Groupe de recherches « Civilisation de l’écrit au Moyen Âge », Conseils pour l’édition des textes médiévaux, Fascicule II, Actes et documents d’archives, Paris, 2001, p. 25-30 []
  9. Ibid., p. 288 []
  10. Rappelant que « le rôle d’une philologie éclairée est bien entendu essentiel », il note que « Avant tout calcul taxinomique, manuel ou automatique, le philologue rencontre un certain nombre de problèmes préalables qui sont fondamentalement de son ressort, même quand leur solution comporte un recours aux mathématiques et à l’informatique » ; Jean Duplacy, « Préalables philologiques à la classification automatique des états d’un texte », dans La pratique des ordinateurs dans la critique des textes, Paris, 1979, p. 23-33. []
  11. En la matière, au-delà du domaine de la stemmatologie, les innovations dans le domaine de l’authorship attribution ou de l’identification de séquences aberrantes dans des textes peuvent nous être utiles. Si l’on est en mesure de dégager le système des scribes des différents manuscrits, on peut proposer une approximation, du système du modèle, de l’archétype ou, disons-le, de l’original. Et de là, nous disposons d’outils qui nous permettront d’estimer la probabilité qu’à une leçon d’appartenir à l’un des deux. []
  12. Cela correspondrait aux remarques formulées par Humphrey Palmer, sur la nécessité de ne pas se contenter de proposer un stemma probable, mais de prouver qu’il est le seul possible, ou de savoir qu’il ne l’est pas ; Humphrey Palmer, « Proving uniqueness in a pedigree of manuscripts », dans La Pratique des ordinateurs…,  p. 185-189. []
  13. Frédéric Duval, « Conflit d’interprétations : typologie des facteurs de choix éditoriaux », dans Les enjeux intellectuels des pratiques d’édition (Paris les 4, 5 et 6 mai 2011), Paris, 2011. []
  14. Voir notamment les remarques de Alexander Kleinlogel, « The application of numerical methods to manuscript classification and genealogy has in general been confined to a transfer of quantitative techniques developed for other disciplines. The question of their theoretical adequacy in the domain of textual criticism and of their compatibility with the inherent logical structures has hardly ever been raised or answered…»., « Fundamentals of a formal theory of manuscript classification and genealogy », dans La Pratique…, p. 193-205, à la p. 193. []

Jean-Baptiste Camps

Diplômé de l'École nationale des chartes, Jean-Baptiste Camps prépare un doctorat sur la Chanson d'Otinel, sous la direction de Dominique Boutet (Université Paris Sorbonne), et est ATER à l'École nationale des chartes, responsable pédagogique du master «Technologies numériques appliquées à l'histoire». [CV et liste des publications, voir : http://paris-sorbonne.academia.edu/JeanBaptisteCamps]

More Posts - Website

Follow Me:
LinkedIn

Le scandale du stemma contaminé. Note sur l’usage des cardiogrammes en philologie.

 Lorsqu’il s’intéresse à une tradition textuelle, le philologue peut parfois rester perplexe. En effet, la situation rêvée dans laquelle un texte serait transmis de génération en génération, sinon à l’identique, du moins de manière linéaire (A recopie sur B, qui lui même recopiait sur C etc.), ne se réalise pas nécessairement. Il arrive ainsi qu’un texte ait été copié, non à partir d’une seule source, mais qu’un passage de ce texte soit recopié à partir d’une source, le suivant d’une autre source etc. On parle alors de contamination de la tradition, et plus précisément dans le cas que nous évoquons de contamination successive.

Pour comprendre la généalogie des manuscrits d’un texte, ce qu’on appelle le stemma codicum, il faut dans ce cas découper le texte en fonction  des diverses sources qu’il a pu utiliser. C’est là qu’interviennent nos cardiogrammes.

Même silhouette, même famille

Mais pourquoi diable utiliser des cardiogrammes en philologie ? L’idée, développée par les philologues néerlandais Wattel et Van Mulken, est d’utiliser cet outil comme forme de représentation graphique des distances entre les versions d’un texte.

La marche à suivre pour construire ces cardiogrammes est en fait assez simple. On prend comme point de référence une version, par rapport à laquelle toutes les autres versions seront comparées. Notons que, bien évidemment, le choix de cette version de référence est absolument indifférent, et que la terminologie « de référence » ne renvoie en aucun cas à quelque chose comme : la version la plus ancienne, la version la plus complète etc. Il s’agit seulement de définir arbitrairement un étalon.

On va ensuite comparer, ligne par ligne, ou page par page (en tout cas, unité de texte par unité de texte) la similarité observée entre cette version et chacune des autres. Pour cela, on liste exhaustivement les variantes observées dans les différentes versions étudiées. Et on calcule le nombre de fois par unité de texte choisie où apparaît une variante par rapport au texte de référence. Remarquons que l’on peut bien sûr pondérer ce calcul en fonction du type de variante, considérant qu’un changement de terminaison est x fois moins significatif qu’un remplacement total du mot utilisé. Nous reviendrons sur la question – épineuse – des pondérations en fonction du type de variante en stemmatologie dans un autre billet. Quel que soit donc son mode de calcul, ce nombre est alors transformé, normalisé, pour devenir une sorte de pourcentage de similarité ou de dissimilarité. Si les textes sont identiques tout au long d’une unité, on code +100% leur état ; s’ils sont aussi dissemblables que possibles, on code leur état -100%.

Sur le graphique ci-dessus, représentant le graphique obtenu selon la méthode que nous venons d’énoncer pour les différents manuscrits du Charroi de Nîmes, on peut ainsi se faire une idée de la similarité de ces manuscrits, et de leurs points communs éventuels. On voit par exemple que le manuscrit représenté par la quatrième ligne en partant du haut doit être très proche du manuscrit “de référence”: cette ligne est toujours haute (c’est à dire près de 100%), et plutôt droite (trois petits pics descendants dans la deuxième moitié du texte). On remarque aussi que 4 manuscrits représentés en bas du graphique sont représentés par un tracé quasi-identique: ils ont les mêmes dissemblances avec le texte de référence, et sont donc probablement de la même lignée.

Le cardiogramme

On peut ensuite représenter cette information un peu différemment – c’est ce qui constituera à proprement parler le cardiogramme – pour étudier, non pas la similarité globale, mais les différents points de rupture qui interviennent dans le texte, pour repérer l’éventuelle contamination successive.

L’idée est de filtrer l’information contenue dans le précédent diagramme pour ne retenir que les chocs les plus violents – ceux qui pourraient indiquer, au-delà d’une petite ingérence ou d’erreurs minimes d’un copiste, une rupture dans la source copiée, une trace de cette « contamination  successive » dont nous parlions au tout début. Ces chocs, plus précisément appelés « ondes de choc » (« shock waves »), ou « battements de cœur » (« heart beats ») pour filer la métaphore médicale, sont isolés en ne retenant du précédent graphique que les variations les plus brutales, et en renormalisant non sur échelle -100% / 100%, mais sur une échelle de 0 à 1. Ce choix de normalisation correspond au fait que l’on ne s’intéresse qu’à la valeur absolue du changement, et non à son sens : peu importe que l’on se rapproche ou s’éloigne du texte de référence, ce qui compte est qu’un fort changement a lieu – indiquant un passage probablement inspiré d’une autre source que celle du passage précédent.

 

Ce graphique représente le cardiogramme associé aux manuscrits de tout à l’heure. Ils permettent de visualiser les changements cruciaux dans chacun des textes – à chaque pic correspondant un changement possible de main, de source etc.

Pourquoi des cardiogrammes ?

On pourrait bien évidemment imaginer d’autres moyens statistiques pour obtenir les mêmes conclusions. On peut d’ailleurs totalement se passer de visualisation, et simplement compter, par unité de texte,  les variations par rapport au texte de référence, éventuellement les pondérer, et ne  considérer le chiffre obtenu comme significatif qu’à partir d’un certain seuil, au-delà duquel on considère que le passage a de fortes chances d’être tiré d’une source différente. C’est finalement là toute la démarche des cardiogrammes. Est-ce à dire que les cardiogrammes sont des gadgets ?

L’usage montre en fait que ces visualisations ont une portée heuristique évidente. Elles permettent de voir d’un coup d’œil les manuscrits venant d’une même filiation, et d’isoler les ruptures dues à contamination successive. Bien sûr, on pourrait repérer toutes ces ruptures à l’aide d’un algorithme quelconque. Il n’en reste pas moins que les cardiogrammes sont, si on tient à se faire par soi-même une idée de la tradition que l’on étudie, la visualisation la plus intelligente actuellement proposée.

Bibliographie

DEN HOLLANDER A.A., “How shock waves revealed successive contamination. A cardiogram of early sixteenth-century Dutch Bibles.” in VAN REENEN P., DEN HOLLANDER A.A, VAN MULKEN M.J.P. (Eds), Studies in Stemmatology 2 (pp.99-112), Amsterdam: John Benjamins, 2004

WATTEL E., VAN MULKEN M.J.P., “Schock Waves in Text Traditions, Cardiograms of the Medieval Litterature”, in VAN REENEN P., VAN MULKEN M.J.P. (Eds), Studies in Stemmatology (pp.105-121), Amsterdam: John Benjamins, 1996

 

Florian CAFIERO

Ancien élève de l'Ecole Normale Supérieure, Florian Cafiero étudie l'histoire économique à l'université Paris-IV Sorbonne sous la direction de Dominique Barjot. Il enseigne les "traitements statistiques de corpus" aux Langues'O.

More Posts

Comment buvait-on chez Al Capone? Observer l’inobservable 2

Observer l’inobservable : tel était l’ambitieux agenda de notre précédent billet. Aux incrédules qui refuseraient d’imaginer qu’une telle magie puisse opérer, nous proposons une petite démonstration de ce tour de passe-passe. Le défi que l’on se propose ici n’est pas si mince : retracer la consommation d’alcools des Américains pendant la période de la Prohibition.

Durant cette période, en effet, il n’est plus possible de suivre cette consommation par les moyens habituels : l’alcool qui circule n’est évidemment pas soumis à un contrôle de l’Etat, ni à ses prélèvements obligatoires. De la sorte, il n’existe plus de statistiques fiables sur l’alcool produit et consommé dans le pays. Or, ces données seraient cruciales pour l’historien de la période, qui ne peut ni se faire une idée de l’efficacité de la politique anti-alcool des différents Etats américains, ni prendre une réelle mesure de l’économie souterraine liée aux trafics d’alcool, ni même vérifier l’adhésion réelle des Américains à ces mesures qu’ils ont fait voter.

Votre vue se trouble ? Prenez donc une petite proxy !

Pour résoudre ce problème, Jeffrey Miron, actuellement professeur au Massachussets Institute of Technology, a commis une série d’articles avec différents co-auteurs, visant à isoler une variable, ou un ensemble de variables, qui permettraient de suivre la consommation de boissons alcoolisées des Américains pendant cette période troublée.

Dans un article de 1991 [Miron, 1991], Miron a ainsi testé quatre indicateurs potentiels de la consommation d’alcool aux Etats-Unis: la mortalité due à la cirrhose, la mortalité enregistrée par les médecins comme étant directement due à l’alcool, les arrestations sur la voie publique pour « état d’ébrieté », et les maladies mentales causées par la consommation d’alcool – indicateurs pour lesquels on peut trouver des données fiables tout au long du siècle.

Pour chacune de ces variables, ils ont testé une relation de la forme :

avec :  

Yt un des 4 indicateurs au temps t, 

Xt la consommation d’alcool au temps t,

α, β, γ des constantes,

t un indice de tendance,

εt le résidu.

L’indicateur pour lequel la régression donne les meilleures performances (en particulier, celle où la variance expliquée R² est la plus élevée) sera choisie. De manière surprenante, la variable expliquant le mieux la consommation d’alcool à un temps t se révèle être le nombre de morts par cirrhose au même temps t. Médicalement, ce constat est très surprenant : une cirrhose est le résultat d’une consommation régulièrement excessive d’alcool, elle met du temps à se déclarer. C’est donc une variable décalée (la mort par cirrhose en t+5 ou 6) qui devrait donner les meilleures performances. Pourtant, il n’en est rien, et ceci semble même être une constante internationale sur ce siècle, comme l’ont montré et Miron et Dills dans leur article de 2003. [Dills, 2003]

Grâce à cette relation solide, on peut déduire la consommation d’alcool des Américains pendant la période. Il semblerait que la Prohibition n’ait en réalité fait diminuer la consommation que très peu de temps, et à très faible échelle, avant que la consommation ne remonte impitoyablement, jusqu’à la suppression des lois anti-alcool.

De l’eau dans notre vin

Bien évidemment, ce type d’études ne peut pas remplir les promesses impossibles de notre titre. On ne fait ici qu’inférer l’inobservable, on ne l’observe pas. On comprend toutefois l’intérêt de ce genre de méthodes, qui ne prédit probablement pas parfaitement l’état inobservable, mais qui donne, suite à un raisonnement rigoureux, un ordre de grandeur fiable. L’estimation, même imprécise, est d’un intérêt certain, surtout lorsqu’elle révèle, comme c’est le cas dans les études de Miron et de ses co-auteurs, des résultats assez contre-intuitifs. Nul doute que ce type d’étude donne à penser pour les historiens de la période.

Bibliographie

DILLS A.K., MIRON J., “Alcohol prohibition and cirrhosis”, NBER Working Paper Series, Cambridge, 2003, MIT Press

MIRON J., “Alcohol consumption during prohibition”, NBER Working Paper Series, Cambridge, 1991, MIT Press

 

Florian CAFIERO

Ancien élève de l'Ecole Normale Supérieure, Florian Cafiero étudie l'histoire économique à l'université Paris-IV Sorbonne sous la direction de Dominique Barjot. Il enseigne les "traitements statistiques de corpus" aux Langues'O.

More Posts

TEI, LaTeX et les éditions critiques sur papier : I. Les différents packages

En matière d’édition critique électronique, la norme qui semble aujourd’hui s’imposer suppose l’emploi du XML TEI. Mais, pour la version papier de cette même édition — on peut après tout souhaiter disposer également d’une version papier, ne serait-ce que parce que c’est ce qu’attendent les jurys de thèse et une bonne partie des futurs lecteurs —, quelles possibilités s’ouvrent à nous ? Y a-t-il une possibilité d’obtenir une version papier répondant aux normes de l’édition (et incluant notamment un apparat sur plusieurs étages) sans employer des logiciels de mise en page tels que InDesign, Scribus et apparentés, et en conservant une forme d’encodage sémantique ?

Dans beaucoup de cas, la solution passe par l’utilisation du logiciel LaTeX1. Ce logiciel, qu’il n’est plus besoin de présenter, permet, au travers d’un encodage en partie sémantique de profiter des riches possibilités de mise en page et des algorithmes du langage TeX de Donald Knuth. Il existe un certain nombre de modules complémentaires (packages) pour LaTeX répondant aux normes d’une édition critique.

Les différents packages

Ednotes

Ednotes2, de Uwe Lück, combine deux modules préexistants permettant d’obtenir un texte numéroté (lineno.sty) et des notes sur plusieurs étages (manyfoot) avec renvoi à la ligne. Ce module remplit ces missions fondamentales, mais ne tente pas d’aller plus loin dans les éléments propres à une édition critique (index et glossaire, etc.) et ne possède pas, pour l’instant de documentation unifiée.

Poemscol

Poemscol3, de John Burt, est spécialement dédié aux éditions de recueils de poèmes, et est conçu pour répondre aux normes de la Modern Language Association’s Committee on Scholarly Editions. Il permet un apparat sur plusieurs étages, ou bien encore signale automatiquement les sauts de page à l’intérieur d’une strophe, et a de nombreuses autres possibilités. Il est néanmoins probablement moins utilisé que Ledmac, pour un certain nombre de raisons4.

Comme exemple d’une édition publiée avec Poemscol, on pourra se reporter à John Burt (éd.), The collected poems of Robert Penn Warren, LSU Press, 1998 [Google books preview].

MauroTeX

Le projet MauroTeX5, que je ne connais pas très bien, semble également particulièrement intéressant : il permet, à partir d’un encodage qui lui est propre, d’obtenir, via TeX, une sortie pdf et html répondant aux critères fixés pour le projet d’édition des œuvres de Francesco Maurolico (1494-1575). Conçue pour répondre aux besoins d’un projet particulier, et datant désormais de quelques années, il s’agit d’un très bon exemple de ce qu’on peut faire avec LaTeX pour produire une édition à la fois en ligne et sur papier.

Ledmac

Ledmac (et ses affides Ledpar et Ledarab) est vraisemblablement le module complémentaire le plus utilisé en la matière et le plus complet6.

À l’origine de Ledmac, il y a trois ensemble de macros pour TeX : EDMAC, visant à permettre une mise en page répondant à l’exigence d’éditions critiques telles que celles des Oxford Classical Texts, de Teubner, ou autre ; TABMAC, pour les tableaux ; et EDSTANZA pour la mise en page de textes en vers. Le premier objectif de Ledmac était d’importer ces différentes macros de TeX à LaTeX, ce à quoi les développeurs de Ledmac ont ajouté de nouvelles fonctionnalités qui n’existaient pas dans leur modèle.

Fonctionnalités de Ledmac

Les fonctionnalités de Ledmac sont nombreuses, et on manquerait de place pour toutes les détailler ici. Pour en donner un aperçu, notons que Ledmac permet :

  • de numéroter un texte en prose ou en vers ;
  • de gérer l’indentation d’un texte en vers, vers par vers ;
  • de disposer de 5 étages de notes de bas de page avec renvoi à la ligne ;
  • de disposer de 5 étages de notes de fin, avec renvoi à la page et la ligne ;
  • de disposer de 3 étages de notes de bas de page avec appel de note ;
  • de choisir si l’on souhaite mettre en page ces notes sous formes de paragraphes, d’un paragraphe unique, ou sur deux ou trois colonnes ;
  • de redéfinir le lemme employé par la note si on le souhaite ;
  • de disposer de notes marginales ;
  • de disposer d’un (ou plusieurs) index et/ou glossaires, avec renvoi à la page et à la ligne, entrées et sous-entrées, renvois, etc.
  • en y ajoutant Ledpar, de disposer du texte en parallèle, sur deux colonnes ou deux pages, avec une correspondance exacte entre les deux textes, pour une édition/traduction ou une édition synoptique ;
  • de mettre en page des tableaux dans le cadre du texte numéroté (pour les éditions de textes techniques, par exemple).

En outre, Ledmac est bien sûr open source et sous The LaTeX Project Public License (lppl)  et la documentation inclut le code commenté du package : il est donc assez aisé de l’adapter à ses propres besoins. Parmi les modifications locales que l’on peut faire assez facilement, on notera qu’on peut :

  • créer de nouveaux étages de notes de bas de page ou de fin (si les 13 fournis ne suffisent pas…) ;

  • modifier l’ordre dans lequel les étages de notes vont être placés en bas de page (notes avec appel de notes placées avant ou après les notes d’apparat critique) ;

  • modifier l’indexation page-ligne pour, par exemple, modifier le séparateur page-ligne ou pour n’indexer les termes qu’à la ligne ou au vers ;

Exemple d’utilisation

Pour présenter un bref exemple d’utilisation de Ledmac, voici ce que donne un passage d’édition :

premier exemple LedmacOn peut également (ce n’est pas forcément conseillé pour un certain nombre de raisons) redéfinir (en préambule) le nom des commandes pour obtenir des noms qui aient plus de sens, et se retrouver par exemple avec un code tel que : Deuxième exemple LedmacCe qui, dans les deux cas, pourra donner :

Exemple de résultat de Ledmac sur une mini-page  De nombreuses thèses ou éditions critiques publiées ou en cours de publication ont été faites avec Ledmac, dans le monde anglo-saxon, mais aussi ailleurs, en France notamment7.

En conclusion : et la TEI dans tout ça ?

Et la TEI dans tout ça ? Faut-il encoder deux fois son édition, en XML TEI puis en LaTeX ? Peut-on, à partir d’un document TEI, obtenir un code LaTeX exploitable ?

De nombreuses initiatives existent pour la conversion de documents XML en LaTeX : le sujet à fait l’objet d’un cahier Gutenberg8, d’un billet de Lou Burnard sur le carnet Foxglove (Tweaking the Agora Stylesheets – 1, http://foxglove.hypotheses.org/272) et  de diverses expérimentations en cours (je suis d’ailleurs preneur de toute information sur ces initiatives, en commentaire de ce billet ou par mail).

À vrai dire, la question du passage de TEI à LaTeX mériterait un billet en soi, qui suivra peut-être !

 


  1. Voir notamment notre compte-rendu de l’atelier organisé par l’École nationale des chartes, Du texte à l’écran : L’édition de textes à l’heure de l’électronique [http://graal.hypotheses.org/95] sur ce même carnet. []
  2. Uwe Lück, ednotes.sty’ : for critical editions with LaTeX, 2006 [en ligne : http://ftp.oleane.net/pub/CTAN/macros/latex/contrib/ednotes/ednotes.pdf]. []
  3. Voir John Burt, Typesetting Poetry Collections with poemscol, 2011 [en ligne : http://ftp.oleane.net/pub/CTAN/macros/latex/contrib/poemscol/poemscol.pdf]. []
  4. Pour un débat sur Poemscol et sa comparaison avec Ledmac, voir notamment la discussion suivante sur comp.text.tex, http://compgroups.net/comp.text.tex/ledmac-and-critical-epic-poetry-without-stanzas et particulièrement l’intervention de John Burt. []
  5. Voir Jean-Pierre Sutto, Il Mauro-Tex, (traduction française disponible également), http://www.maurolico.unipi.it/mtex/mtex.htm. []
  6. Voir Peter Wilson et Herries Press , ledmac’ : A presumptuous attempt to port EDMAC, TABMAC and EDSTANZA to LaTeX, based on the original work by John Lavagnino, Dominik Wujastyk, Herbert Breger and Wayne Sullivan , [en ligne : http://ftp.oleane.net/pub/CTAN/macros/latex/contrib/ledmac/ledmac.pdf] []
  7. Pour la France, on citera la thèse de doctorat en cours de publication d’Anne Rochebouet, ‘D’une pel toute entiere sans nulle cousture: la cinquième mise en prose du “Roman de Troie” de Benoît de Sainte-Maure, édition critique et commentaire, doctorat, Université de Paris Sorbonne (Paris IV), 2009 ; pour les Pays-Bas, voir aussi les éditions de Dirk-Jan Dekker et notamment, « Iohannis Buridani De Dependentiis, diversitatibus et convenientiis [John Buridan’s Treatise de Dependentiis] », Vivarium, 42 (2004), p. 115-149 [URL : http://search.ebscohost.com/login.aspx?direct=true&db=aph&AN=14593067&site=ehost-live, DOI : 10.1163/1568534042066983]. []
  8. 51, octobre 2008 (paru en avril 2010) : LATEX vers XML : un état des lieux [http://cahiers.gutenberg.eu.org/cg-bin/feuilleter?id=CG_2008___51]. []

Jean-Baptiste Camps

Diplômé de l'École nationale des chartes, Jean-Baptiste Camps prépare un doctorat sur la Chanson d'Otinel, sous la direction de Dominique Boutet (Université Paris Sorbonne), et est ATER à l'École nationale des chartes, responsable pédagogique du master «Technologies numériques appliquées à l'histoire». [CV et liste des publications, voir : http://paris-sorbonne.academia.edu/JeanBaptisteCamps]

More Posts - Website

Follow Me:
LinkedIn

Observez l’inobservable: la magie des proxys

Pour les spécialistes d’époques lointaines, ou pour ceux qui s’intéressent à une histoire plus récente, mais néanmoins troublée, il n’est pas rare de ne disposer que d’une information lacunaire sur tel ou tel point ou période que l’on voudrait étudier. De ce fait, les bases de données que nous utilisons sont régulièrement entachées de vides, de “.”, ou de “NC”, mentions aussi disgracieuses qu’agaçantes. Souvent, il n’y a cependant pas de quoi s’alarmer: si les valeurs manquantes sont réparties aléatoirement dans la base de données, on peut poursuivre notre étude sans dangers. Si quelques passages d’un texte ont été effacées par-ci par-là, selon les caprices du temps et de l’encre, pas d’inquiétude. Si un fonctionnaire peu scrupuleux a oublié de noter de temps en temps une valeur dans les tables qu’il se devait de remplir, aucun souci. Mais que faire lorsque ces informations manquantes ne sont pas le fruit du hasard ? S’il manque un passage entier dans nos données, ou une séries de valeurs ayant une cohérence particulière, tous nos calculs ultérieurs s’en trouvent faussés. Comment alors combler ces manques ? On propose ici d’étudier rapidement une méthode classique face à ce genre de défaillances de nos connaissances: l’usage de “proxys”.

Définition d’une proxy

Bien entendu, les proxys dont nous parlons ici n’ont rien à voir avec les serveurs intermédiaires que vous utilisez pour accélérer ou sécuriser votre navigation web. Une proxy est en fait une variable particulièrement étroitement corrélé à une variable d’intérêt, quelque soit d’ailleurs la nature de cette corrélation. Son utilité est évidente: quand on ne peux plus observer notre variable d’intérêt, faute de données, on utilise sa variable proxy, dont on connaît le lien avec notre variable d’intérêt.

Supposons ainsi que je m’intéresse à l’histoire des famines dans une région donnée, et que je ne peux plus observer pendant un temps la production de blé – suite à une période de trouble, les taxes sont mal collectées, et la production plus mal mesurée que d’habitude. Comment puis-je faire pour continuer à observer l’évolution de cette production ? Pour ce faire, je vais tester la corrélation entre cette variable d’intérêt, la production de blé, et les autres variables que j’ai à ma disposition: conditions météorologiques, prix du pain, etc. Si je réussis à établir une relation régulière dans le temps entre l’une de ces variables et la production de blé, je vais pouvoir déduire la valeur de cette production pendant mon époque trouble grâce à l’autre variable que j’observe encore.  Si je peux par exemple établir qu’il existe une relation du type:

production de blé au temps t = f (prix du pain au temps t+1)

alors, je pourrais, quand me manquent des valeurs de la production de blé, calculer f(prix du pain en t+1) et estimer la production de blé en t. On dit alors que le prix du pain est un proxy de la production de blé.

Condition d’utilisation

Quelles sont les conditions pour pouvoir utiliser sans danger une telle variable à la place d’une autre ? Pour mieux s’en rendre compte, plaçons nous dans un cas simple, où nous essayons d’utiliser une variable inobservable dans une régression linéaire simple. On cherche à tester le modèle suivant:

Y = β0 + β1 x1+ β2 x2 + ε

où x2 est une variable inobservable, les autres variables étant elles observées, ε étant classiquement le résidu. Heureusement, nous avons des données concernant une variable a priori sans intérêt, mais en réalité fortement corrélée à notre insaisissable variable x2. Cette variable salvatrice, que nous appellerons s, vérifie en effet assez bien, d’après nos estimations, la relation:

x2= α0 + α1 s + ε2

En remplaçant dans notre première équation, on obtient:

Y= β0 + β1 x1+ β20 + α1 s + ε2) + ε

Ce qui se développe trivialement en:

Y= β0 + β1 x1+ β2 α0 + β2α1 s +  β2 ε2 + ε

Les alphas et les betas étant des coefficients réels, on peut les regrouper sans danger. En posant γ0= β0 + β2 αet γ1 = β2α1, on réécrit notre modèle sous la forme:

Y= γ0 + β1 x1 + γ1 s + β2 ε2 + ε

Le seul problème qui peut alors émerger vient du résidu ε2 , qui, s’il est par malheur corrélé à x1, va marquer notre modèle du sceau malin de l’hétéroscédasticité. Sous réserve de la vérification simple de la non-corrélation entre variable(s) explicative(s) du modèle original et résidu du modèle décrivant la relation entre variable d’intérêt et proxy, on peut donc remplacer sans danger notre variable originale inobservable par son proxy dans nos calculs.

Florian CAFIERO

Ancien élève de l'Ecole Normale Supérieure, Florian Cafiero étudie l'histoire économique à l'université Paris-IV Sorbonne sous la direction de Dominique Barjot. Il enseigne les "traitements statistiques de corpus" aux Langues'O.

More Posts

Exorciser vos statistiques 2: combattre la débauche des modalités

Lors de mon précédent billet, je m’étais rapidement intéressé à quelques principes permettant d’éviter des problèmes de dimensionnalité liés à un grand nombre de variables. Cette fois-ci, je souhaiterais évoquer le cas où c’est le grand nombre des modalités de la variable qui pose problème.

Dans l’analyse des correspondances multiples (ACM), la contribution de chaque variable nominale à l’inertie diffère en fonction du le nombre des modalités de cette variable. Dans le cas où des variables possèdent  des modalités relativement nombreuses, on observe l’apparence de modalités peu fréquentes, aussi appelées « classes faibles ». Celles-ci posent rapidement problème, du fait qu’elles contribuent à l’inertie de la variable plus qu’elles ne devraient étant donné leur réel impact.  De ce fait, elles contribuent souvent bien trop fortement à la détermination des premiers axes factoriels – faussant ainsi la représentation des données.

Comment se sortir de ce problème ?  Que faire de ces modalités bien encombrantes ?

Tuez les toutes, Dieu reconnaîtra les siennes!

Encore une fois, l’une des manières simples de traiter ce problème est de supprimer les gêneurs, et donc, de ne pas s’intéresser à ces classes faibles. C’est ce que fait l’analyse spécifique des correspondances multiples, développée en particulier par la statisticienne française Brigitte Leroux [Le Roux B., 1999 ; Le Roux B., Rouanet H., 2004].

Pour éviter de fausser le calcul des inerties et donc des axes factoriels, on ignore sans autre forme de procès les modalités trop peu fréquentes dans le calcul des distances entre les individus .

Soyez plus pondéré mon ami…

Une approche alternative à cette première méthode, efficace bien qu’un peu brutale au premier abord, a été développée en 2009 par Odysseas Moschidis, de l’hôpital de Thessalonique (oui, décidément, nous dépendons beaucoup des biostatistiques).

Dans son article, O. Moschidis propose de maintenir malgré leurs inconvénients les modalités faibles dans les calculs de distance. Mais pour éviter de biaiser l’analyse, il change tout bonnement de métrique, remplaçant le traditionnel Ξ² par une nouvelle métrique, qui prend également en compte le nombre de modalités de chaque variable. Celle-ci s’écrit :

ai et aj sont les individus, m leurs caractéristiques communes, s le nombre total de caractéristiques communes, les lambdas et mus représentant les modalités respectivement exprimées par ai et aj pour une variable k .

L’originalité du calcul réside en fait dans le terme [1/(pk-1)], où pk  représente le nombre de modalités d’une variable k.

Du fait de ce terme, on traite tout de même les classes faibles, mais la surestimation de leur importance dans le calcul des axes est ici annulée par la pondération. Une approche simple mais astucieuse, qu’il peut être utile d’adopter.

Bibliographie

LE ROUX Brigitte, « Analyse spécifique d’un nuage euclidien », Mathématiques et Sciences humaines, 37, 1999.

LE ROUX Brigitte, ROUANET Henry, Geometric Data Analysis from Correspondence Analysis to Structured Data Analysis, Dordrecht-Boston-London, Kluwer Academic Publisher, 2004.

MOSCHIDIS Odysseas, “A Different Approach to Multiple Correspondence Analysis than that of specific MCA”, Mathematics and Human Sciences, n°186, 2009

Florian CAFIERO

Ancien élève de l'Ecole Normale Supérieure, Florian Cafiero étudie l'histoire économique à l'université Paris-IV Sorbonne sous la direction de Dominique Barjot. Il enseigne les "traitements statistiques de corpus" aux Langues'O.

More Posts

Zotero et BibLaTeX : créer une bibliographie classée par thèmes

Parmi les utilisations un peu plus avancées que l’on peut faire du couple Zotero-BibLaTeX, nous verrons aujourd’hui comment créer une bibliographie thématique.

Pour exposer quelque peu mon objectif : je souhaite utiliser une collection Zotero pour créer ma bibliographie de thèse, mais j’ignore encore si j’opterai en définitive pour un classement thématique ou un classement alphabétique strict. Quoi qu’il en soit, j’ai dans un premier temps besoin, pour mes recherches, d’une bibliographie classée par thèmes.

Plutôt que de classer fastidieusement les références à la main, il est possible d’opter pour une solution exploitant une fonctionnalité de Zotero, les marqueurs (tags) et une fonctionnalité de BibLaTeX, le classement par mots-clés.

Dans un premier temps, avec un thesaurus maison, je marque mes références dans Zotero (certaines possèdent déjà des marqueurs qui proviennent de la source que j’ai enregistrée. Sur chaque référence, les marqueurs préexistants sont signalés par une étiquette orange, ceux que j’ajoute par une étiquette bleue :

Aperçu Zotero
Voir les marqueurs à droite

J’opte pour une normalisation. Pour ce faire, je suis aidé par la liste que me donne Zotero des tags employés, et par les fonctionnalités de tri : lorsque je sélectionne toutes les références portant un marqueur donné, j’obtiens une liste des autres marqueurs que ces références portent également (je peux même en croiser plusieurs) :

Tri par marqueur
Le tri par marqueur

 Une fois cette indexation de la bibliographie réalisée, j’utilise dans LaTeX la commande du package BibLaTeX suivante :

 Le code LaTeX

Je peux croiser les mots-clés, ce qui m’évite d’avoir à réaliser une double indexation :

\printbibliography[keyword=contexte,keyword=anglo-normand]

Je peux aussi imprimer ma bibliographie en excluant un des mots-clés :

\printbibliography[notkeyword=non classé]

Pour finir, voici une version un peu plus avancée de la commande, avec un titre, un paragraphe introductif et un post-scriptum :

\defbibnote{introduction}{Cette section contient des g\'enéralités concernant la littérature épique médiévale et particulièrement la chanson de geste.}
\defbibnote{postscriptum}{On se rapportera également aux sections concernant le contexte historique de la littérature épique}
\printbibliography[keyword=épique,%
title=Littérature épique : généralités,%
prenote=introduction,%
postnote=postscriptum%
]

Jean-Baptiste Camps

Diplômé de l'École nationale des chartes, Jean-Baptiste Camps prépare un doctorat sur la Chanson d'Otinel, sous la direction de Dominique Boutet (Université Paris Sorbonne), et est ATER à l'École nationale des chartes, responsable pédagogique du master «Technologies numériques appliquées à l'histoire». [CV et liste des publications, voir : http://paris-sorbonne.academia.edu/JeanBaptisteCamps]

More Posts - Website

Follow Me:
LinkedIn

N-grams et identification des auteurs

Ces derniers temps, les études dans le domaine de l’authorship attribution ou de la classification des textes ont pris un souffle nouveau par le biais de l’utilisation de n-grams1, ouvrant des perspectives nouvelles pour la création de modèles indépendants de la langue du texte, de modèles ne nécessitant pas de preprocessing, d’encodage syntaxique, ou de connaissances a priori sur le style des auteurs, avec des taux de réussite souvent relativement élevés. Cette tendance nouvelle mérite quelque peu d’attention et d’explication.

Que sont les n-grams ?

Comme leur nom l’indique, les n-grams sont des suites d’un nombre donné de caractères (bigrammes, trigrammes, 4 grams, etc.).Pour prendre un exemple, avec des 5 grams, la phrase suivante :

Le chat mange la souris [oui, l’originalité des exemples est notre péché mignon]

donne :

Le ch, e cha, _chat, chat_, etc.

Quelle utilité ?

Par rapport à des analyses lexicométriques réalisées sur des listes d’occurrences de mots classiques, l’utilisation de n-grams permet de capter des informations relatives à la syntaxe, des cooccurrences, en un mot des séquences répétées. Pour prendre un petit exemple, si d’un point de vue d’analyse de fréquences de mots les deux phrases :

Le chat obèse mange la souris [et oui, à force…]

Le chat mange la souris obèse [il a très faim…]

sont équivalentes (le nombre d’occurrences de chaque terme étant égal), l’utilisation de n-grams fournira deux listes relativement différentes, rendant compte d’éléments syntaxiques et sémantiques autrement ignorés.

Pour autant, cette méthode est moins lourde à mettre en place que l’utilisation d’un encodage syntaxique. En particulier, cette méthode a l’avantage de ne pas être dépendante de la langue utilisée dans le texte à analyser. Ces performances ont d’ailleurs été testées avec succès sur des textes de langues diverses : anglais, grec, chinois .

Un autre intérêt des n-grams touche à l’analyse de champs lexicaux ou au rapprochement de lemmes. Ainsi, une liste de fréquences traditionnelle, non lemmatisée, distinguera chat, chats, etc. Un trigramme identifiera l’existence d’une équivalence. De la même manière, il pourra rapprocher le chat de le chaton (séquence le chat commune).

Quelques modèles mathématiques utilisant les n-grams

Il existe un nombre élevé de modèles employant les n-grams pour l’identification des auteurs, mais un bon nombre partage la caractéristique de se fonder sur la constitution de « profils » pour chaque auteur à partir d’un corpus d’entrainement, et de la comparaison probabiliste de chaque texte à attribuer avec ce profil2. La façon dont les profils sont construits peut varier.  Kešelj et al. les construisent en choisissant arbitrairement un nombre L de n-grams les plus fréquents (un profil d’auteur est alors constitué de ces L n-grams et de leurs fréquences normalisées). On peut également choisir de retirer tous les n-grams qui ne sont pas commun à au moins deux textes du même auteur. Le problème qui peut se poser dans la construction de ce type de profils est encore une fois celui de la dimensionalité : l’ensemble de n-grams différents contenus dans un texte sera la plupart du temps plus élevé que celui de mots différents (à part dans le cas de n-grams courts). Pour résoudre cette difficulté, diverses méthodes ont pu être proposées3.

Une fois ces profils constitués, il faut déterminer la probabilité qu’un texte relève d’un profil ou d’un autre, et donc qu’il ait été écrit par tel ou tel auteur. Divers modèles  probabilistes ont pu être employés à cette fin, notamment la classification naïve bayésienne. Le modèle employé par Kešelj et al. quant à lui reprend un algorithme énoncé dans les années 70 par Bennett4 et utilisé par lui avec des bigrammes pour comparer deux textes. Soit M(I,J) la fréquence du bigramme composé des lettres I et J dans le premier texte et N(I,J) la fréquence du même bigramme dans le second texte :

permet de mesurer la dissimilarité entre les deux textes. Pour pondérer les variations importantes de fréquence et éviter que les n-grams les plus fréquents aient un poids trop importants, Kešelj et al. choisissent en outre de «normaliser» les différences de fréquence en les divisant par la fréquence moyenne des n-grams considérés. Ce qui donne, avec f1(n) et f2(n) étant la fréquence du n-gram n dans le profil et dans le texte à attribuer :

En utilisant cet algorithme, les auteurs obtiennent un pourcentage de réussite, variant selon la longueur des n-grams et la taille des profils, qui se situe la plupart du temps à 83%, tout en variant entre 50 et 100%. D’autres modèles ont également pu permettre d’obtenir des taux de réussite comparables, mais il serait bien trop long de les voir tous ici, et, pour épargner nos forces et celles du lecteur, réservons leur présentation à une prochaine occasion !

  1. Voir notamment V. Kešelj, F. Peng, N. Cercone  et C. Thomas, « N-gram-based author profiles for authorship attribution », in Proceedings of the Conference Pacific Association for Computational Linguistics, PACLING, 2003, 3, p. 255–264 [en ligne] ; voir également les synthèses proposées dans Shlomo Argamon, Moshe Koppel, et Jonathan Schler, « Computational methods in authorship attribution. », Journal of the American Society for Information Science & Technology, 60 (2009), p. 9-26, aux p. 12-13 , ainsi que E. Stamatatos, « A survey of modern authorship attribution methods », Journal of the American Society for information Science and Technology, 60 (2009), p. 538–556, à la p. 541 [en ligne]. []
  2. L’efficacité de cette approche a été soulignée par Fuchun Peng et al., « Automated authorship attribution with character level language models », in 10th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2003), 2003, p. 267–274. []
  3. J. Houvardas and E. Stamatatos, « N-gram feature selection for authorship identification », Artificial Intelligence: Methodology, Systems, and Applications (2006), p. 77–86, proposent par exemple de comparer chacune des caractéristiques d’un profil avec celles qui lui sont similaires, et, à chaque fois, de ne garder que la plus significative. []
  4. William Ralph Bennett, Scientific and engineering problem-solving with the computer, Prentice Hall PTR, 1976. []

Jean-Baptiste Camps

Diplômé de l'École nationale des chartes, Jean-Baptiste Camps prépare un doctorat sur la Chanson d'Otinel, sous la direction de Dominique Boutet (Université Paris Sorbonne), et est ATER à l'École nationale des chartes, responsable pédagogique du master «Technologies numériques appliquées à l'histoire». [CV et liste des publications, voir : http://paris-sorbonne.academia.edu/JeanBaptisteCamps]

More Posts - Website

Follow Me:
LinkedIn

Colloque Modèles et apprentissages en Sciences Humaines et Sociales (MASHS 2011)

Les 23 et 24 juin prochains se tiendra à Marseille, au Centre de la Vieille Charité, la cinquième édition du colloque Modèles et apprentissages en Sciences Humaines et Sociales (MASHS 2011), consacrée à la modélisation mathématique ou informatique appliquée aux sciences humaines et sociales, hébergée cette année par le Groupement de Recherche en Économie Quantitative d’Aix Marseille (Gréqam) et organisée par Juliette Rouchier et Nathalie Villa-Vialaneix. Le programme en est à présent disponible.

L’après-midi du 23 se tiendra en partenariat avec le séminaire Statistique et Informatique pour les SHS de l’Université Paris 1 (http://analyseshs.hypotheses.org/). Florian et moi-même interviendront le 24 et parleront encore un peu des vidas de troubadours (« Setting bounds in an homogeneous corpus : a methodological study applied to medieval literature »).

Avis aux amateurs !

Jean-Baptiste Camps

Diplômé de l'École nationale des chartes, Jean-Baptiste Camps prépare un doctorat sur la Chanson d'Otinel, sous la direction de Dominique Boutet (Université Paris Sorbonne), et est ATER à l'École nationale des chartes, responsable pédagogique du master «Technologies numériques appliquées à l'histoire». [CV et liste des publications, voir : http://paris-sorbonne.academia.edu/JeanBaptisteCamps]

More Posts - Website

Follow Me:
LinkedIn