Pour cette nouvelle année que nous vous souhaitons aussi heureuse que possible, nous ouvrons un nouveau chapitre dans notre série “à la recherche d’Excalibur”. Sans pour autant clore notre petit tour des langages de programmation utiles en sciences humaines, nous allons nous attacher un instant à vous présenter le riche marché des logiciels statistiques, grâce auxquels vous passerez, j’en suis sûr, de grands moments de plaisirs.
"Piled Higher and Deeper" by Jorge Cham www.phdcomics.com
Commençons d’abord par les logiciels commerciaux, que nous nous devons de présenter, même si au cours de nos recherches et de nos prochains billets, nous utiliserons essentiellement (euphémisme, quand tu nous tiens!) des logiciels libres. L’importante utilisation de ce type de logiciels dans des situations commerciales (finance, étude de marché, biostatistique) a incité de nombreuses firmes à développer des programmes performants (il en existe aujourd’hui plusieurs dizaines), et somme toute assez diffusés dans le milieu de la recherche. Nous en présentons ici quelques uns.
SAS – Statistical Analysis System
Répandu dans le monde universitaire français, en particulier chez les économistes (le fait qu’il s’agisse du logiciel qu’utilise l’INSEE n’y est pas étranger), le logiciel SAS est, dans sa version “standard”, un logiciel généraliste permettant la création et l’édition de base de données, y compris de très grandes envergures, et leur analyse. Le langage de ce logiciel est d’ailleurs basé sur cette distinction. D’un côté, grâce aux “étapes data”, vous pouvez modifier, fusionner, recomposer comme bon vous semble vos bases de données – par exemple, créer une base de données “sacregraal” à partir d’une base données originelle “graal”, en supprimant des variables gênantes:
De l’autre côté, grâce aux “procédures” (proc), vous pouvez réaliser vos régressions, vos analyses factorielles, faire éditer des statistiques descriptives, ou créer des graphiques prêts à exporter – mais ce n’est pas pour le côté visuel de ces derniers qu’on admirera SAS. Vous pourrez par exemple tenter d’expliquer les rires devant Sacré Graal par la présence de tel ou tel acteur, grâce à une régression logistique de premier choix:
Des macros vous permettront par ailleurs de réaliser des tâches automatiques – un outil bien utile.
SAS en est aujourd’hui à sa version 9.2, datant de 2008. Mais il peut malgré tout être utilisé de sorte qu’il soit entièrement à la pointe de l’actualité. SAS permet en effet d’appeler des fonctions depuis le logiciel libre R, et de coder en R directement dans son interface, grâce à SAS/IML(R) Studio 3.3. Ceci permet de profiter de toutes les innovations réalisées dans les packages pour R, avant que celles-ci ne soient éventuellement retranscrites dans le logiciel (nous reviendrons sur ces points quand nous parlerons de R dans un prochain billet).
Stata
Pas d’acronyme cette fois pour le nom de ce logiciel, qui n’est que la contraction de “stat” et “data”. Développé depuis plus de 25 ans par la Stata Corporation, Stata est certainement le rival majeur de SAS dans le monde académique, en particulier en économie, mais aussi en sciences médicales.
Lui aussi à vocation généraliste (on y retrouve peu ou prou les mêmes fonctions que dans SAS), Stata a néanmoins une originalité majeure pour un logiciel propriétaire et commercial: il permet aux utilisateurs de créer ses propres extensions (“ado-files”), qui peuvent être ensuite proposées au téléchargement. Un avantage certain, augmenté de l’abondante littérature autour de ce logiciel. Une revue à comité de lectures, le Stata Journal, ainsi qu’une mailing list, la Statalist, documentent abondamment potentialités et les mises à jour du logiciel.
En terme de langage, Stata paraît peut-être moins systématiquement construit que SAS, mais donne des programmes particulièrement courts à écrire. La régression logistique de tout à l’heure s’écrirait ainsi tout simplement (à la déclaration de la base de données près):
logistic laugh tgilliam tjones gchapman jcleese eidle mpalin
Si Stata a par contre un désavantage, c’est son prix: aux dernières nouvelles, environ 500 euros pour la licence “académique”…
Autres logiciels utiles
Les historiens s’intéressant régulièrement à des séries temporelles, ils pourront utiliser avec profit EViews, spécialisé dans ce domaine – bien qu’il assure également la plupart des fonctions des logiciels généralistes. Les étudiants ont accès à une version bridée de EViews 6 (taille maximale des bases de données réduite, ce qui n’est pas si souvent gênant) vendue à 39,95 $. RATS (Regression Analysis of Time Series), son concurrent direct, permet également de puissants calculs autour des séries temporelles, mais gère aussi des fonctions plus rares comme les réseaux de neurone. La licence étudiante de RATS 8.0 coutera par contre 300$, la licence complète 500$…
Ceci reste toutefois donné comparé au très célèbre logiciel généraliste SPSS (Statistical Package for the Social Sciences), récemment devenu propriété d’IBM, qui s’oriente de plus en plus vers les professionnels et de moins en moins vers l’université. SPSS a l’avantage d’être particulièrement agréable à manier pour l’utilisateur, mais ceci a un prix. Toutefois, une version d’essai gratuite de 14 jours de SPSS 19 est disponible, pour quiconque voudrait s’en faire une idée plus précise. Son rival Statistica 10, lui aussi surtout destiné aux entreprises, préserve néanmoins une influence importante sur les campus nord-américains ; il n’est donc pas inintéressant de savoir le manier dans cette optique, d’autant que ces performances en terme de “data mining” sont très intéressantes. Lui aussi très à l’aise dans ce domaine, et champion des analyses factorielles – le logiciel français SPAD pourra certainement séduire, d’autant que son interface graphique est plutôt avenante, rendant le logiciel assez simple d’utilisation.
Notons enfin l’existence du logiciel Stat Transfer, qui permet de convertir tous types de bases de données en le langage que votre logiciel préféré vous demande . Pour l’utiliser, il vous en coutera 59$ pour la version étudiante, 179$ par poste pour la version académique.
Voilà! Avec tout ça, vous êtes armés ! Ruinés, mais armés… C’est déjà ça…
OpenEdition vous propose de citer ce billet de la manière suivante :
Florian CAFIERO (8 janvier 2011). Les logiciels statistiques t.1: les logiciels commerciaux. Sacré Gr@@l. Consulté le 10 octobre 2024 à l’adresse https://doi.org/10.58079/p41v
Si vous êtes intéressé pour inclure ce logiciel dans votre liste…
StatiS, logiciel de statistiques scientifiques que j’ai développé (je suis médecin hospitalier) et que je diffuse gratuitement.
Simple et intuitif, complet, 0 code à rentrer.
Liens:
StatiS Mac
https://drive.google.com/open?id=1eIusvg-y-CHPjok2VzsRB1-HKEg-ztxX
StatiS PC
https://drive.google.com/open?id=1mtYFnxsJ5WuqGrB6-PzC8WfjOj4IU4Bt
Confier l’analyse statistique a des logiciels dont le code source est inconnue me semble extrêmement problématique du point de vue de la rigueur mathématique.
Quel historien apporterait crédit à un texte qui ne cite pas ses sources et dont on ne pourrait pas remonter l’information ? Or ce type de logiciel (même si on peut penser que leurs éditeurs n’ont aucune volonté de biaisé les résultats) ne permettent pas cela.
Bref, au délà de la question philosophique du logiciel libre, la question scientifique par derrière est grande.
Signé : Maïeul qui essaie tant bien que mal de trouver une méthode statistique correcte pour analyser ses textes (analyse qui cherche à trouver les proximités en terme de traditions narratives, pas en terme de vocabulaire, syntaxe, etc.).
En réalité, je ne crois pas qu’il y ait grand chose à dire, en règle générale, sur la rigueur des logiciels commerciaux. Si le code n’est pas divulgué, les formules utilisées sont, elles, accessibles, et peuvent être vérifiées par qui veut. Je me souviens de Mme Brigitte Le Roux critiquant en cours un “parti pris” (son terme exact était plutôt erreur) dans un point précis du calcul des Analyses Factorielles dans un logiciel commercial bien connu. Celui qui veut savoir peut savoir.
Paradoxalement, les packages de R me paraissent beaucoup plus dangereux scientifiquement. Bien sûr, on peut regarder le code ; mais combien d’utilisateurs le font ? Et combien le comprennent ? Une proportion infinitésimale – dont vous faites visiblement partie. Mais, la plupart du temps, rassuré par le fait que tout le monde aurait pu vérifier le calcul, l’utilisateur ne le regarde pas dans le détail. Or, n’importe qui peut éditer un package, laisser traîner des erreurs, ce, le plus souvent, sans que personne s’en rende compte, ces points de détail étant noyés dans la forêt des packages existant.
Les professionnels qui éditent des logiciels commerciaux ont au moins l’avantage:
1- d’être sélectionnés pour leurs compétences dans le domaine ; alors que, croyez-moi, tous les packages R n’ont pas été composés que par des références scientifiques (en moyenne, si, bien sûr, mais pas toujours…).
2- d’être contrôlés par leurs supérieurs, et par des clients, qui ayant un usage quotidien et pointu de leurs logiciels, signaleront rapidement des résultats aberrants.
Si je ne suis pas un fou des logiciels propriétaires, et si je défends le logiciel libre, c’est pour d’autres raisons: difficulté à créer soi-même de nouvelles possibilités, tarifs stratosphériques… Mais je ne crois pas franchement pas que l’angle de la rigueur scientifique soit un bon angle d’attaque.
Certes. Mais avec ce type de raisonnement, on supprimerait les notes de bas de pages des livres d’histoire car la plupart font confiance à l’auteur pour ne pas raconter des bêtises…
Je peux certes vérifier par empiriquement que mon calcul me produit bien une moyenne (si c’est ce que je demande), mais je n’aurais aucune certitude, tant que je n’ai pas accés au code source, que cela me produira {effectivement} une moyenne.
Si on utilise un logiciel statistique, quelqu’il soit, il est important de savoir de quoi on parle effectivement. À quoi correspondent les résultats que l’on retrouve. Il me semble problématique scientifiquement d’utliser un outils dont on ne serait pas capable de comprendre le fonctionnement. C’est d’ailleurs la raison pour laquelle j’ai abandonné pour le moment mon projet d’analyse statitique des traditions narratives, n’ayant pas accès de compétence de base en stats.
Quant à la défense du LL, elle peut avoir plusieurs approches. techniques, philosophiques, commercial etc. Pour ma part, mon propos ne visait que le choix d’un logiciel du pt de vu de la pertinence scientifique, même si par ailleurs je partage les arg en faveur du LL.
ceci dit, j’ai eu le même débat avec des personnes venant des sciences dures, par rapport à des logiciels type MathLab, et j’ai eu les deux opinions …
Pour le coup, si l’argument de la non-vérifiabilité des logiciels commerciaux me paraît, en général, valide, peut-être qu’en ce qui concerne les logiciels de statistiques et de mathématiques, leur utilisation par une majorité (?) de laboratoires d’économie ou de mathématiques les rend, dans ce contexte, non avenues.
De la même manière, les reproches contre les packages de logiciel libre qui peuvent être modifiés par n’importe qui, théoriquement recevables également, me paraissent aussi ici superflus. Les packages de R les plus utilisés sont bien souvent proposés et maintenus par des laboratoires connus (FactoMineR proposé par Agrocampus – Rennes, ADE4 par le laboratoire de Biométrie et Biologie Évolutive de Lyon 1) et sont souvent publiés ou font l’objet de compte-rendus dans des journaux statistiques (et tout particulièrement le Journal of statistical software – voir par exemple le cas du package SOM).
Pour terminer par un petit exemplum, prenons le cas de Wikipedia vs. Encyclopedia Britannica : un article du journal Nature, qui fait suite à une investigation, a prouvé qu’il y avait, sur le nombre d’articles scientifiques revus, autant d’erreurs dans l’Encyclopedia Britannica (commerciale, où les articles sont confiés à des spécialistes et contrôlés par la « hiérarchie ») que dans Wikipedia (librement modifiable par tout un chacun)…
Par ailleurs, nous serions ravis de discuter un peu plus en détails de ces problématiques autour des traditions narratives, si le cœur vous en dit.
Ping : Tweets that mention Les logiciels statistiques t.1: les logiciels commerciaux | Sacré Gr@@l -- Topsy.com