L’évaluation et les listes de revues - Florence Audier, La Vie des Idées, 15 septembre 2009

En annexe, le tableau récapitulatif de l’accès des « Français » aux revues classées 1* pour les revues généralistes et 1 pour les revues classées par domaines.

Depuis longtemps, les économistes et les gestionnaires, s’inspirant en cela des pratiques de communautés scientifiques appartenant aux « sciences dures », comme celles de physique ou de chimie, ont érigé la publication d’articles dans des revues internationales « à comité de lecture » comme étant le meilleur critère « d’excellence », avec à la clé une hiérarchisation plus ou moins explicite de ces revues, dont la plupart sont anglo-saxonnes.

Plus récemment, une « liste de revues », cette fois clairement hiérarchisée, a été construite par et pour la section 37 du Comité national (qui est en charge de l’économie et de la gestion), dans le double but d’être une « aide à la décision et non pas un moyen de classement aveugle et automatique qui se substituerait eo ipso à une instance d’évaluation et de jugement scientifique » [1]. Plus précisément, il s’agissait pour ses initiateurs de mettre sur pied, avec la communauté concernée, une liste devant « servir aux évaluateurs à mieux repérer les revues reconnues et considérées comme de référence ». Avec aussi le souci, « dans un contexte où la bibliométrie gagne du terrain […] de ne pas se faire imposer de l’extérieur un classement moins soucieux de représenter les divers domaines de l’économie et de la gestion ». L’enjeu était donc de donner en quelque sorte un même thermomètre à tous, de fournir des points de repères sur des disciplines ou sous-disciplines que les évaluateurs (qu’ils soient d’ailleurs des pairs ou des nommés) ne connaissent pas forcément, voire réduire les conséquences des nombreuses idées préconçues qui circulent dans le milieu.

Ce système est à présent en œuvre, et la bibliométrie, assortie de toutes ses sophistications, se généralise à l’insu de la plupart de nos collègues ; pire, l’AERES (l’Agence d’évaluation de la recherche et de l’enseignement supérieur) prétend évaluer en classant sur de tels critères externes les unités, voire les personnes, et imposer ses « diagnostics » à l’ensemble de la communauté scientifique, allant même jusqu’à préconiser, outrepassant ainsi son mandat, des modifications de structures. Le moment nous semble donc propice à un examen plus attentif du sens que revêtent les « listes », en particulier la liste en question ; il convient de décrire, par une étude précise, quels sont les contributeurs aux revues que la communauté française des économistes et gestionnaires a placées en tête de liste.

Car l’utilisation de ces « outils » dépasse largement celle qui leur était initialement dévolue, et à travers eux se jouent la conception du travail scientifique et son éventuelle fécondité. Aussi, c’est sur ces critères d’évaluation et les pièges qu’ils recèlent que nous voudrions apporter des éléments de discussion, surtout grâce aux données empiriques que cet article contient. En effet cet indicateur, via l’Agence d’évaluation de la recherche et de l’enseignement supérieur (AERES) et la DPA du CNRS, tend à envahir toute la sphère de l’évaluation et à éclipser tous les autres, bref, à se généraliser partout et peut-être pour toujours, en dépit des très nombreuses critiques qui émanent de toutes parts, des laboratoires comme des « sociétés savantes » et même des éditeurs de revues [2]. Car les choses vont très loin : faut-il rappeler que certains, membres du CNU, évoquent ces classements de revues pour décerner – ou non – la « qualification aux fonctions de maître de conférence », exigeant que des jeunes qui viennent d’achever leur thèse aient déjà deux publications, si possible comme premiers signataires ; et que certains (parfois les mêmes d’ailleurs) souhaitent voir décerner des primes aux heureux accédants… aux revues « top niveau » ! Dans d’autres disciplines, notamment en sciences humaines et sociales mais aussi en astronomie, par exemple, des communautés de scientifiques, et non des moindres, se sont levées pour récuser cette « dictature de la publication » résumée par le célèbre « publish or perish », et le European Reference Index for the Humanities a d’ailleurs renoncé à la notation des revues en A, B ou C, pour s’en tenir à des listes indifférenciées.

Contribution aux revues et qualité des recherches

Rappelons tout d’abord que l’idée de se référer à des listes de revues hiérarchisées se veut évidemment en conformité avec les « meilleures pratiques internationales », c’est-à-dire les pratiques anglo-saxonnes, ou du moins croit l’être. En vérité, loin d’adouber cette « monoculture » en sciences humaines et sociales, et même en économie, les Américains semblent encore aujourd’hui poursuivre un effort exceptionnel en matière de publications académiques et de publications d’ouvrages, via notamment leurs « presses universitaires », alors que cet effort a quasi totalement disparu depuis longtemps en France. L’emprunt aux pratiques anglo-saxonnes n’est donc en l’occurrence que partiel et peut-être n’a-t-on pas pris chez eux ce qu’il y a de mieux. En témoigne un examen rapide du Journal of Economic Literature (JEL). En 2007, par exemple, en quatre numéros, le JEL a édité 1 256 pages de revue. Mais celles-ci sont loin d’être toutes consacrées à des articles puisque le JEL a publié des recensions longues (souvent de plusieurs pages) d’un nombre considérable d’ouvrages : 84 livres ont été critiqués cette même année. À quoi s’ajoutent 1 604 notices d’ouvrages (annotated listings), chacun des ouvrages retenus étant commenté sur un espace allant de 15/20 lignes de colonne jusqu’à une page entière. L’index des auteurs de « new books » (la très grande majorité sont américains et, en tout cas, anglo-saxons), qui récapitule les publications de livres mentionnées au cours de l’année, contient près de 2 600 noms, et cet index occupe à lui seul 25 pages très denses de la revue. Tout est référencé (selon la nomenclature du JEL) pour que les lecteurs potentiels s’y retrouvent en fonction de leurs centres d’intérêt ou leurs thèmes de recherche. Pour être complet autant que possible, il faut sans doute ajouter à cet impressionnant appel à la prise en considération des livres, la liste intégrale des « doctoral dissertations », qui occupe également une place importante de la revue. À noter que le JEL n’est évidemment pas seul à valoriser les livres : d’autres supports, où la place consacrée aux livres est sans doute plus restreinte, publient au moins plusieurs pages d’« annonces » en provenance des principaux éditeurs, en particulier des nombreuses presses universitaires, annonces certes de nature publicitaire, mais en même temps très instructives quant à la production académique. Sans doute faut-il aussi mentionner les revues spécialisées dans la présentation des « new books », dont une part relève des sciences humaines et sociales.

Pour autant, écrire des articles et les faire publier revêt-il un intérêt secondaire ? Distinguons les points de vue.

Si l’on se place du côté de la diffusion des connaissances ou plus largement de la mise à disposition des résultats de travaux, voire de l’expression de points de vue, le vecteur « revue » semble a priori bien adapté à la diffusion large et rapide, qu’il s’agisse d’ailleurs de revues en support papier comme de revues électroniques, avec ou sans « comité de lecture ». Animer les débats, émettre des hypothèses théoriques ou des pistes d’interprétation d’évènements factuels, interroger les politiques, voire lancer des préconisations : le format « article » est non seulement adapté ou utile, il peut paraître irremplaçable, notamment en raison de son côté « non-pérenne ». Dans un article, on devrait pouvoir se risquer, se lancer, se tromper, on aura des « réponses », on ajustera ou non son propos, on pourra passer à autre chose. Les numéros des revues s’enchaînent, la prochaine chassera la précédente… D’autant que dans des disciplines que je qualifierais volontiers de « non-cumulatives », c’est-à-dire où l’on n’est pas obligé de connaître les travaux de tous les collègues pour apporter valablement sa pierre, s’exprimer où travailler – même si c’est évidemment souhaitable d’être à jour de la bibliographie – le caractère éventuellement fugace des revues ne pose pas de problèmes majeurs, chaque auteur étant à même, lorsqu’il le souhaite, de reprendre ses articles pour les synthétiser sous forme d’ouvrage.

Au contraire des articles, un ouvrage (il ne s’agit pas ici des essais) demande maturation et distance, et l’auteur y sera jugé pour sa culture, la solidité et la cohérence de ses raisonnements et de la thèse qu’il défend, sa capacité à répondre ou même à anticiper les objections, et surtout sur ses apports spécifiques, compte tenu de l’état de l’art… Sans espérer le « chef d’œuvre », on attendra, voire exigera de l’ouvrage un certain niveau d’exhaustivité, on jugera ses référents théoriques et ses applications, la pertinence des données et de leur traitement, etc. Bref, un ouvrage étant destiné à durer, à rejoindre des bibliothèques, le niveau d’exigence vis-à-vis de l’auteur et du contenu s’en trouve de facto majoré. Et les critiques – positives ou négatives – pourront intervenir des années après sa publication. D’ailleurs, n’est-ce pas ce qui permet de dire qu’un livre ou qu’une thèse a « fait date » ? Sauf rares exceptions, chacun de nous le sait, en économie, ce sont bien les ouvrages qui font date. Les articles « fondateurs » sont bien rares ! Alors, pourquoi offrir, dans le cadre de l’évaluation, tout l’espace aux articles, plus précisément à certains articles, et rien aux autres modes d’expression et de transmission ?

Écartons provisoirement le business que représentent les revues pour certains éditeurs et les enjeux qu’il y a, pour eux, à être nominés : toute revue écartée de la liste patentée n’aura plus de contributeurs et va mourir ; toute revue « nouvelle » ne pourra survivre que si elle trouve des défenseurs suffisamment puissants pour la faire entrer dans le club sélect, par exemple un groupe de presse déjà bien implanté dans la discipline. D’où sans doute l’empressement qu’elles marquent à indiquer leur ranking, leur citation index, etc., bref à se vendre, d’où aussi l’exceptionnel travail de marketing que nombre d’entre elles déploient, qui n’a absolument rien à voir avec la qualité des contributions.

Si l’on réfléchit à présent aux incidences de ces choix sur la recherche elle-même et son devenir, il faut tout d’abord noter quelques points « positifs » : l’examen des sommaires et des abstracts permet en effet d’identifier relativement rapidement quels sont les sujets traités – à un moment donné – par les chercheurs (du monde entier ? on reviendra plus loin sur le sujet de l’accès à ces titres et de leur diffusion), et de dialoguer éventuellement avec eux, de les contacter (et plus si affinités), de se repérer dans cet univers complexe qu’est notre « communauté scientifique ». Cela permet en même temps de savoir quels sont les sujets « à la mode » – c’est-à-dire ceux qui ont été retenus par les revues patentées –, ce qui peut être d’un grand secours pour postuler auprès des diverses « agences de moyens ». Enfin, dans le même ordre d’idées, cela permet de se repérer dans le maquis des supports, pour identifier sans risque « ce qu’on fait de mieux » et tenter de s’y conformer pour y accéder ou y faire accéder nos doctorants.

Pourtant, ce système recèle de graves défauts qui sont l’exact envers de ces avantages, mais qui vont bien au delà. On voudrait ici insister sur un aspect insuffisamment évoqué, et qui ne se retrouve pas – ou moins – dans les sciences « exactes » : le conformisme que ce type d’évaluation génère concernant les thématiques, les paradigmes, l’origine et le type de données mobilisées, les plans d’expositions et d’argumentation, et donc les façons de réfléchir, d’écrire et de convaincre, défauts qui annihilent largement les avantages potentiels de la forme « article ». Les exemples pullulent : pour avoir une chance d’être publié, il faut tout d’abord lire attentivement les conseils aux auteurs et s’imprégner des articles des autres, pour identifier puis entrer dans le moule. Si l’on est européen, et singulièrement issu d’un pays du Sud, pour avoir une chance d’être publié, mieux vaut trouver un co-auteur anglo-saxon, ayant déjà publié dans une des revues répertoriées dans la « top list », ou, mieux encore, appartenant à un board (ce sont d’ailleurs souvent les mêmes). Ce sera de préférence un universitaire qu’on a connu lors de son post-doc, ou bien que son « patron » a fait venir comme professeur invité (ou réciproquement) ou qu’on a croisé dans un colloque où votre équipe vous a fait la faveur de vous propulser (et de vous financer). Pour avoir une chance d’être publié, mieux vaut être supporté en affichant que le papier soumis a déjà été de multiples fois présenté lors des cérémonies que sont les grands colloques ou congrès rituels aux États-Unis, qu’il a été lu et relu – donc que l’auteur a été adoubé – par des personnalités prestigieuses (dont on cite abondamment les noms et qualités sous forme de remerciements, généralement en note de première page pour être sûr que ce sera lu), que la recherche ici publiée a bénéficié de grants dont les donateurs sont aussi remerciés, et a été formidablement améliorée par les pertinentes remarques des rapporteurs, etc., bref, qu’en jugeant – et éventuellement en refusant – un papier, c’est toute cette communauté susnommée qui est jugée. Non pas seulement parce qu’elle est supposée avoir contribué à « améliorer » le texte, comme il est souligné en exergue, mais parce qu’elle s’est en quelque sorte engagée en le patronnant.

Lorsque la trouée est faite, on peut amortir ses efforts, déjà soi-même, en publiant plusieurs articles de suite, et en facilitant l’accès à d’autres (à charge de réciprocité ?), d’où parfois des publications « en grappe » de membres des mêmes équipes dans les mêmes revues, sans que des raisons, par exemple thématiques, semblent déterminantes.

D’où le sentiment – très partagé – de voir ainsi annulés les avantages inhérents à la publication d’articles : l’absence de fraîcheur (les articles sortent très longtemps après leur conception), de spontanéité et de prise de risque dans les papiers publiés. Ceux qui sont refusés répondaient-ils davantage aux critères ? Mystère, par définition !

En aval de ces remarques à caractère plutôt général, se pose la question concrète des revues sélectionnées ou non, et de leur classement. On entre là dans un autre univers, puisqu’il s’agit d’offrir ou non une visibilité, de mettre en avant (ou à la queue) certains domaines, certaines langues, certains paradigmes. Ce faisant, il s’agit aussi de faire prévaloir sans pour autant l’expliciter et le discuter, une conception de la discipline et de son devenir. Car on ne fait pas que classer les revues les unes par rapport aux autres, on les classe par domaines, donc on choisit qui va entrer en compétition avec qui, etc. C’est ainsi que par exemple il a été choisi de mêler plus ou moins la gestion et l’économie : plus ou moins au sens où certains domaines ne relèvent que de la gestion, alors que d’autres, et pas seulement les « généralistes », apparaissent plus « transversaux ».

Lire la suite sur le site de La Vie des Idées