Compte rendu de la réunion sur l’évaluation des revues à l’ENS, 4 décembre 2008

Compte rendu de la réunion des revues
4 décembre 2008, ENS Jourdan

Rédactrice : Emmanuelle Picard (le Mouvement Social et Histoire de
l’Education)

La réunion a été organisée à l’initiative de plusieurs revues : les Actes
de la recherche en sciences sociales, les Annales, Genèses, le Mouvement social, Politix et la Revue d’histoire moderne et contemporaine.

Revues représentées (liste non exhaustive, des participants étant arrivés en retard, ils n’ont pas précisé la revue à laquelle ils appartenaient) :
 RH19
 Genèses
 Histoire de l’éducation
 Revue de synthèse
 Annales
 Sociétés contemporaines
 Revue@politique
 Politix
 Tracés
 Sociologos
 Histoire des religions
 Mil neuf cent
 Annales de démographie historique
 Revue française de socio-économie
 Clio
 Economie appliquée
 Economie et société
 Hérodote
 Politique étrangère
 Diasporas
 Espace et société
 Revue des mondes musulmans
ainsi qu’un représentant de Cairn, des Presses de sciences po et de
l’AERES (Patrice Bourdelais).

NB : ce compte rendu tente de restituer au maximum les débats. Dans la
mesure où les intervenants ne se sont pas toujours présentés, le nom de
l’intervenant ne sera pas systématiquement mentionné. Seule exception,
Patrice Bourdelais (désormais PB) qui, en tant que représentant de l’AERES
(même s’il est également membre de comités de rédaction), a souvent
étéquestionné et au centre des échanges avec la salle.

En introduction, Jérôme Bourdieu (ARSS) a indiqué les deux grandes
questions qui avaient présidé à cette invitation :

 la question de l’évaluation des revues

 la question de la place des revues dans le fonctionnement des SHS et en corollaire celle de leur financement.

Premiers éléments : rappels d’un certain nombre d’initiatives en cours

 pétition sur le retrait des revues des listes de l’AERES, signées par 3
600 personnes et certaines revues en nom propres :
http://www.appelrevues.org/

 demande des retrait des listes de l’ERIH émanant des revues d’histoire
des sciences anglaises (lettre : « Journals under threat »), lettre des
éditeurs des revues dix-neuvièmistes anglaises, position de la revue Past and Present, prise de position des sections CNU et CoNRS en science
politique et sociologie, ainsi que des sections littéraires. Un ensemble
d’initiatives encore dispersées appelant au retrait des listes et
dénonçant leurs inévitables conséquences sur le fonctionnement des SHS, en
particulier la « normalisation de la recherche ». Ces différentes prises
de position peuvent être retrouvées sur un blog de recherche consacré à
l’évaluation en SHS : http://evaluation.hypothese.org/

 par ailleurs, certains comités éditoriaux (comme celui du Mouvement
social par exemple) se sont prononcés contre le classement et ont envisagé
la possibilité d’une action commune avec d’autres revues européennes.
D’autres comme celui de Genèses ont signé en tant que comité de rédaction
la pétition sur le retrait des listes.

Cette réunion est l’occasion pour Patrick Fridenson (Mouvement social) de
réactiver l’idée d’une communauté des revues, qui avait été préalablement
lancé en 2004 quand le CNRS envisageait la mise en place du CENS. Les
réunions de 2004 avait donné naissance à une liste de diffusion qui existe
toujours et qu’il serait intéressant d’utiliser dans le cadre de cette
réflexion sur la place des revues dans les SHS et toutes les questions
afférentes.
Tout le monde peut s’y inscrire :
https://listes.cru.fr/sympa/subscribe/revues_shs
Cette liste de diffusion a vocation à faire transiter l’information (c’est
par elle qu’a été diffusée l’invitation à la présente réunion) mais aussi
à supporter des discussions entre les revues et à élaborer des initiatives
communes.

Cependant, la question principale à envisager ce soir porte sur la
possibilité d’une position commune relative aux classements des revues par
l’AERES, mais aussi par l’ERIH.

PB : explique que l’AERES a élargi une pratique déjà bien établie dans
certaines disciplines de SHS comme l’économie, en élaborant, discipline
par discipline, une liste qui définit le « périmètre des revues
scientifiques » propre à chacune d’entre elles. On peut le définir comme
l’ensemble des revues dont les articles n’auront pas à être réévalués par
les évaluateurs.
Le problème central a été la question des revues pluridisciplinaires, qui
pouvaient être classées différemment selon les disciplines, et pour lequel
l’arbitrage était très difficile. Afin de remédier à cet inconvénient,
l’AERES a prévu la publication de la liste complète (i.e. simple liste
alphabétique résultant de la compilation des listes disciplinaires) sans
plus mentionner les classements A-B-C. On pourra retrouver le classement
en se rendant sur les listes par discipline, dans la mesure où la
discipline aura choisi de fonctionner avec un classement.

Les revues (Caroline Douki, RHMC) : dès lors qu’un périmètre de
scientificité est établi, le principe du classement a-t-il un sens ? Ne
pose-t-il surtout pas la question de l’usage d’un tel classement et en
particulier son usage pour l’évaluation individuelle des chercheurs et
enseignants-chercheurs ?

PB : l’évaluation des revues, sous quelque forme qu’elle soit, n’est pas
liée à l’évaluation individuelle, pas plus qu’à l’attribution des
subventions.

Les revues (Patrick Fridenson, Mouvement social) : le Mouvement social a
adopté l’idée de la liste unique, comme « périmètre des revues
scientifiques reconnues ».
Par ailleurs, le problème central est à son sens celui de l’opacité des
procédures : qui évalue, selon quels critères ? Il est absolument
fondamental de clarifier l’ensemble. D’autant plus que la comparaison
entre les deux classements (ERIH et AERES) fait apparaître des absurdités
et des erreurs qui ne peuvent que dénoncer leur caractère arbitraire et
peu scientifique.
Les revues allemandes, lors de l’Historikertag, début octobre 2008, ont
dénoncé les modes de classement utilisés par l’ERIH, qui loin de recourir
à des critères satisfaisants, tendraient plutôt à éliminer la production
allemande de cette évaluation. La revue Past and Present a également
dénoncé des classements dont le risque majeure est de fixer des normes
stérilisantes et inhibitrices pour la production scientifique.
On pourrait partir sur l’idée d’une position française en faveur d’une
liste unique sans classement et proposer d’élargir cette proposition aux
revues étrangères à propos de la liste de l’ERIH.

Les revues : la question de l’interdisciplinarité est très importante.
Pour des revues spécialisées sur les aires culturelles par exemple, le
choix de listes disciplinaires est extrêmement pénalisant, et peu aller
jusqu’à faire disparaître certaines revues des listes.

PB : a priori, l’AERES reste partisane de listes disciplinaires,
auxquelles pourront être ajoutés des listes complémentaires pour les
revues pluridisciplinaires ; et dont la somme formera la liste complète.

Les revues (Nicolas Mariot, Genèses) : le comité éditorial de Genèses a
signé la pétition de retrait des revues, en particulier à cause des
risques que de telles listes font courir aux revues interdisciplinaires.
L’idée du périmètre de scientificité est intéressante car elle coupe
l’herbe sous le pied à toute tentative d’évaluation automatique et
numérisée et donc n’exonère pas de l’obligation de lire les travaux, seule
véritable évaluation scientifique. Le classement a par ailleurs un effet
de fixation qui fige les positions relatives des revues. D’une certaine
façon, une approche purement bibliométrique serait sans doute préférable.
Mais le plus important reste bien sûr la question des usages de telles
opérations de classement.

Les revues (Caroline Douki) : il est fondamental qu’une publicité soit
faite autour des critères permettant d’établir le « périmètre de
scientificité ». Car la question du « comment y entre-t-on ? » va de fait
devenir centrale, en particulier pour les jeunes revues ou les revues
uniquement électroniques.

Les revues : Il y aura donc lieu de s’assurer que la liste soit
reconsidérée de façon très régulière pour permettre aux jeunes revues d’y
entrer.

Les revues : il est rappelé l’expérience faite dans le cadre du rapport
Janin, où il était demandé à la communauté des sociologues de se
prononcer, revue par revue, sur sa scientificité (sans justification, par
un simple oui ou non).
Voir : http://www.iut-tarbes.fr/enquete/

Les revues : il y a un risque que le CNL choisisse d’attribuer ses
subventions en prenant en compte les classements de l’AERES.

Les revues : la commission 40 du CoNRS (science politique et sociologie)
avait fait un travail de repérage des revues dans lesquelles publiaient
les chercheurs.

Les revues : serait-il possible de connaître la composition des comités
ayant élaboré les classements ? et les critères utilisés ?

PB : pour les revues d’histoire, le comité était composé des présidents
des sections du CNU (21 et 22) et du CoNRS (32 et 33), les deux directeurs
scientifiques adjoints des SHS au CNRS, et les délégués SHS de l’AERES.
Les critères sont « ceux que nous connaissons tous » : existence d’un
comité de rédaction, double lecture des manuscrits, chiffres du tirage et
de la diffusion, « qualité globale ». Le postulat de base de cette
évaluation : l’existence de procédures de « fabrication » garantit la
qualité des revues.
Par ailleurs, il y a bien un usage des listes dans les opérations
d’évaluation des unités menées par l’AERES ; mais les évaluateurs savent
(implicitement, ndlr) quelles sont les revues « scientifiques » du champ
disciplinaire auquel ils appartiennent. En revanche, les listes donnent de
précieuses indications sur les autres disciplines et sur les revues
étrangères.
Il rappelle quels sont les quatre grands domaines de l’évaluation des
unités :

 la qualité de l’équipe : c’est dans ce domaine que l’on prend en compte
le nombre des publiants

 le rayonnement et l’attractivité

 la gouvernance, prospective et solidité

 la qualité du projet.

Les revues (Hélène Bourguignon) : Le rôle des revues ne se limite pas à la
diffusion des recherches, elles sont aussi actives en terme d’orientation
scientifique. Une revue fait un véritable travail éditorial en retenant ou
en suggérant des thématiques par exemple. On ne doit donc pas les réduire
à la seule fonction de lieu d’évaluation et de diffusion d’un travail,
sorte de chambre d’enregistrement.

Les revues (Patrick Fridenson) Par ailleurs, autour de la question des
critères, il pourrait être intéressant que les revues rendent public leur
mode de fonctionnement, par exemple en le présentant sur leur page
Internet.
On pourrait alors partir sur l’idée d’une liste unique, dont le périmètre
serait défini par l’énonciation de critères d’entrée clairs.

Les revues (Antoine Lilti, Annales) : Les critères en question ne sont
sans doute pas aussi évidents qu’on pourrait le penser à première vue.
Pour autant, cette discussion à leur sujet est l’occasion à saisir d’un
véritable débat sur la nature d’une revue scientifique.
Par ailleurs, la liste unique est aussi une façon de ne pas se poser la
question des usages.

Les revues (Jean-Louis Briquet, Politix) S’il n’y a pas possibilité de
définir des critères sur lesquels il y aurait consensus, il vaudrait alors
peut être mieux leur substituer celui du jugement « réputationnel ».

Les revues (Emmanuelle Picard, Mouvement social et Histoire de
l’éducation) : les nouvelles possibilités qui vont être ouvertes par la
mise en ligne d’un nombre sans cesse croissant de revues et l’attribution
d’un DOI à chaque article (ce qui permettra de faire des opérations
bibliométriques) ont-elles été anticipées par l’AERES pour ses classements
futurs ? Et du côté des portails, où en est le travail sur les DOI ?

PB : la bibliométrie fait l’objet de critiques de deux sortes :

 celles concernant les indices existants, leurs biais et leurs limites ;
elles se règlent aisément par l’usage d’indices multiples, se complétant
les uns les autres ;

 celles sur la composition actuelle des bases des données utilisables,
comme le WoS.

Cairn : il faut également se méfier des statistiques émanant des pages
Internet des revues, car elles ne peuvent pas être utilisées dans des
situations d’évaluation.

Les revues : la liste unique peut donner une chance aux nouvelles revues
et aux revues pluridisciplinaires. Elle présente cependant un risque,
celui d’un nivellement général. D’autre part, il n’y a eu du côté de
l’AERES aucune demande d’information auprès des revues, du type des
dossiers à renseigner pour les subventions du CNRS. D’où viennent donc les
informations utilisées par les comités disciplinaires pour classer les
revues ?

PB : dans l’évaluation des unités, la dimension qualitative est très
importante. La question centrale est toujours : « en quoi cette unité a
fait changer le paysage de la discipline ? » ; question qui pourrait
également être posée aux revues.

Les revues (Jérôme Bourdieu, Actes de la recherche en sciences sociales) :
un moyen efficace de neutraliser les effets des listes et du classement,
serait qu’il existe plusieurs listes différentes (celles de l’AERES,
celles du CNU, celles du CNRS.).

Les revues : que faut-il faire avec l’ERIH ? l’ESF est actuellement en
phase de rediscussion au sujet des listes. Un dossier à été envoyé à un
certain nombre de revues, leur demandant des éléments d’information. Il
doit être renvoyé avant la fin de l’année civile. On peut le télécharger
sur le site de l’ERIH :
Certaines revues l’ont reçu, parfois par l’intermédiaire de leur éditeur
(c’est le cas d’Histoire de l’éducation par exemple). D’autres non.

Conclusion :

 on s’oriente vers l’idée de demander à l’AERES une liste unique
pluridisciplinaire et sans classement ; la question est alors celle de la
définition du « périmètre de scientificité ».

 cette demande pourra faire l’objet d’une proposition de lettre commune à
l’ERIH, dans le même sens, auprès des revues étrangères.

 ce texte serait placé sur les sites Internet des revues signataires.

Une proposition de texte sera faite par les revues organisatrices de la
rencontre de ce soir transitera par la liste de discussion dédiée aux
revues SHS et pourra également être proposée à toutes les revues
françaises intéressées.