"Évaluation de classement et évaluation de jugement" par Philippe Büttgen (CNRS, UMR 8584, Laboratoire d’Études sur les Monothéismes, CNRS/EPHE, Villejuif)

Sur le site consacré à l’évaluation en SHS, l’intervention de Philippe Büttgen, chercheur en philosophie au CNRS à la rencontre sur l’évaluation en SHS d’Ulm (rencontre où SLU était présent).

L’avenir nous dira si ce qui nous réunit ce soir relève d’une sensibilité nouvelle pour les questions d’évaluation. Dans l’immédiat cependant, ce que nous vivons comme chercheurs et enseignants-chercheurs relève d’autre chose, d’un spectaculaire changement dans les dimensions de l’évaluation, qui constitue un phénomène à part. Je partirai de là : une extension, sans précédent connu, des procédures d’évaluation (aux unités des organismes de recherche, aux équipes d’accueil des universités, aux écoles doctorales, aux universités elles-mêmes, pour en rester au monde académique), extension ou généralisation assortie d’une unification, elle aussi spectaculaire puisque toutes les entités évaluées dépendent désormais, au moins pour un certain type d’évaluation appelée « non-décisionnelle », d’une unique agence. Pour les chercheurs et enseignants-chercheurs que nous sommes tous avant d’être évaluateurs, les consultations à venir au mois de juin sur d’éventuels classements de revues marquent un deuxième temps fort de l’activité de l’AERES, après les comités de visite constitués à partir de l’automne dernier. Ce sont donc ces classements, et plus généralement les questions d’évaluation bibliométrique, que j’aimerais évoquer.

Si le constat de départ est clair, il y a en revanche une chose dont nous devrions être moins assurés : quelle est la nécessité qui nous pousse aujourd’hui à parler de l’évaluation dans les sciences humaines et sociales, et de cela seulement ? Le fait que nous soyons ici majoritairement chercheurs ou enseignants-chercheurs en SHS ne fournit pas une justification suffisante, juste un constat de fait. Le changement de dimensions de l’évaluation, cette brusque extension des procédures évaluatives à tous les secteurs de la recherche et de l’enseignement supérieur, devrait nous inciter à ne pas nous précipiter d’emblée vers les « spécificités » et les particularismes, fussent-ils SHS. L’expérience de ces derniers mois nous a appris à agir en chercheurs et enseignants-chercheurs tout court, et l’argument (ou le réflexe) de la « spécificité des SHS », n’a pas paru constituer la ligne de défense la plus solide au moment où il était précisément question d’éviter leur sortie ou leur éviction des organismes de recherche : il y a aujourd’hui deux mois, jour pour jour, que ce combat a commencé.

Pour en venir au sujet bibliométrique, il n’y a en vérité qu’une seule spécificité SHS, c’est le rôle qu’y jouent les livres, c’est-à-dire les livres d’auteurs, les monographies, dans la structure de nos publications. Cette spécificité est essentielle sans doute, mais elle est unique. Pour le reste, la discussion sur le facteur d’impact et les divers indices bibliométriques est commune à tous les champs disciplinaires, et pas nécessairement dans le sens qu’on imagine parfois. Au sortir du colloque de novembre dernier sur l’évaluation, le Président de la section d’astrophysique du Comité national, Yves Langevin, rappelait que sa section prenait en considération, à part égale, toutes les formes de publications, de quelque nature qu’elles soient, dès lors qu’il pouvait être fait état à leur sujet d’un processus de relecture. Nos lancinants complexes quant à une moindre scientificité des SHS, qui constituent souvent l’envers du discours sur la « spécificité » des SHS, devraient s’en trouver apaisés, au moins pour un moment.

Avec la pente technique qui lui est propre, la discussion sur la bibliométrie a une tendance naturelle à tenir pour acquis ce dont devrait traiter un débat comme celui d’aujourd’hui, à savoir la possibilité même d’une mesure de l’activité de recherche. Certes ce n’est pas une mince question que celle de savoir ce que l’on cherche à mesurer ici, de l’intérêt effectif de ce que nous produisons ou du rang que nous occupons dans le classement de Shanghai. Mais, pour prendre les choses sous un angle un peu différent, il est tout de même frappant qu’il ne soit question, dans la discussion sur la bibliométrie, que de « biais » et de « correctifs », et ce quelle que soit la position adoptée. Les plus fervents partisans du facteur h, ceux-là mêmes qui estiment qu’il constitue un indice fiable pour l’établissement de listes de recrutement ou de promotion, commencent généralement leur argumentaire par un paragraphe sur les « biais » du facteur h. D’autres parlent de l’améliorer, de le corriger, de lui susciter des indices concurrents, s’inquiètent des pondérations respectives à apporter aux articles parus dans des revues à comité de lecture et dans des recueils d’Actes de colloque, s’interrogent sur le coefficient à attribuer à de tels recueils selon que leur éditeurs scientifiques y ont eux-mêmes ou non contribué, et sous quelle forme, introduction ou article ou les deux… etc. Les discussions à venir au mois de juin, à propos des classements de revue dans les divers champs disciplinaires, permettront peut-être d’éclaircir ces points, ou de les spécifier encore, mais elles ne devront pas masquer la nécessité d’aller au fond du débat.

D’un autre côté, il ne faudrait pas dissimuler ce qu’il peut y avoir d’également fastidieux dans les protestations contre la bibliométrie. Méfions-nous du long lamento contre-productif sur les travers du calcul, qui dans sa quête souvent justifiée du détail manque peut-être l’essentiel. Je me contenterai ici d’une unique formule, proposée à la discussion, et à laquelle sera jointe une unique question. Voici la formule, exprimée délibérément dans les termes les plus mesurés possibles et en partant du lexique propre à l’AERES : la définition bibliométrique des « ratios de publiants » au sein des entités évaluées tend à déplacer le centre de gravité de l’expertise en direction du support matériel de la publication, au détriment de l’acte individuel de jugement requis de tout évaluateur. La catégorisation des publications distingue divers supports de publication (livres, recueils d’actes, articles), évalués comme supports. À l’intérieur de cette catégorisation, les classements de revues s’emploient quant à eux à hiérarchiser des supports de supports, c’est-à-dire des revues de rang supposé inégal, d’une inégalité supposée rejaillir sur l’intérêt que l’expert sera invité à accorder aux articles accueillis par ces revues. Évidemment, on pourra se demander si ce sont vraiment les bonnes revues qui font les bons articles, ou si ce ne sont pas plutôt les bons articles qui font les bonnes revues. Évidemment aussi, on pourra s’interroger sur le sens qu’il y a pour un évaluateur à se dessaisir d’une partie de ses prérogatives au bénéfice des comités de lecture des revues, lesquels, comme tout groupe humain, doivent bien faillir de temps en temps. Évidemment enfin, on pourra se demander si juger d’une production scientifique par son support ne revient pas, en quelque sorte, à considérer la qualité comme une propriété émergente non seulement de la quantité, mais aussi de la réputation, autrement à composer des hiérarchies à partir d’autre hiérarchies, académiques et économiques (car les revues sont évidemment aussi un marché), par un travail de simple mise en relation du déjà existant. Cette inattention à ce qui n’était pas, à ce que la découverte fait surgir, au nouveau, au véritablement émergent, caractérise en propre l’automatisation de l’évaluation qui nous menace aujourd’hui, bien au-delà, en vérité, des procédures de l’AERES.

Ces questions sont bien connues, et il suffisait ici de les faire entendre à nouveau. La question que je voudrais poser pour finir est un peu différente : en quoi la définition bibliométrique des « publiants » nous garantira-t-elle une évaluation de meilleure qualité ? Ou pour le dire autrement : qu’est-ce qui rend tellement nécessaire la promotion d’une évaluation des supports au détriment d’une évaluation des travaux ? Ou encore, troisième formulation possible : d’où vient qu’on ait soudain jugé indispensable d’augmenter la part d’une évaluation de classement en diminuant celle d’une évaluation de jugement ?

Pour ne pas anticiper sur les réponses qui pourront être apportées, il ne reste plus en vérité qu’à suggérer une direction dans laquelle ces questions mêmes paraissent aller. L’évaluation des supports encadre, limite, contrôle l’exercice du jugement sur les travaux ; c’est à cela que doit servir, par exemple, l’établissement de listes de revues « pertinentes » pour l’évaluation. Nous serons tous d’accord pour dire que l’évaluation est quelque chose de distinct de la discussion scientifique, et qu’écrire un rapport n’est pas la même chose qu’écrire une recension. Ce n’est cependant pas à nous, mais bien plutôt à ceux qui dans l’évaluation promeuvent l’augmentation de la part bibliométrique, d’expliquer pourquoi, à leurs yeux, il est nécessaire d’en diminuer la part proprement critique. Il me semble que l’évaluation des supports non seulement entrave l’exercice du jugement critique, mais qu’elle sert précisément à cela : l’évaluation des supports permet que le jugement critique n’ait pas lieu, elle permet de se délivrer du fardeau d’une liberté responsable. Par là, il faut entendre la responsabilité qui s’attache à l’examen direct des productions savantes, fardeau sans doute trop lourd à porter quand il n’est pas équilibré, sur l’autre épaule de l’évaluateur, par la reconnaissance que lui confère le choix, c’est-à-dire l’élection, préalablement opérée par la communauté scientifique à laquelle il appartient. Il y a un lien consubstantiel entre l’examen direct et en responsabilité de publications jugées sur la pertinence de leur contenu et la légitimité de l’élection. Encore une fois, nous sommes ici transportés au-delà des circonstances et des choix politiques qui ont présidé à la création de l’AERES, vers quelque chose qui ressemble à un fait de civilisation, avec cette anxiété du « critère » qui porte à privilégier la fiabilité de l’outil sur le talent de l’ouvrier, la grille d’évaluation sur l’acte de jugement. Pour en revenir à l’objet de notre débat, on dira donc que si la question de la bibliométrie ne fait signe vers aucune « spécificité des SHS », elle attire en revanche l’attention vers une autre spécificité, celle d’une évaluation sans principe électif, qui constitue pour nous tous le problème du moment.