Remarques sur l’évaluation - Sophie Roux, blog "Evaluation de la recherche en SHS", 28 mai 2011

Une fois encore, je retrouve en rangeant mon ordinateur une vieille ébauche de billet, dont je me dis qu’elle pourrait bien être un billet tout cours. Or donc, il s’agissait, dans cette ébauche écrite au printemps 2009, de
A. clarifier la notion d’évaluation,
B. proposer une distinction entre quatre idéaux-types d’évaluation, de manière à montrer sur quelques cas comment ces idéaux-types sont plus ou moins purs ou mélangés dans nos pratiques, ce qui explique quelques malentendus.

A. Contrairement à d’autres termes qui ont été récemment dévoyés (ainsi le terme « autonomie », puisqu’on dit que les universités sont autonomes, alors qu’elles n’ont jamais été si fermement tenues en main pédagogiquement (par les maquettes, les référentiels, les directives en tous genres) et scientifiquement (par l’amenuisement des financements récurrents au profit des financements sur projets, voir la série des —ex), le terme « évaluation » a gardé dans les discours actuels son sens usuel. Évaluer, c’est, littéralement, attribuer une valeur, dire quelle est la valeur de quelque chose.

On ne voit pas tellement comment on pourrait aller plus loin que cette définition. On remarquera cependant que l’évaluation varie nécessairement selon les réponses qu’on voudra bien donner aux questions suivantes :

1) Qu’est-ce qui est évalué ? On peut se dire qu’évaluer une copie, un article, une revue, une personne, une équipe, la démocratisation de l’enseignement supérieur d’un pays ou la puissance de sa recherche, etc. ne devraient pas donner lieu aux mêmes procédures, autrement dit que les procédures convenables ici ne conviennent pas là. On peut se dire aussi que, comme bien des procédures de mesure, les procédures d’évaluation, aussi précisément déterminées qu’elles soient, ne mesurent très exactement que ce qu’elles mesurent : et ainsi, je ne pense pas qu’il soit indifférent que les différents indicateurs quantitatifs mis en place (facteur g et facteur h par exemple) ne donnent pas lieu aux mêmes classements.

2) Qui évalue ? Une bonne blague du Président de la République, si bonne qu’il l’avait faite à deux reprises dans des allocutions publiques, était que l’évaluation des chercheurs se réduit en fait en une auto-évaluation, c’est-à-dire à rien. (Commentaire de mai 2011 : depuis deux ans, j’ai découvert le Petit journal, je sais donc maintenant que notre Président se répète en continu, autrement dit le fait qu’il répète une blague pas ne montre pas qu’il pense qu’elle est bonne, il se répète parce qu’il se répète.) On peut penser qu’il ne savait pas ce dont il parlait, c’est là le sens de tous les témoignages qui ont fleuri pour indiquer que les enseignants-chercheurs étaient évalués de multiples manières tout au long de leur carrière. Je pense cependant, comme Sylvain que le président savait ce qu’il disait : selon lui, les enseignants-chercheurs ne sont pas évalués, parce qu’ils sont évalués par les « autres eux-mêmes » que sont leurs pairs. Autrement dit, ce qui est souhaité, et pas seulement en France, c’est une évaluation par des experts en évaluation. Ce qui m’amène à la question suivante.

3) Comment évaluer ? Dans un régime où tout devient objet d’évaluation, le meilleur des individus et le plus pur des savants finit par se dire que, tant qu’à faire, ne serait-ce que pour être entendu, il peut produire conformément aux critères d’évaluation ; il ne travaille plus pour clarifier une question, résoudre un problème, mettre en place un nouveau dispositif technique, etc., il travaille pour avoir une bonne évaluation. C’est ce que l’on dit par exemple de certains examens qui sont « bachottés » : cela veut dire, non pas se cultiver, et puis passer l’examen, mais n’apprendre que ce qui est supposé utile pour passer l’examen. Bien évidemment, en écrivant ceci, je ne suppose pas qu’il fut un temps béni où la recherche était « pure », si l’on entend par là quelque chose d’indépendant de tout conditionnement social. Mais qui ne voit qu’il y a une différence entre une recherche inévitablement conditionnée socialement et la recherche « bachottée », qui serait faite uniquement pour satisfaire certains objectifs, comme de passer un examen ?

4) Pourquoi évaluer ? L’idée que l’évaluation serait un premier pas vers une amélioration des pratiques n’est pas en elle-même attaquable. C’est par exemple en ce sens que nous proposons des « exercices d’évaluation » aux étudiants ou que les étudiants nous rendent des « fiches d’évaluation » où ils nous indiquent ce qu’ils ont apprécié ou pas dans nos cours et comment ils pensent que ceci ou cela pourrait être améliorer. C’est aussi en ce sens que des rapporteurs sont sollicités par des revues pour indiquer comment un article peut être amélioré, si cela est possible. Mais le problème, que je n’ai pas vu souvent abordé, est celui du coût terrifiant de l’évaluation. Je me suis pour ma part tenue à distance des évaluations qui se pratiquent dans nos agences (l’ANR et l’AERES), mais j’évalue en revanche des articles pour des revues pratiquant la lecture en double-aveugle. C’est terrifiant ce que cela prend comme temps et comme énergie ! Et cela d’autant plus

Pour lire la suite.