Les évaluateurs de l’AERES sont-ils des « pairs » ? Réflexions sur le débat à l’EHESS sur le thème « L’AERES et après ? », par Michel Barthélémy, chargé de recherche au CNRS (Centre d’étude des mouvements sociaux - EHESS)

Le premier des « Grands Débats de l’EHESS » à s’inscrire dans le
prolongement de l’opération « Changeons le programme » s’est tenu le 25
mars 2009. Il a présenté un ensemble de témoignages, de réflexions et
d’analyses présentés quasiment à chaud sur la dernière vague en voie
d’achèvement de l’évaluation des équipes de recherche par les comités de
visite de l’AERES (Agence d’Evaluation de la Recherche et de
l’Enseignement Supérieur) (1). Ces interventions étaient le fait
d’universitaires dont l’unité avait été l’objet de l’une de ces visites.

Le présent texte ne prétend pas restituer en détail les différents points
du débat (2). Il est plus limitativement consacré à discuter l’affirmation
courante, et du reste réitérée par le représentant de l’AERES qui
participait au débat, qui tient que l’évaluation à laquelle concourent ces
comités est le fait de « pairs ». En ajoutant que le choix offert était
entre cette configuration là ou bien le recours à un cabinet de
consultants externes ou encore à des administratifs - « comme en Allemagne
 », a-t-il précisé.

D’un point de vue formel, il est indéniable que les participants à ces
comités de visite sont composés de membres de la communauté universitaire.
Un certain nombre d’entre eux sont des universitaires étrangers. A ce
titre, ils peuvent se réclamer légitimement de ce statut de « pairs »
vis-à-vis des membres des unités de recherche qu’ils viennent évaluer (3).
Toutefois, une bonne partie du débat a avancé des arguments rendant cette
identité pour le moins problématique. Le point faisant problème était
précisément la signification qu’il convient d’accorder au terme évaluation
en comparant les anciennes aux nouvelles pratiques qui se mettent en
place.

Si l’on reprend l’affirmation du représentant de l’AERES, et qu’on la
compare à l’intervention de N. Dodier, on s’aperçoit que les deux formes
d’évaluation qui se font face sont très différentes l’une de l’autre dans
leur esprit comme dans leur procédure. L’évaluation en vigueur jusque là,
dans les commissions des organismes de recherche, notamment, est le fait
de petits groupes de chercheurs et d’enseignants-chercheurs, dont une
partie sont élus par leurs pairs, pour une durée de quelques années et qui
mettent en place des règles d’évaluation ad hoc. Ils le font en fonction
de critères qu’ils dégagent de l’intérieur même de leur comité et pour les
fins pratiques de la tâche qui leur est assignée, soit l’évaluation
d’équipes, projets de colloque ou d’édition, chercheurs, etc. La mise en
place des critères jugés pertinents donc objectifs, c’est à dire
acceptables par les participants comme fondement adéquat de leur travail
d’évaluation, et reconnaissable sous ce jour par les instances supérieures
de même que, potentiellement, par l’ensemble des membres de la communauté
scientifique à laquelle ils appartiennent, suppose de faire activement
partie de ces commissions et de prendre part à leur définition collective.
En ce sens, la commission est à une double place d’observateur et de juge
de la vie de la communauté dont elle est appelée à se prononcer sur les
réalisations les plus récentes de ses membres ainsi que sur les activités
projetées. Elle évalue leur intérêt et portée scientifique, sur la base de
critères localement établis, internes à la profession, à son état et ses
pratiques disciplinaires du moment, à la nature et à la teneur des
dossiers à traiter ici-et-maintenant, en mobilisant la compétence et
l’expertise variées de ses membres qui sont appelés à parvenir à une
position commune sur les principes leur permettant de traiter les dossiers
soumis à l’appréciation de la commission. C’est une version éprouvée de la
parité et de la collégialité. Perfectible, certes, mais effective.

Qu’en est-il maintenant de la démarche de l’AERES ? Les propos du
représentant de l’AERES, cités plus haut, apportent un éclairage précieux
sur ce point. La notion de « pairs » est présentée comme une protection,
ou du moins comme une situation préférable à celle d’une évaluation
réalisée par des « non-pairs ». Cependant, l’idée même que cette option
pourrait être le cas, affaiblit gravement la pertinence de la défense que
représenterait le fait qu’elle soit réalisée par des collègues, à partir
du moment où il est explicitement admis que des membres de catégories
étrangères au domaine d’activités examiné et à ses spécificités,
pourraient tout aussi bien faire le (même) travail. Ceci conduit à penser
que l’esprit et la procédure de l’évaluation dans ce nouveau système ont
d’ores et déjà rompu avec la pratique collégiale qui existait jusque là.
Ceci au sens où cette dernière exigeait que les évaluateurs soient des
membres compétents du milieu sur lequel portait leur activité
d’évaluation. Dans cette approche il n’était pas concevable de faire appel
à des praticiens non informés des aspects distinctifs qui constituent le
socle des activités des membres de la communauté universitaire. Ce n’est
désormais plus le cas. On pourrait avancer que les « collègues » sont ici
instrumentalisés et transformés en Cheval de Troie d’un ensemble de
procédures initialement conçues pour le secteur privé, issues de la
démarche qualité, et que les « pairs » évaluateurs ont pour mission
première d’acclimater en douceur au monde de la recherche et de
l’enseignement supérieur, sans en avoir discuté auparavant avec les
principaux intéressés. Or, pour que les procédures employées puissent être
mises en oeuvre par des familiers du milieu, des « insiders », comme par
des étrangers à celui-ci, cela implique que l’essentiel de la procédure
suivie puisse faire l’économie d’une adéquation au milieu local visé par
ses outils et son entreprise d’évaluation, sans nuire à son efficacité. Ce
qui se paye par une externalité du dispositif et de ses catégories aux
milieux et pratiques habituelles et effectives de la communauté visée,
laquelle se trouve fortement invitée à y souscrire, souvent contre son
gré, si l’on en juge par les nombreuses réserves que suscitent les
méthodes de la nouvelle agence au sein de la communauté scientifique (4).
En bref, les universitaires évaluateurs mettent déjà en oeuvre un cadre
d’évaluation des activités scientifiques qui ne doit pas grand-chose à ce
que réclamerait une connaissance interne du milieu examiné. Ils font ainsi
le travail de consultants externes, comme ont pu le constater les membres
des unités visitées, à la pauvreté des sujets de questionnement des
évaluateurs portant plutôt sur des points de gestion ou des aspects
périphériques par rapport à ce qui fait la particularité et la réalité du
travail scientifique. Ces thèmes ne sont pas pour autant anodins. En
effet, une manière de parvenir à imposer cette démarche en surmontant au
passage le manque d’envie de la part des évalués de coopérer avec les
évaluateurs et leurs manières de voir et de faire, est précisément de
prendre parmi les critères d’évaluation, p.e., l’usage que les évalués
font, dans leur travail, d’autres instances tout aussi récentes et mal
considérées que peut l’être l’AERES. Il en va ainsi de l’ANR (Agence
Nationale de la Recherche) dont les dotations augmentent en même temps que
les crédits de base des laboratoires en provenance des organismes de
recherche, le Cnrs en premier lieu, diminuent. Si un indicateur du critère
de qualité et d’attractivité d’une équipe de recherche est lié au nombre
de contrats obtenus en particulier auprès de l’ANR, alors il va de soi que
la recherche de tels crédits pour des travaux à trois voire quatre ans
maximum, deviendra une nécessité. Ce qui conduira à faire entrer
progressivement dans le paysage de la recherche cette instance
controversée du fait de la captation des crédits de recherche qu’elle
induit et de la politique de pilotage de la recherche orientée vers des
thèmes finalisés qu’elle réalise (5). Un résultat qui se fait au détriment
de la recherche fondamentale, laquelle obéit à une temporalité plus
longue, sans pouvoir toujours arguer de résultats clairement anticipables
longtemps à l’avance (6). Il a du reste été rappelé la proposition faite
par les Etats Généraux de la Recherche de 2004 en matière de structure
d’évaluation. Ceux-ci prônaient la création d’un Haut Conseil de la
Science, responsable des opérations d’évaluation des laboratoires et des
personnes. Une instance collégiale composée pour partie d’élus et pour
partie de membres nommés et faisant le tampon entre le monde de la
recherche et le pouvoir.

Pour conclure ces quelques remarques, je sortirai du cadre strict du débat
pour proposer une réponse à la question initiale, celle de savoir si les
évaluateurs sont des pairs de ceux qu’ils évaluent. Pour cela, il semble
tout d’abord nécessaire de distinguer entre, d’une part, le statut
professionnel des personnes impliquées, effectivement similaire, ainsi que
nous l’avons dit, et, de l’autre, l’activité d’évaluation conduite sous
les auspices d’un modèle déployant des méthodes et procédures non
spécifiques au milieu étudié. Par son extériorité même, ce dispositif
d’évaluation investit le monde vécu de l’activité scientifique et modifie
l’appréhension des pratiques de recherche et des modalités de son
jugement. Il greffe sur des aspects effectifs de cette pratique des
indicateurs arbitraires. En effet, il isole en les décontextualisant des
éléments effectifs de la pratique du reste de celle-ci en leur faisant
jouer le rôle de traits pertinents, non pas directement de l’activité de
recherche concrète, mais en qualité d’éléments judicieusement choisis pour
la constitution de son modèle. Ceci est réalisé en vue d’objectiver une
production de recherche exprimée de manière quantitative et appuyée sur
des outils quasi-automatisés à force connotation normative, permettant de
décerner bons et mauvais points. Le tout sert à mesurer les « qualités »
respectives des établissements, des équipes, et des personnes concourant à
cette activité, ainsi qu’à faire des comparaisons entre pays (7). Au
final, ce dispositif livre une image de la recherche sous les traits d’une
activité banalisée qui soit compatible avec une description managériale et
comptable de ses « outputs ». Elle peut être intégralement réduite à
l’emploi d’un certain nombre de critères, d’indicateurs et d’une batterie
de chiffres. Cette méthode a le défaut de sa qualité : sa (trop grande)
universalité d’emploi. En d’autres termes, sa transversalité implique de
pouvoir la référer à un niveau supérieur de synthèse, qui est, a minima,
celui de l’Etat gestionnaire et de ses différents moyens et secteurs
d’action.

En effet, les mêmes « réformes » se retrouvent à l’oeuvre dans d’autres
organismes de recherche que le Cnrs (l’Inserm, par exemple) et dans
d’autres secteurs de la fonction publique (outre l’éducation, la santé,
notamment), et avec les mêmes objectifs : donner aux instances dirigeantes
les moyens de contrôler et piloter l’activité de leurs établissements à
l’aide notamment d’un système d’information alimentant des tableaux de
bord. Par conséquent, leur extrême simplicité peut être vue, par leurs
concepteurs et promoteurs, comme une force en leur donnant des outils pour
mener une politique volontaire, réactive et, comme on le dit maintenant, « 
proactive ». Dans chacun de ces cas la collégialité, telle qu’elle se
matérialise dans l’existence d’instances de concertation, fait les frais
de la « réforme » (8).

A cet égard, et dans le cadre précis de leur activité d’évaluation
effectuée selon des normes empruntées à la démarche qualité issue du
secteur privé, et gardant de celui-ci son orientation essentiellement
budgétaire et quantitative des activités humaines appréhendées sous
l’angle de la rentabilité et de la performance, les évaluateurs
universitaires n’agissent pas en qualité de « pairs ». Il en est ainsi si
l’on considère que leur mode d’action, leur processus de décision ne sont
pas ceux traditionnellement en vigueur dans le milieu qui est le leur et
où, comme indiqué précédemment, ils pourraient très bien être remplacés
dans cette tâche par des évaluateurs professionnels étrangers au milieu en
question. Il y a là la source d’une ambigüité qui appelle un dépassement,
d’une manière ou d’une autre.

En particulier, si dans le cadre strict de ces pratiques ces collègues ne
sont pas des pairs - les membres de l’AERES ne sont pas élus, mais nommés
ou cooptés, ils disposent d’un pouvoir unilatéral sur ceux qu’ils
évaluent, leurs référents diffèrent profondément dans leur contenu et leur
mode d’application de ceux des commissions fondées sur la collégialité, un
principe central du mode de fonctionnement de cette communauté -, il se
peut qu’ils représentent l’avant-garde en quelque sorte du visage futur de
la communauté de l’enseignement supérieur et de la recherche que la mise
en place de ces nouveaux dispositifs contribuera à façonner. Ce peut être
le cas si l’adhésion à cette nouvelle approche se diffuse sans entrave.
Qu’est-ce que la recherche et la société ont à gagner à une telle
concentration des pouvoirs dans les mains d’une poignée d’individus ?
Mystère.

Notes

(1) Cette agence possède un site particulièrement bien fourni en
informations sur sa composition et ses missions. Cf.
http://www.aeres-evaluation.fr/

(2) D’autant moins que Clémence Holleville du journal en ligne Médiapart
en a présenté une synthèse. Cf.
http://www.sauvonsluniversite.com/spip.php?article2265, cependant que
l’intervention de Nicolas Dodier, sur laquelle je m’appuie plus
particulièrement, est consultable (fichier audio) ici :
http://www.slru.ehess.org/index.php?post/2009/03/28/un-nouveau-regime-d-objectivite

(3) Eux-mêmes sont membres d’unités de recherche qui sont ou seront
évaluées par d’autres selon les mêmes principes et méthodes.

(4) On pourra se reporter notamment au texte de Sylvain Piron sur la
différence entre évaluation gestionnaire et scientifique :
http://evaluation.hypotheses.org/374

(5) La part des programmes blancs étant jugée insuffisante.

(6) Un autre problème, grave pour l’avenir de la recherche et de
l’enseignement supérieur, est l’emploi des jeunes chercheurs, condamnés
par la réduction des postes statutaires à travailler sur des contrats
précaires de faible durée tels que ceux que propose l’ANR.

(7) Sur ce dernier point, les outils statistiques utilisés inconsidérément
réservent de mauvaises surprises en rendant équivalent ce qui ne l’est
pas. Cf. à cet égard le texte de Jean François Méla
(http://jfmela.free.fr/jfmblog/?p=125#more-125) sur les comparaisons entre
les systèmes de recherche britanniques et français, où les données
chiffrées négligent le fait que ce qu’elles mesurent n’est pas homogène,
les différences structurelles et de pratiques d’un pays à l’autre n’étant
pas prises en compte.

(8) A ma connaissance, par exemple, la batterie d’indicateurs retenus pour
évaluer la « bonne gouvernance » des équipes de recherche, notamment, ne
comporte pas d’éléments permettant d’appréhender si les règles de
fonctionnement des unités sont bien respectées (existence d’un règlement
intérieur, de structures de concertation internes : conseil de
laboratoire, assemblées générales, etc.) si la répartition des dotations
budgétaires sont décidées collégialement ou pas, si les directeurs-trices
sont imposé(e)s de l’extérieur ou sont issu(e)s des rangs des membres de
l’équipe, si les directions n’excèdent pas le nombre limite de mandats
autorisés pour permettre un renouvellement des personnes et des idées,
etc.