Note de Benchmarking 4 par l’Institut Thomas More, 23 octobre 2009

Note de présentation par Olga Moll pour SLU

14 pages qui laissent un goût amer...

"L’objectif de cette note est d’offrir, à l’aide d’informations claires et précises, un éclairage sur l’ensemble des classements existants, d’en indiquer les forces et les limites, et d’en tirer les leçons pour rendre néanmoins le projet européen le plus efficace et le plus opérationnel possible".

La partialité des classements existants est mise en évidence sans aucune ambiguïté, mais l’adhésion à la mise en concurrence des universités au travers d’un système d’évaluation est totalement assumée ainsi que la complète acceptation de la logique qui préside à l’ensemble de la réforme de l’université et de la recherche. A tel point qu’une question finit par s’imposer au cours de la lecture : est-ce la réforme qui justifie la nécessité d’une évaluation ou bien le contraire ?...

Quoi qu’il en soit l’objectif et le contexte sont d’emblée clairement déterminés :

"L’Institut Thomas More consacre une nouvelle étude au projet, lancé par Valérie Pécresse pendant la présidence française de l’Union européenne du deuxième semestre 2008, de mise en oeuvre d’un classement proprement européen. [...] Le défi que devra relever ce classement sera double : il devra être utile (aux étudiants, aux enseignants, aux entreprises) et innovant. Mais comment réaliser un outil à la fois efficace et honnête – au risque de froisser certaines susceptibilités ? Comment en faire un outil d’incitation à l’excellence et à la performance ?".

L’institut analyse les cinq classements existants : Shanghaï, CHE University Ranking, Professionnal Ranking of World Universities (Mines de Paris), Times Higher Education (réalisé par le Times), Global MBA Ranking (réalisé par le Financial Times).

Les méthodes et critères choisis par ces classements sont d’une telle disparité qu’ils devraient suffire à invalider les résultats ! La question est même posée par l’institut (page 8) : quelle crédibilité donner à des outils produisant des résultats si disparates ?

Ainsi en comparant pour une même université, son rang selon les classements, l’université de Tokyo est première dans celui de l’école des Mines et ne figure même pas au Global MBA Ranking. De la même façon Paris VI, 89e dans le classement Shanghai n’apparaît ni dans le classement des Mines ni dans le Global MBA Ranking.

Les raisons avancées se déclinent sous deux catégories :

1. La méthode :

 Comment comparer une université spécialisée et une université pluridisciplinaire ? Les critères actuellement retenus favorisent les systèmes d’enseignement supérieur anglo-saxons. Notre division GE / Universités, ainsi que les spécialisations qu’elles impliquent (commerce / ingénierie / sciences dures / sciences humaines...) nous désavantagent dans ce type d’évaluation.

 La dissociation entre organismes de recherche indépendants et universités est également un handicap de ce point de vue.

 Le critère des moyens financiers est bien entendu également déterminant. A titre d’exemple l’institut compare la dotation annuelle de Harvard, supérieure de plus de 3 milliards d’euros au budget annuel de toutes les universités françaises !!!

2. Les critères :

"Sur 16 critères identifiés, le classement qui en utilise le plus grand nombre, celui de Shanghai, n’en retient que 6. C’est dire qu’aucun de nos cinq classements n’offre une vue d’ensemble de la problématique. [...] Suit un tableau récapitulatif. On le voit, ces classements ont des optiques différentes. Certains classements sont exclusivement basés sur les performances de la recherche. C’est en particulier le cas du classement de Shanghai, dont tous les critères analysent la qualité de la recherche. De même dans le classement du CHE, les critères de présélection des universités sont exclusivement des critères de performance de la recherche. D’autres classements se concentrent plus sur l’employabilité des cursus (ceux du Financial Times et des Mines), sur la mobilité des étudiants et des enseignants ou encore sur la reconnaissance de l’Université par des personnalités extérieures (celui du Times)".

D’autres inégalités quant aux critères sélectionnés sont signalées :

-les universités anglophones sont avantagées dans la mesure où les publications "qui comptent" se font dans leur langue maternelle ;

-la taille et le morcellement du système d’enseignement supérieur et de recherche français "empêchent d’atteindre le seuil critique pris en compte par les classements et plus largement les médias. [...] Le lien entre le nombre de citations et la taille des universités est donc déterminant. C’est pourquoi les universités anglo-saxonnes monopolisent les premières places des classements. Par ailleurs, dans le cas français, le bénéfice d’un prix Nobel, d’une médaille Fields ou des publications dans les revues scientifiques s’évapore souvent pour les universités au profit des organismes de recherche auxquels sont souvent rattachés les chercheurs français. Or, la recherche française est régulièrement récompensée pour ses travaux au niveau international – notamment dans les sciences dures".

Le projet gouvernemental de constitution de pôles universitaires se trouve particulièrement bien éclairé par ces résultats... "Coller" aux critères d’évaluation ! Ni les objectifs de l’évaluation, ni les critères ne sont remis en cause. Toutes les inégalités listées jusque là sont présentées tout à coup sous un nouveau jour : "Des critères de performance qui soulignent les faiblesses du système européen". Les faiblesses...

Economie du savoir, concurrence : certains des signifiants fétiches du pouvoir ne tardent pas à émerger.

"On arrive là au coeur de la problématique posée par nos classements. Les critères retenus par chacun d’eux (tels que recensés dans notre Tableau 2) peuvent être discutés mais sont tous plus ou moins pertinents. La difficulté est donc dans l’importance accordée à chaque critère et à son dosage dans la combinaison qui peut être faite. Et là, force est de constater que la recette miracle n’a pas encore été trouvée...

Ces réserves ne doivent néanmoins pas conduire au rejet complet de la logique du ranking, comme certains en ont la tentation. Dans le contexte de « chasse aux cerveaux » planétaire et de compétition mondiale initiée par l’avènement de l’économie du savoir, il reste impératif de relever le défi de la concurrence. Dans ce contexte, la réalisation d’un classement européen ne doit pas être conçue dans l’objectif d’occulter les classements existants ou d’invalider leurs résultats, mais de donner une vision élargie, conjuguant des critères existants qu’on jugera pertinents avec de nouveaux critères qui mettent en avant l’enseignement supérieur européen. Le classement du CHE, qui multiplie les critères, présente en ce sens des qualités d’objectivité inédites".

Suivent

 la poursuite de l’éloge du CHE University Ranking, notamment parce qu’il est plus mapping (cartographie, panorama) que ranking ;

 une série de 5 recommandations pour l’élaboration d’un "classement proprement européen" :

1. Oser entrer dans la « bataille » des rankings ;

2. Cibler les attentes spécifiques et prendre en compte les particularités du système d’enseignement européen ;

3. Chercher à combiner l’ensemble des critères disponibles ;

4. Faire une place particulière aux critères mesurant l’employabilité des formations dispensées ;

5. Valoriser les stratégies d’établissement ambitieuses et novatrices.

Enfin le discours officiel reprend progressivement et totalement ses droits :

"Si les université européennes n’occupent pas les meilleures places dans les rankings existants, elles se tournent pourtant (trop lentement sans doute...) de plus en plus vers les bonnes mesures pour relever les défis mondiaux de concurrence, d’excellence et d’ouverture, en référence aux trois axes de réforme engagés par l’Union européenne : un parcours d’apprentissage en trois temps (LMD) flexible et axé sur la mobilité, une gouvernance des universités rénovée pour une plus grande autonomie et une diversification des financements des universités, la promotion de l’accès et de l’équité au sein des universités, le renforcement du rôle des prêts, bourses, et droits d’inscription". (Il est à noter qu’ici l’augmentation prévisible des droits d’inscription n’est pas niée !!)

Enfin je conclurai sur le détail des critères qui définissent en quoi une stratégie d’établissement est ambitieuse et novatrice...

Il faut pour cela faire "toute leur place à :

 la diversité sociale des étudiants dans leurs établissements et l’accès de tous à un enseignement de qualité".