"Vers un classement européen des universités", par Luc Cédelle, "Le Monde" du 14 novembre 2008

La Commission européenne veut lancer un appel d’offres d’ici la fin de l’année pour la constitution d’un classement européen des universités, a annoncé jeudi 13 novembre 2008, Odile Quintin, directrice générale de l’éducation et de la culture à la Commission européenne. Ce classement serait disponible en 2010, a-t-elle précisé lors de la conférence "Comparaison internationale des systèmes éducatifs : un modèle européen ?", organisée par les 13 et 14 novembre à Paris dans le cadre de la présidence française de l’Union européennes. "Il faut une alternative crédible au classement de Shanghai", a souligné Mme Quintin. La ministre de l’enseignement supérieur, Valérie Pecresse, qui soutient totalement cette démarche, a salué cet "acte fort" de la Commission européenne et estimé que la réalisation d’un classement européen aidera à " donner un second souffle à la mobilité " des étudiants en Europe. En attendant, les contestations du célèbre classement chinois se multiplient.

UNE ETUDE QUI MET EN CAUSE LE CLASSEMENT DE SHANGHAI

A l’occasion de cette conférence, Le Monde a pu prendre connaissance des conclusions d’une étude datée de fin août 2008 et réalisée par l’unité de Statistique et d’Econométrie du Centre Commun de Recherche (CCR) de la Commission européenne. Cette unité de recherches, dirigée par le professeur Andrea Saltelli, met clairement en cause dans son étude le classement de Shanghaï non sur le plan des principes mais sur celui de sa fiabilité – sa " robustesse " selon l’expression consacrée – statistique. Intitulé en anglais " Higher education rankings : robustness issues and critical assessments " (Classements universitaire s : analyse de robustesse et évaluation critique), ce rapport peut être consulté en ligne sur le site du centre de recherches.

Spécialisée dans l’analyse des indicateurs composites tels que celui utilisé dans ce classement, reposant sur la combinaison de 6 indicateurs, l’équipe (Andrea Saltelli, Michaela Saisana et Béatrice d’Hombres) a procédé à une analyse des classements 2007 et 2008 de Shanghaï. "Tout à fait classique" d’un point de vue scientifique, explique Béatrice d’Hombres, cette analyse a consisté à tester des modifications partielles de la méthodologie, pour voir comment évoluait le classement final lorsqu’on faisait varier la pondération (le poids attribue à chacun des 6 indicateurs), le système d’agrégation (qui permet de calculer le score) ou bien lorsqu’un des 6 indicateurs n’était pas pris en compte.

DES VARIATIONS DE DIZAINES DE PLACES

Résultat : la mise en évidence d’une grande incertitude sur le classement de chaque université. Pour 96 % d’entre elles, la position varie de plus de 10 places lorsqu’on modifie la méthodologie. Ainsi, l’Université Paris VI, classée 42e en 2008, se situait entre la 36e et la 40e place dans 29 % des cas de simulation, entre la 41e et 45 e dans 21% des cas, entre la 46e et la 50ème dans 16 % des cas, etc. Autre exemple français, l’ENS-Ulm, classée 73e en 2008, se trouvait dans 7 % des simulations entre la 26e et la 30e position, dans 9 % des cas entre la 31ème et la 35e position, dans 3 % des cas entre la 86e et la 90e place, etc. Au point que l’étude juge " impossible d’établir un classement fiable " pour cette institution. " Dans ces conditions, il est facile de comprendre que se lamenter parce que Paris VI a perdu 3 places par rapport a l’année précédente n’a pas grand sens", note Béatrice d’Hombres.