Entretien
« On classe les chercheurs comme Google classe les sites »
Par Julien Martin | Rue89 | 09/02/2009 | 20H27
La philosophe Barbara Cassin, auteure de « Google-moi », dénonce un mode de notation au coeur de la grève de ce mardi.
L'évaluation des enseignants-chercheurs, ou l'un des principaux motifs de la crise qui agite actuellement les universités. En cause, notamment, la méthode employée, qui devrait encore être renforcée par le projet de décret actuellement contesté. Philosophe et directrice de recherche au CNRS, Barbara Cassin dénonce sur Rue89 le « scandale » de cette méthode de notation qui, à l'instar de Google, fait que « la qualité devient une propriété émergente de la quantité ».
L'auteure de « Google-moi » (Ed. Albin Michel, 2007) souligne « l'analogie » entre « la manière dont Google fabrique ses réponses à vos questions, c'est-à-dire hiérarchise les items qui apparaissent dans une page » et « la manière dont on hiérarchise les chercheurs » :
« Pour Google, ce qui est mis au-dessus, c'est ce vers quoi le plus de sites renvoient, c'est-à-dire une pratique de citations. C'est comme ça que ça se passe pour les chercheurs. Plus vous écrivez de textes dans des revues répertoriées, plus ces textes sont cités, plus vous êtes bien classés. » (Ecouter le son)
« Ce que dit untel, c'est vraiment de la connerie »
Au coeur du problème, le « facteur H ». Cet indice développé en 2005 par le physicien américain Jorge Hirsch, visant à mesurer l'impact d'un chercheur en fonction de l'importance des citations de ses publications. D'où deux écueils majeurs, selon Barbara Cassin :
- « Les revues anglophones sont les mieux classées, donc quand vous philosophez en français, par exemple, vous avez assez peu de chances d'avoir un bon facteur H. »
- « Les recherches nouvelles sont hors de ce classement, puisqu'il n'y a aucune raison qu'elles soient immédiatement connues et citées. (Ecouter le son)
Jeunes chercheurs, écoutez bien la suite ! Barbara Cassin révèle “la meilleure façon d'avoir un très bon facteur H”. Quelques conseils caricaturaux pour montrer l'absurdité de l'indice de classement des chercheurs, qui “vous demande encore de faire du people” :
“Publiez ‘dirty’, publiez sale, c'est-à-dire publiez vite, publiez en petits bouts, de manière à faire beaucoup d'articles dans les revues anglosaxonnes, même s'ils se ressemblent tous.
Et publiez un article absolument ‘controversal’, c'est-à-dire très paradoxal et stupide, (…) tel que tous les gens du domaine seront obligés de prendre position, en disant par exemple ‘ce que dit untel, c'est vraiment de la connerie'.’ (Ecouter le son)
‘C'est l'évaluation qui est en train de triompher’
|
Le facteur H, ‘c'est l'évaluation qui est en train de triompher’, se désole la philosophe. A l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES), à l'Education nationale, à Bruxelles… En témoigne l'interview de Valérie Pécresse accordée en août dernier au Figaro.
Pour la ministre de l'Enseignement supérieur et de la Recherche, qui réagissait à la mauvaise place de la France dans l'édition 2008 du top 100 des établissements supérieurs (avec trois établissements contre quatre en 2007) établi par l'université de Shangaï, hors de question de dénoncer la méthode, il convient plutôt de s'y adapter :
‘Ce classement a des défauts mais il existe. Les chercheurs et les étudiants du monde entier le lisent attentivement. Nous devons le prendre en compte et faire en sorte de donner plus de visibilité aux universités françaises. (…)
Elles ont un déficit en matière de culture de recherche et d'insertion professionnelle, mais elles sont prêtes à se battre pour le rattraper. Elles veulent entrer dans la culture du résultat.’
Dans le décret contesté par les enseignants-chercheurs, la ministre entend en effet donner plus d'importance encore au facteur H. En faisant passer l'évaluation des mains des pairs à celle de leur hiérarchie administrative, elle favorise le poids des critères durs, donc de cet indice.
‘C'est extrêmement angoissant et nocif’
Une ‘culture du résultat’ qui constitue ‘un goulot d'étranglement pour obtenir de l'argent afin de faire des recherches’, déplore Barbara Cassin. ‘C'est extrêmement angoissant et nocif.’
La seule lueur d'espoir, pour la directrice de recherche au CNRS, provient de ‘très bonnes revues anglosaxonnes, comme Nature’, qui ‘ont demandé de sortir du pool des revues qui servaient à l'évaluation’, ‘considérant qu'il est absolument stupide d'évaluer de cette manière-là’. (Ecouter le son)
Photo : université de Nanterre, en novembre 2007(Audrey Cerdan/Rue89)
A lire aussi sur Rue89
► Les articles de Rue89 sur la mobilisation des les universités
► Panne massive et petite panique sur le Web : Google s'explique
Ailleurs sur le Web
► La biographie de Barbara Cassin, sur Wikipedia
► Interview de Barbara Cassin sur l'hégémonie de Google, sur le site de France Info
- 24165 visites
- Version imprimable
Vous avez aimé cet article ? Achetez votre plaque et soutenez l'indépendance de Rue89
Appelez le 08 99 78 00 93 (1,68 € / appel)
Envoyez « RUE » par SMS au 81027 (1,5 € / SMS)
En savoir plusAccrochez une plaque Rue89 sur votre page de membre et dans vos commentaires. Votre plaque, qui comportera votre numéro de riverain, apparaîtra pendant un mois.
123456
Rentrez le code que vous recevrez dans le cadre ci-dessous pour activer votre plaque
7
De SiDi
Kitten ! | 21H07 | 09/02/2009 |
Il y a une différence entre l'évaluation des compétences et de la recherche.
Quand tu apprends, tu peux prouver que tu comprends ce que tu apprends par une évaluation.
Quand tu cherches, soit tu découvres soit tu continues de chercher.
Le système proposé par la fofolle est d'évaluer en fonction du nombre d'articles publiés et des magasines dans lesquels ils sont publiés. C'est une double erreur parce que :
- les « grands » magasines n'acceptent pas forcément les papiers des courants de pensées minoritaires, ou certains papiers de jeunes chercheurs méconnus, même s'ils sont talentueux.
- certains chercheurs publient peu : Einstein par exemple, et ça ne veut pas dire qu'ils sont forcément mauvais.
Amusez-vous donc à compter le nombre d'articles du dernier prix Nobel (ou Fields ou Turing) et comparez-le à la moyenne, on verra s'ils sont franchement au dessus, et si la méthode d'évaluation est pertinente.
De padiran
Chroniqueur mondain | 21H31 | 09/02/2009 |
Cet article est remarquable car il résume en quelques lignes la différence qu'il existe entre la valeur supposée et la valeur réelle d'un enseignant/chercheur.
Pour publier des articles dans des revues scientifiques, philosophiques, sociologiques, historiques,….il faut savoir « se vendre », c'est à dire publier de la quantité, à défaut de la qualité.
A quoi sert de découvrir le gène qui est à l'origine du cancer des tropiques, quand il est plus facile de publier en 10 épisodes « la mémoire de l'eau » (à l'origine supposée de l'homéopathie) qui fera parler de vous dans les pubications scientifiques mais aussi dans Gala, Voici et Paris Moche.
Autre exemple : la fusion à froid avec production d'energie à partir de l'electrolyse de l'eau : vaste fumisterie qui à provoqué un buzz.
La manipulation de l'information n'est pas l'apanage des politiques, mais quand ceux ci veulent s'en servir pour mettre en oeuvre une destruction de ce qui est une fierté de notre patrimoine scientififique, il faut être très vigilant
De elpadre
topographe | 22H48 | 09/02/2009 |
Mon premier commentaire…
Mon épouse est chargée de recherche au CNRS.
On entend souvent que les chercheurs ne veulent pas être évalués… ils le sont déjà et cette évaluation prend beaucoup de temps à beaucoup de monde : ce sont des rapports d'activités contenant : des listes de publications, des détails sur les animations des équipes, sur l'organisation de colloques ou de tables rondes, sur le contenu des recherches en cours, la participation à des colloques etc…
En gros ils font un dossier qui explique ce qu'ils ont fait pendant la période concernée (tous les ans je crois).
C'est très compliqué d'évaluer le travail d'un chercheur… les seuls capables de le faire c'est d'autres chercheurs (regroupés en commissions)… dans le même domaine de recherche si possible.
Cela pose plusieurs problèmes :
- le temps que passent des chercheurs à évaluer d'autres chercheurs (pendant ce temps ils ne travaillent pas à leur recherche).
- l'impartialité : un chercheur qui évalue un autre chercheur dans le même domaine n'est pas toujours très objectif (il peut avoir une dent contre lui, ne pas faire partie de la même équipe, peut être jaloux etc…)
En résumé, ces évaluations de chercheurs ça existe mais c'est loin d'être parfait.
Donc nos dirigeants ont décidé de « réformer » mais au lieu de prendre le temps de discuter avec les gens concernés, d'essayer d'apréhender le problème dans sa complexité, de garder ce qui est bien et corriger ce qui ne l'est pas, ils ont décidé de juger un chercheur sur le nombre d'articles qu'il publie et sur le nombre de fois que ses articles sont cités. Plus besoin de quelqu'un de compétant pour évaluer nos chers chercheurs mais par exemple…
Certains chercheurs publient beaucoup de petits articles avec pas grand chose dedans en répétant leurs idées plusieurs fois, ça fait beaucoup d'articles, pas forcément avec beaucoup de contenu scientifique. D'autres vont publier un article qui va emmettre une idée, une hypothèse qui va se révéler être complêtement nulle ou fausse. Et bien les autres chercheurs du domaine vont citer cet article en disant ou en prouvant que l'hypothèse qui y est défendue est complètement débile… cet article va être cité beaucoup de fois….
De Autre raleur
22H55 | 09/02/2009 |
Bonjour Paul-Marie,
Vous vouliez des sciences dures ? Je suis mathématicien.
Je suis également convaincu des méfaits de la bibliométrie (l'évaluation sur la base de nombre de publications, de citations etc.) - comme d'ailleurs l'immense majorité de mes collègues en mathématiques.
Mes arguments sont un peu différents de ceux Madame Cassin (en mathématiques on publie essentiellement en anglais et publier des choses fausses serait vraiment une mauvaise idée). Par contre, certaines choses restent valables dans mon domaine. Voici quelques manières d'augmenter son H-factor (ou autre indicateur bibliométrique) en mathématiques (et dans pas mal d'autres sciences dures) :
- saucissoner ses articles (en faire plusieurs avec la même idée) ;
- étudier des choses faciles en les montant en épingle (ça permet d'avoir un rythme de publication régulier) ;
- surtout ne pas passer trop de temps sur des questions intéressante (car, au moins en mathématiques, une question est intéressante si on ne sait pas du tout comme s'y prendre : c'est un coup à ne rien publier pendant 5 ans et à se voir interdit de recherche) ;
- plagier (bon, faut être vraiment malhonnête pour ça, mais c'est ce à quoi la réforme incitera) ;
- travailler dans des domaines dans lesquels les autres chercheurs publient beaucoup (par exemple, des domaines dans lesquels travaillent déjà des chercheurs étrangers, qui eux sont déjà obligé de publier pour avoir le droit de chercher) : vous augmenterez ainsi votre nombre de citations ;
- etc.
Quoiqu'il en soit, les stratégies pour publier beaucoup et être beaucoup cité ne sont pas les mêmes que les stratégies pour faire de la recherche potentiellement intéressante (non, on ne peut pas enlever le potentiel).
Je vous invite par ailleurs (ainsi que ceux qui déversent leur fiel sans avoir étudié la question) à lire ce qui s'est dit sur rue89 dans des sujets voisins (de mon côté je suis par exemple intervenu suite à un billet totalement creux de Monsieur Apparu).
De yomgui
23H23 | 09/02/2009 |
La recherche fondamentale coute 0,38% du PIB en France (selon l'OCDE, 2007), soit un peu plus de 7 milliards d'euros.
Les chercheurs rendent (déjà) des comptes précis, des rapports détaillés, doivent justifier les dépenses, leur adéquation au projet proposé, etc.
Les entreprises (petites, grosses, très grosses, et même multinationales) reçoivent 65 milliards d'euros d'aides publiques, et rendent beaucoup moins de comptes (le rapport de l'Inspection Générale des Finances de décembre 2006 le déplore, même).
Souvenez vous : cela avait pas mal embarrassé le gouvernement Villepin, quand Hewlett Packard, grassement aidée, licenciait des centaines de ses employés en France…
Bref, les chercheurs-qui-gaspillent-les-sous-du-contribuable-sans-rendre-de-comptes est un cliché, doublé d'une contre-vérité.
De marc44
23H34 | 09/02/2009 |
mon chef d'UMR CNRS a dit aux responsables d'équipes (dont je suis) qu'il fallait dégainer son h-index, le connaître par équipe, par individu etc… suite aux réunions qu'il a avec sa hiérarchie.
De Damien Cirotteau
Rue89 | 07H17 | 10/02/2009 |
Autant je suis plutôt d'accord avec l'analyse de la nocivité des systèmes de notations actuels de la recherche, autant je pense que les critiques du h-index telles qu'elles sont présentées au h-index sont infondées.
Le h-index empêche justement les 2 méthodes proposées par Mme Cassin :
« Publiez “dirty”, publiez sale, c'est-à-dire publiez vite, publiez en petits bouts, de manière à faire beaucoup d'articles dans les revues anglosaxonnes, même s'ils se ressemblent tous »
A prioir ces articles seront peu cités par d'autres publications, donc il ne seront pas pris en compte dans le calcul du h-index. En gros le h-index mesure l'équilibre entre le nombre de publications et le nombre de citations d'un auteur.
« Et publiez un article absolument “controversal”, c'est-à-dire très paradoxal et stupide, (…) tel que tous les gens du domaine seront obligés de prendre position, en disant par exemple “ce que dit untel, c'est vraiment de la connerie'.”
Pour que cela marche il faudrait publier un grand nombre d'articles de ce genre. Un seul et unique article très cité n'a aucun impact sur le h-index. Or il est difficile de publier de nombreuse fois des article paradoxaux et stupides (ils ne seront plus accepté par les commités des journaux).
Par ailleurs :
“Les revues anglophones sont les mieux classées, donc quand vous philosophez en français, par exemple, vous avez assez peu de chances d'avoir un bon facteur H.”
Le h-index n'a de sens que relativement, à l'intérieur d'un même champs de recherche. Pour les disciplines qui publient (encore ; ) ) en français, il suffit donc de ne comparer les h-index qu'entre les auteurs/universités de même langue. Par exemple tous les philosophes français entre eux. Et pour toutes les sciences dures les publications sont de toute façon en anglais.
Il a cependant d'autres défauts (voir http://en.wikipedia.org/wiki/Hirsch_number#Criticism)
Même une l'évalutation de la recherche uniquement basée sur les publication/citation est non satisfaisante, l'évaluation est cependant nécessaire et le débat doit avoir lieu.