Currently viewing the tag: "AERES"

A lire… pour se forger un avis… et puis l’oublier pour continuer comme avant :

Article initialement publié sur  https://tempsreel.nouvelobs.com/rue89/rue89-sciences/20160519.RUE2928/je-ne-publierai-plus-jamais-dans-une-revue-scientifique.html

Montage dononant Elsevier

« Je ne publierai plus jamais dans une revue scientifique »

Olivier Ertzscheid, enseignant-chercheur et blogueur renommé, explique pourquoi le système des revues scientifiques – depuis l’évaluation par les pairs jusqu’aux abonnements exorbitants – va à l’encontre du travail scientifique et de sa diffusion au plus grand nombre.

Enseignant-chercheur, je ne publie plus que vraiment très occasionnellement dans des revues scientifiques. Et ce pour plusieurs raisons.

Monde de dingue

D’abord le modèle économique de l’oligopole (voire du quasi monopole dans le cas des SHS), qui gère aujourd’hui la diffusion des connaissances au travers de revues, est celui d’une prédation atteignant des niveaux de cynisme (et de rente) de plus en plus hallucinants.

A tel point que de plus en plus d’universités préfèrent carrément renoncer à l’ensemble de leurs abonnements chez Springer ou Elsevier. La dernière en date est celle de Montréal.

Montage dénonçant Elsevier

Cette situation est hallucinante et ubuesque :

  • Hallucinante tant les tarifs d’Elsevier (ou de Springer) et les modalités d’accès proposées relèvent du grand banditisme et de l’extorsion de fonds.
  • Ubuesque car nous sommes dans une situation où des universités doivent renoncer, j’ai bien dit renoncer, à accéder à des revues scientifiques. Monde de dingue.

Un peu comme si des agriculteurs devaient renoncer à certaines graines et semences du fait des pratiques de certaines firmes agro-alimentaires. Monde de dingue au carré.

D’autant qu’on sait que dans ce choix extrêmement délicat effectué par l’université de Montréal, l’existence de Sci-Hub, (site « illégal » dont je vous reparlerai un peu plus tard dans ce billet), pourrait avoir largement pesé dans la balance.

Making of
Olivier Ertzscheid, enseignant chercheur en Sciences de l’information et de la communication a initialement publié cet engagement sur son excellent blog affordance.info. Il nous l’a adressé et nous le publions avec plaisir. Rue89

Parce que c’est ahurissant mais c’est ainsi, pour faire de la recherche scientifique aujourd’hui en France (et ailleurs dans le monde), il faut nécessairement passer par des bibliothèques clandestines (Shadows Libraries).

Ensuite les « éditeurs » desdites revues ont arrêté depuis bien longtemps de produire le travail éditorial qui justifiait le coût et l’intérêt desdites revues : ils se contentent le plus souvent d’apposer leur « marque », toutes les vérifications scientifiques (sur le fond) sont effectuées gratuitement par d’autres chercheurs, et les auteurs eux-mêmes se coltinent l’application de feuilles de style la plupart du temps imbitables.

Un système totalement biaisé

Alors bien sûr vous allez me dire que l’intérêt des publications scientifiques dans des revues c’est que des « pairs », d’autres universitaires, vérifient que l’on ne raconte pas de bêtises. Et moi je vais vous répondre en un mot comme en 100 : B-U-L-L-S-H-I-T. Total Bullshit. Hashtag Total Bullshit même.

Bien sûr que l’évaluation par les pairs c’est important. Sauf que même à l’époque où je publiais encore régulièrement dans des revues soumises à l’évaluation par les pairs, (et en l’occurrence « soumises » n’est pas un vain mot), ladite évaluation de mes pairs se résumait neuf fois sur dix à m’indiquer :

  • Que je n’avais pas, ou insuffisamment, cité les travaux de tel ou tel mandarin (ou de l’évaluateur lui-même…).
  • Que c’était très intéressant mais que le terme « jargon 1 » prenait insuffisamment en compte les travaux se rapportant au terme « Jargon 2 ». Jamais, je dis bien jamais aucun débat scientifique, aucune idée neuve, aucune confrontation d’idée, juste une relecture tiédasse.
  • Que ce serait mieux si je changeais cette virgule par un point-virgule.

Mais nonobstant, c’est vrai que la vraie évaluation par les pairs c’est important. Sauf que JAMAIS AUCUN CHERCHEUR NE S’AMUSERA A PUBLIER DES CONNERIES juste pour voir si ses pairs s’en rendront compte ou pas.

Parce que, d’abord, en général, les chercheurs sont plutôt des gens instruits, relativement compétents, et relativement soucieux de contribuer à l’avancée des connaissances.

Et aussi parce que SI TU PUBLIES UN ARTICLE AVEC DES CONNERIES SCIENTIFIQUES OU DES METHODOLOGIES FOIREUSES ben tu te fais immédiatement aligner et ta carrière est finie. Sauf bien sûr si c’est pour faire une blague ; -)

Des revues lues par personne

Alors soyons clair, nul n’est heureusement infaillible et, à moi aussi, il m’est arrivé de publier des articles sur mon blog de chercheur contenant sinon des conneries, en tout cas quelques inexactitudes ou imprécisions.

Lesquelles m’ont été immédiatement signalées de manière tout à fait constructive par les lecteurs dudit blog, qui sont loin d’être tous des scientifiques-chercheurs-universitaires.

Bref le syndrome Wikipédia. Oui il y a des erreurs dans Wikipédia, mais non il n’y en a pas plus que dans les encyclopédies classiques, et oui, à la différence des encyclopédies classiques, elles sont presque immédiatement signalées et corrigées.

Parce que ces putains de revues scientifiques ne sont lues par personne !

Ai-je besoin de développer ? Des milliards (oui oui) d’euros de budget par an versés à quelques grands groupes que je n’ose même plus qualifier « d’éditoriaux » et un lectorat proportionnellement équivalent à celui du bulletin paroissial de Mouilleron Le Captif (au demeurant charmante bourgade de Vendée avec un patronyme trop choupinou).

Ça n’est pas notre métier

Celle qui surclasse toutes les autres. La vraie raison c’est que notre putain de métier n’est pas d’écrire des articles scientifiques et de remplir des dossiers de demande de subvention qui nous seront refusés plus de trois fois sur quatre (chiffres officiels de l’AERES).

Notre putain de métier c’est d’enseigner, de produire des connaissances scientifiques permettant de mieux comprendre le monde dans lequel nous vivons ET DE PARTAGER CES PUTAINS DE CONNAISSANCES AVEC LES GENS. Pas JUSTE avec nos gentils étudiants ou JUSTE avec nos charmants collègues, AVEC LES GENS.

Notre putain de métier ce n’est pas d’attendre deux putains d’années que d’improbables pairs qui auraient par ailleurs bien mieux à faire – de la recherche ou des cours – aient bien constaté que nous n’écrivions pas n’importe quoi pour nous donner, au bout de deux ans, la permission de voir nos écrits diffusés avec un niveau de confidentialité qui rendrait jaloux les banques suisses et avec un coût d’accès qui … rendrait aussi jaloux les banques suisses.

Parce qu’il y’a ceux qui ont un pistolet chargé, et ceux qui creusent

Et que ceux qui creusent, on les connaît. A commencer par les présidents d’université auxquels j’avais déjà par le passé témoigné de toute mon admiration pour le côté visionnaire de leur immobilisme.

Sans oublier bien sûr tous mes charmants collègues qui, à force de « c’est trop compliqué », « j’ai pas le temps », et autres « c’est pas la priorité » ou « les éditeurs de revues ne veulent pas », ne déposent même pas la version auteur de leurs articles dans des archives ouvertes, et qui mettent donc une hallucinante énergie mortifère à creuser leur propre tombe (ça c’est leur problème) mais hélas, aussi et surtout, la tombe de la diffusion des connaissances et de l’accès aux savoirs.

Parce que tant qu’il y aura des couilles éditoriales en or, y’aura des lames d’Open Access en acier

Je vous avais déjà parlé d’Alexandra Elbakyan. S’il y avait un Panthéon des militants de l’accès aux connaissances scientifiques (et du courage scientifique du même coup), elle siègerait aux côtés d’Aaron Swartz.

Cette femme a créé le site Sci-Hub qui est tout simplement à l’heure actuelle la plus grosse bibliothèque scientifique clandestine du Web, plus de 50 millions d’articles scientifiques, et dont la controverse qu’il suscite ne va pas assez loin.

Bien sûr Elsevier lui colle un procès, bien sûr diverses manipulations plus ou moins légales tentent de faire disparaître ce site, qui heureusement, résiste et résiste encore. Pour s’y connecter actuellement, si l’adresse sci-hub.cc ne répond pas, tentez sci-hub.ac ou carrément l’IP 31.184.194.81 : -)

Open Access Guerilla Manifesto

Parce que ces requins du grand banditisme éditorial sont partout et qu’ils ont bien compris d’où venait le danger. A tel point que l’on apprenait il y a quelques jours qu’Elsevier ,(encore…), avait réussi à racheter une archive ouverte en sciences sociales (et pas l’une des moindres… SSRN). Carrément.

Alors figurez-vous que y’a pas que Martin Luther King qui fait des rêves. Moi aussi j’ai fait un rêve.

  • J’ai rêvé que les acteurs publics de la recherche publique (l’Etat, les universités, les présidents d’université, les enseignants-chercheurs, les bibliothèques universitaires) lisaient, adhéraient et appliquaient à la lettre le manifeste pour une guerilla de l’Open Access d’Aaron Swartz.
  • J’ai rêvé que plus un centime d’argent public ne soit versé à ces escrocs mais que la totalité dudit argent public soit consacré à développer, construire et soutenir des initiatives comme Sci-Hub ou toute autre forme d’archive ouverte ou de libre accès, que ces initiatives soient légales ou illégales.
  • J’ai rêvé que des gens qui disposent majoritairement d’un bac+8 soient capables de comprendre et d’entendre que le fruit de leur travail (de recherche), que leur rôle dans la société (faire avancer les connaissances et mettre ces connaissances à disposition du public), que tout cela était non seulement menacé, mais en train d’être entièrement détruit depuis déjà des dizaines d’années par un système devenu totalement dingue et atteignant un niveau de cynisme ahurissant et piloté par quelques grands groupes qui osent encore se dire « éditoriaux » quand la réalité de leurs pratiques les constitue en autant de mafias.
  • J’ai rêvé que des gens qui disposent d’un bac+8, d’un salaire confortable, et d’un temps de cerveau disponible non-entièrement dédié à Coca-Cola, soient capables d’entendre et de comprendre que pour des populations entières sur cette planète, que pour des millions de personnes souffrantes, malades, exploitées ou tout simplement… curieuses, la privatisation des connaissances était littéralement, je dis bien littéralement, mortifère.

Et comme depuis plus de 15 ans que je fais ce rêve, je me suis réveillé avec une putain de gueule de bois, à peine atténuée par la récente médaille d’or de l’innovation attribuée à Marin Dacos.

Bon et là vous vous dites : « ok il est énervé », « ok c’est réjouissant », mais « ok il exagère »

Parce que vous me connaissez hein. Pondéré. Pas sanguin pour deux sous. Raisonnable au-delà des attendus du devoir de réserve. La faconde de la grande muette à moi tout seul. Donc devinette.

Qui a écrit :

« Les éditeurs et les scientifiques insistent sur l’importance cruciale de l’évaluation par les pairs. Nous la dépeignons au public comme si c’était un processus quasi-sacré qui aide à faire de la science notre accès le plus objectif à la vérité. Mais nous savons que le système d’évaluation par les pairs est biaisé, injuste, non fiable, incomplet, facilement truqué, souvent insultant, souvent ignare, parfois bête, et souvent erroné. »

Un punk à chien ? Non, le rédacteur en chef de la revue « The Lancet ».

Qui a écrit :

« Nous avons peu de données quant à l’efficacité réelle du processus, mais nous avons la preuve de ses défauts. En plus d’être peu efficace pour la détection de défauts graves et presque inutile pour la détection des fraudes, il est lent, coûteux, distrait le chercheur de son laboratoire, est très subjectif, tient de la loterie, et peut facilement abuser. Vous soumettez une étude pour un journal. Elle entre dans un système qui est en fait une boîte noire, puis une réponse plus ou moins justifiée sort à l’autre extrémité. La boîte noire est comme la roulette, et les profits et pertes peuvent être grands. Pour un universitaire, une publication dans un journal important comme Nature ou Cell équivaut à toucher le jackpot. »

Un marxiste léniniste ? Non, Richard Smith du Journal of Royal Society of Medicine.

Qui a écrit : qu’il n’enverrait plus jamais d’articles à des revues comme « Nature, Science ou Cell dans la mesure où ces revues à comité de relecture faussent le processus scientifique, et constituent une tyrannie qui doit être brisée. »

Un agitateur anarcho-autonome ? Le prix nobel de médecine 2016.

Résultat en libre accès

Du coup, je me sens un peu moins seul, et pas uniquement du fait de ma schizophrénie. Donc non, je ne publierai plus jamais dans des « revues scientifiques », (et s’il m’arrive de le faire une ou deux fois à titre exceptionnel pour des gens que j’estime intellectuellement ou amicalement, la version intégrale – pas juste la version « auteur » – sera toujours disponible sur ce blog et dans une ou plusieurs archives ouvertes). Et s’il faut pour cela être dans « l’illégalité », j’y serai plutôt deux fois qu’une, et ce ne sera pas la première fois…

Illustration

Illustration – Hans/Pixabay/CC

Je ne publierai plus jamais dans des revues scientifiques qui ne me permettent pas de mettre simultanément en libre accès le résultat de ma recherche. Et j’espère sincèrement que nous serons de plus en plus nombreux à le faire.

Dix ans de perdus ?

Il y a à peine plus de dix ans, le 15 mars 2005 très précisément, un autre universitaire avait pris un tel engagement. Celui de « ne plus jamais publier dans des revues scientifiques qui ne me permette pas au minimum les libertés d’une licence Creative Commons Attribution NonCommercial. »

Ce type, c’était Lawrence Lessig. Sur son blog. Lawrence Lessig. Le même qui, lors de l’enterrement d’Aaron Swartz après son suicide, prononçait avec une immense peine ces quelques mots, le 12 Janvier 2013 :

« Mais quiconque affirme qu’il y a de l’argent à faire avec un stock d’articles scientifiques est soit un idiot, soit un menteur. »

Dix ans plus tard je vais m’autoriser à aller un peu plus loin : quiconque affirme aujourd’hui qu’en acceptant de publier dans des revues scientifiques sans systématiquement déposer son texte dans une archive ouverte et/ou avec une licence d’attribution non-commerciale, ignore, ou feint d’ignorer, sa part de responsabilité dans la situation catastrophique de privatisation de la connaissance que mettent en œuvre quelques grands groupes éditoriaux à l’échelle de la planète. Celui-là est à la fois un idiot, un menteur et surtout un irresponsable.

Alors je ne publierai plus jamais d’articles dans des revues scientifiques. Et je continuerai de m’opposer, de manière légale ou illégale, à toute forme de privatisation de la connaissance. Et vous ?

Tagged with:
 

En guise d’épilogue à nos quelques évocations de l’Agence d’Evaluation de la Recherche dans l’Enseignement Supérieur, voici une copie d‘un article du Monde du 03 janvier 2013 sobrement titré : Fin de vie pour l’Aéres.

L’article évoque l’élément du discours, où au dîner du 20 décembre 2012, à la Conférence des Présidents d’Université, Geneviève Fioraso a scellé définitivement le cercueil de l’Aéres qui agonisait depuis sa naissance. La ministre de l’Enseignement Supérieur et de la Recherche a déclaré à cette occasion : « la sim­pli­fi­ca­tion des procédures de l’évaluation implique également des mesures législatives. Ajoutant : Je souhaite à cet égard que l’AERES actuelle soit rem­pla­cée par une agence natio­nale entiè­re­ment redé­fi­nie à par­tir des prin­cipes d’indépendance, de sim­pli­cité de fonc­tion­ne­ment et de pro­cé­dures ainsi que de légi­ti­mité scien­ti­fique et de transparence « 

Ces propos font suite à la publication, fin septembre 2012, par l’Académie des Sciences, d’un rapport où l’AERES est présentée comme un « machin » bureaucratique et peu efficace, préconisant sa suppression.

Dans cette période de transition, il est difficile d’avoir une visibilité sur les outils qui seront mis en place pour évaluer la recherche scientifique. Il faut dire que l’idée de publier les notes des évaluations a eu l’effet prévisible d’engendrer un statu quo contre-productif pour ce qui est de l’objectif fixé : l’innovation…  plus  une unité est bien évaluée, mieux elle sera financée, donc mieux elle sera évaluée… Ce type d’évaluation engendre des circonvolutions plus que des innovations.

Sur le portail de l’AERES aucune ligne sur la mort annoncée de l’agence.

L’Aéres en chiffres :

Bilan :

Entre 2007 et 2011, l’Aéres a évalué 3 960 formations, 3 196 unités de recherche, 5 483 équipes de chercheurs, 325 établissements d’enseignementsupérieur et 18 organismes de recherche.

Notations :

Sur les 2 613 unités de recherche auditées entre 2008 et 2011 :

21,5 % ont obtenu la note A + ; 43,6 % la note A ; 28 % B ; et 5,8 % C.

Pour les 3 740 cursus (licences, masters et doctorats), 6 % de A + ; 44 % de A ; 41 % de B et 9 % de C.

Moyens :

5 900 experts (18 % étrangers), un budget de 17 millions d’euros, 170 salariés.

Tagged with:
 

Cet article est l’occasion de revenir sur un changement notable dans la politique d’évaluation de la recherche scientifique française, une politique légèrement moins ancrée sur la productivité bibliométrique, replacée dans l’écosystème économique et social.  Une première réponse aux différentes critiques et notamment celle de Yehezkel Ben-Ari formulée dans sa tribune du Monde datée du 16 décembre 2011 : « Shanghai et l’évaluation technocratique tuent la recherche biomédicale ! ». L’évaluation étant le nœud gordien du problème un début de réponse peut être contenu dans cette reprise d’une dépêche de l’AEF. Celle-ci mérite d’être diffusée… et mérite aussi la faveur d’une opinion…

Dépêche n°166899, Paris, mardi 22 mai 2012

L’Aeres adopte six critères d’évaluation des entités de recherche, au lieu de quatre.

L’Aeres (Agence d’évaluation de la recherche et de l’enseignement supérieur) « a récemment étendu à six le nombre de ses critères » d’évaluation des entités de recherche, indique-t-elle dans un document intitulé « Critères d’évaluation des entités de recherche : le référentiel de l’Aeres », approuvé par le conseil de l’agence le 12 avril 2012 et rendu public mardi 22 mai 2012. Les nouveaux critères retenus sont les suivants : « production et qualité scientifiques ; rayonnement et attractivité académiques ; interactions avec l’environnement social, économique et culturel ; organisation et vie de l’entité de recherche ; implication dans la formation par la recherche ; stratégie et projet à cinq ans ». Ces critères seront mis en oeuvre « lors de la campagne d’évaluation 2012-2013 ». Ils se substituent aux quatre critères employés depuis 2008, qui étaient « la qualité scientifique et la production ; le rayonnement et l’attractivité ; la gouvernance et la vie de l’entité de recherche ; la stratégie et le projet ». Cette évolution vient en complément de l’abandon de la note globale, en décembre 2011 (AEF n°159690). L’agence avait alors indiqué vouloir « maintenir les notes associées aux différents critères », tout en affichant son intention de « réviser » ces critères, « pour les améliorer ».

Cette extension des critères d’évaluation répond à des améliorations qui ont été « suggérées dans deux domaines », explique l’Aeres. Il en va ainsi des « activités qui relèvent de la recherche finalisée » et des « activités d’expertise venant en appui des politiques publiques » : « Celles-ci n’étaient pas reconnues et valorisées par l’agence dans la déclinaison de son référentiel en quatre critères », indique-t-elle. « L’introduction du critère ‘interactions avec l’environnement social, économique et culturel’ (…) vise à les intégrer pleinement parmi les activités évaluées. » « Le second domaine est celui de la formation par la recherche qui, dans le référentiel à quatre critères, n’était qu’un élément parmi d’autres du critère ‘gouvernance et vie de l’entité de recherche’ », poursuit l’agence. « Pour donner à la formation toute sa place dans les missions assignées aux entités de recherche, il a paru nécessaire, là encore, de traiter celle-ci comme un critère à part entière. »

CHAMP D’APPLICATION, FAITS OBSERVABLES ET INDICES DE QUALITÉ

L’Aeres souligne aussi que ce nouveau référentiel « répond plus nettement aux attendus de la loi de programme pour la recherche de 2006 », qui définit la « mission d’intérêt national » des personnels de la recherche comme comprenant : « le développement des connaissances ; leur transfert et leur application dans les entreprises, et dans tous les domaines contribuant au progrès de la société ; la diffusion de l’information et de la culture scientifique et technique dans toute la population, et parmi les jeunes ; la participation à la formation initiale et continue ; l’administration de la recherche ; l’expertise scientifique. »

Chacun des six critères est lui-même décomposé en trois aspects : son « champ d’application », les « faits observables » et les « indices de qualité ». Le « champ d’application » d’un critère « résume les aspects que l’évaluateur doit apprécier, en des termes généraux pour tous les types d’entités de recherche et pour tous les domaines ». Par exemple, le critère « production et qualité scientifiques », tel qu’il est défini dans le référentiel, « apprécie, par rapport aux standards de la discipline et du domaine de recherche, les découvertes, les résultats, les problématiques, les faits expérimentaux conduisant à des réalisations scientifiques ». Le document précise qu’ « il apprécie également l’originalité, la qualité et la portée de la recherche ». Les « faits observables » désignent pour leur part « des données factuelles qui peuvent être observées par les évaluateurs pour étayer leur appréciation ». Quant aux « indices de qualité », il s’agit de « la valeur à accorder à ces données pour élaborer l’appréciation proprement dite ».

UN DOCUMENT COMPLÉMENTAIRE SUR LA NOTATION VA ÊTRE PRÉPARÉ

Le « référentiel » de l’Aeres rappelle que ces critères « s’appliquent non seulement aux entités de recherche », mais aussi à leurs « composantes » : les équipes internes et les thèmes. En conséquence, « chaque critère est donc noté non seulement au niveau de l’entité de recherche, mais aussi, lorsque celle-ci est structurée en équipes internes, au niveau de ces équipes ». En revanche, les thèmes ne sont pas notés, « dans la mesure où ils ont en général un caractère transversal et où ils réunissent des personnels appartenant à plusieurs équipes internes d’une même entité de recherche ». L’agence indique qu’il reste à « lier étroitement la définition des critères et l’échelle de notation », autrement dit qu’ « à chaque note doit correspondre un niveau de qualité, dont la définition doit être précisée ». « Ces éléments feront l’objet d’un document méthodologique complémentaire » qui sera rendu public « avant le lancement de la campagne d’évaluation 2013-2014 », annonce-t-elle.

L’évolution des critères d’évaluation « a intégré les propositions recueillies auprès des responsables d’entités de recherche évaluées et de leurs évaluateurs », précise l’Aeres. « Elle a également pris en considération les réflexions méthodologiques conduites par plusieurs groupes de travail (…) et par d’autres agences européennes », tout en ayant « tiré parti des recommandations de dernier rapport de l’Opecst (Office parlementaire d’évaluation des choix scientifiques et technologies) » (AEF n°161145). L’agence précise qu’ « avant d’être rendu public, ce document a été soumis à la direction d’un grand nombre d’organismes de recherche et à la CPU (Conférence des présidents d’université) ». En outre, ajoute-t-elle, « à l’issue de chaque campagne d’évaluation, l’agence procédera à un retour d’expérience qui permettra aux évalués d’apporter les contributions qu’ils jugeront utiles à l’amélioration de la réflexion en cours ».

ÉVALUER L’INTERDISCIPLINARITÉ ET LES SHS

Le document comporte aussi les résultats d’un « travail sur la méthodologie d’évaluation de l’interdisciplinarité et sur les critères adéquats pour apprécier équitablement ce type de recherche », selon que l’on parle de « pluridisciplinarité » (« juxtaposition de perspectives disciplinaires »), d’ « interdisciplinarité » (« coopération de plusieurs disciplines autour de projets communs ») ou de « transdisciplinarité » (« approche scientifique qui dépasse les points de vue disciplinaires par l’approche globale d’une question »). Pour l’Aeres, si « les critères d’évaluation des entités de recherche pluri, inter ou transdisciplinaires ne sont pas différents de ceux auxquels on recourt pour évaluer des entités monodisciplinaires », il s’avère néanmoins « nécessaire de dégager les faits observables propres aux différentes formes d’interaction des disciplines et les indices de qualité correspondants ». Un « groupe de réflexion » travaille à ces questions, mais d’ores et déjà, l’agence considère que « deux marqueurs » peuvent nourrir l’évaluation de l’interdisciplinarité : « le type d’interaction et la proximité entre les disciplines qui interagissent ».

Enfin, le document de l’Aeres présente « une note complémentaire sur la production et la qualité scientifiques en sciences humaines et sociales ». Il ne s’agit pas d’ « un autre référentiel », avertit l’agence, dans la mesure où les six critères élaborés offrent déjà « un référentiel commun qui intègre les perspectives des sciences humaines et sociales, au même titre que les autres, et peut, le cas échéant, s’y adapter ». Il s’agit plutôt de « quelques précisions aux faits observables et aux indices de qualité » relatifs au seul critère de « production scientifique », « pour intégrer au mieux la variété des formes de publication et des autres productions scientifiques en sciences humaines et sociales, mais aussi la diversité relative des langues qui sont utilisées pour la recherche dans ce domaine ». L’Aeres propose ainsi des repères pour « la caractérisation des revues » et « la caractérisation des ouvrages scientifiques », accompagnés des « principes de révision des listes de revues en sciences humaines et sociales » et d’une définition de ce que l’agence considère comme relevant d’un « véritable travail d’édition scientifique » des actes de colloques et des ouvrages collectifs.

Depuis une petite dizaine d’années, une partie du monde de la recherche s’indigne souvent en silence contre un outil de mesure : les principes de l’évaluation scientifique.

Le pouvoir politique français garant du bon usage des fonds publics alloués à la recherche a calqué son appareil de mesure sur ce qui a déjà cours dans le monde anglo-saxon (l’AERES s’est inspiré notamment de l’ERIH, l’European Reference Index for the Humanities). Ainsi, ont fleuri un grand nombre de facteurs dont l’objectif est d’objectiver l’impact d’une recherche sur une société qui la finance ou plutôt d’évaluer la diffusion d’une innovation, d’une découverte (et non son impact réel sur la société).

Ci-dessous un exemple des items tirés de la « fiche de données bibliométriques »  qu’un chercheur remplit en vue de satisfaire aux exigences lui permettant de voir sa carrière progresser (dossiers de contractualisation de la vague C, CNRS):

– Nombre d’articles réf Web of Science sur 2004-2007

– Nombre total d’articles réf. Web of Science, Npa

– Nombre total de citations Nc,totb

– Nombre total de citations hors autocitations

– Nombre de citations par articles Nc,tot/Npd

– Facteur h

– Facteur h relatif, h/Npf

– Facteur d’impact max. de la discipline

– Facteur d’impact moyen de la discipline

– Facteur d’impact max. pour le chercheur

– Facteur d’impact moyen pour le chercheur

Pour paraphraser un chercheur imminent, Pierre Bourdieu, parmi les bons élèves d’une classe il y a ceux qui ont compris comment les notes sont décernées et ceux qui ont compris…

Cet outil de mesure certainement nécessaire peut apparaître comme critiquable à plusieurs titres :

–          l’instrument de mesure peut modifier la variable qu’il tente de mesurer (ainsi des pratiques telles que le « name-droping » des auteurs associés à une publication, les citations de convenances etc.)

–          l’évaluation telle qu’elle est menée engendre des modes à l’instar de ce que relate la nouvelle de Léo Szilard, La fondation Mark Gable. Léo Szilard s’amusait des solutions qui engendreraient un retard du progrès scientifique… le présent peut par certains égards supplanter son ironie.

–          ce type d’évaluation basée sur la bibliométrie engendre que « l’objectif principal des scientifiques n’est plus de faire des découvertes mais de publier autant que possible», de sorte que « l’utilité, la qualité et l’objectivité des articles se sont dégradées », c’est ce que de manière synthétique l’article du Monde Diplomatique, (comment devenir le chercheur du mois) tend à démontrer.

Par dessus tout, l’évaluation induit la mise en concurrence systématique de tous contre tous.  Cette conscience même de la mise en concurrence entre équipes travaillant sur une même thématique incite ces mêmes équipes à attirer vers elles les fonds alloués à la recherche pendant que d’autres tentent de justifier leur propre existence… autant d’énergie qui n’est pas consacrée à la recherche en tant que telle : beaucoup de temps pour remplir des formulaires, beaucoup de temps pour communiquer, de moins en moins de temps pour réfléchir, développer et réaliser le travail de fond…

En définitive, le bon élève assimile et critique le système mais peut rapidement finir par exploiter les vices de l’outil de mesure : la notation. Ayant compris, il se plie aux exigences des critères de la recherche d’excellence… il remplit des formulaires, cherche comment il peut financer sa recherche, en n’oubliant pas les mots clés attendus. Pour prétendre à ces financements, il lui faudra justifier d’une certaine visibilité donc publier autant que possible… la publication devient l’alpha et l’oméga du chercheur… Ceci ayant pour effet, la dilution de l’information… et donc une perte de temps à rechercher l’information réellement pertinente.

Le constat peut paraître sans nuances mais il convient de l’inscrire dans une évolution du monde où la justification prend le pas sur la réflexion et l’action. Même s’il apparaît nécessaire d’évaluer ce que deviennent les fonds publics, il semble qu’un mauvais outil de mesure peut pervertir tout un système. C’est ainsi que l’on se gargarise à l’envi des terminologies novlangues où « l’excellence » remplace la science.

 

« Evaluer tue » – logo retravaillé de : http://forumpsy.wordpress.com/

 

Set your Twitter account name in your settings to use the TwitterBar Section.