Débat : Comment l'évaluation ouverte renouvelle-t-elle la conversation scientifique ?

2022-02-03T11:11:00Z

Un article repris du magazine The Conversation, une publication sous licence CC by nd

La crise du Covid et plus spécifiquement les progrès dans la connaissance de la maladie et des moyens d'y faire face ont mis dans la lumière des projecteurs médiatiques les preprints, ces publications scientifiques mises en ligne avant d'avoir été officiellement évaluées et acceptées par une revue scientifique.

La polarisation des discussions mais aussi l'ampleur des enjeux de santé publique dans le débat sur la fiabilité scientifique des preprints n'ont pas toujours permis au grand public de saisir l'importance du processus de relecture par les pairs – aussi appelé « évaluation » – pour le fonctionnement de la communauté scientifique.

Le modèle de publication dans le monde académique actuel est de plus en plus fermement encadré, et ce dans la plupart des disciplines. Les règles dont il fait l'objet ont pour but de favoriser la transparence des publications en les soumettant à un circuit éditorial complexe qui fait intervenir différentes personnes plus ou moins autonomes les unes par rapport aux autres.

L'évaluation classique

Les auteurs et les autrices soumettent leurs projets d'articles à des entités appelées « revues » ; à l'origine de celles-ci se trouvent aussi bien des sociétés savantes constituées en associations, des équipes de recherche, des presses universitaires ou encore des éditeurs commerciaux indépendants (publishers) plus ou moins généralistes et plus ou moins puissants.

Véritables entités collectives, les revues sont organisées en pôles de responsabilité, ou comités, et prennent en charge deux étapes indispensables pour transformer un texte en article scientifique publié : l'étape de l'évaluation (reviewing) et l'étape de préparation éditoriale (corrections orthotypographiques, mise aux normes, mise en page, etc.).

L'étape de l'évaluation, qui conditionne l'acceptation ou le rejet de l'article, est fondamentale. Les revues ont la responsabilité de mettre en place des conditions pour que cette évaluation garantisse un traitement « objectif » des textes qui leur sont soumis, en évitant les conflits d'intérêts et les règlements de compte personnels.

Cette évaluation doit aussi offrir aux auteurs et aux autrices l'occasion d'améliorer significativement leurs textes, non seulement pour les rendre publiables, mais aussi, par leur biais, pour faire progresser l'ensemble des connaissances scientifiques sur un objet donné.

Pour toutes ces raisons, dans un contexte académique général hautement concurrentiel, et parfois franchement toxique, le cadre privilégié pour l'expertise est l'évaluation par les pairs en double-aveugle (double blind peer review) : l'auteur ou l'autrice ne connaît pas les noms des personnes évaluant son texte et vice versa. Quant à l'expert ou l'experte, il ou elle est choisie au sein du monde académique au vu de ses propres travaux et de son expérience sur les sujets traités dans l'article.

Cet anonymat général, associé à la confidentialité du contenu de l'évaluation (les rapports d'expertise sont directement communiqués à l'auteur ou à l'autrice mais ne sont pas rendus publics), est considéré par une partie majoritaire du monde académique comme la meilleure garantie d'une évaluation saine et efficace. C'est aussi celle qui est au cœur de l'« économie du prestige » propre aux publications scientifiques et dont des études récentes ont montré qu'elle permettait aux maisons d'édition d'exercer une emprise importante sur la recherche scientifique.

De nouveaux formats

L'évaluation en double aveugle n'est pas dénuée de travers. Elle ne s'est imposée dans la communauté scientifique que tardivement, dans les années 1970. Il n'est pas rare qu'elle débouche sur des critiques lapidaires, voire franchement violentes – un travers facilité par la dimension anonyme des échanges dans lesquelles elle s'inscrit. Les auteurs et les autrices, les évaluateurs et les évaluatrices peuvent ressentir de la frustration de ne pas pouvoir échanger « entre adultes responsables ».

D'autres formes de relecture par les pairs commencent à gagner en importance dans la communauté scientifique, selon deux principes : d'une part, celui de la transparence, d'autre part, celui de la distribution. La transparence consiste en ce qu'auteur ou autrice et évaluateur ou évaluatrice connaissent réciproquement leurs noms et puissent dialoguer. La distribution permet d'ouvrir la relecture non pas à un cercle restreint d'experts et d'expertes nommément commanditées par une revue, mais à toute personne souhaitant se plonger dans l'article pour le relire et le commenter.

Toutes ces nouvelles formes d'évaluation correspondent à ce qu'on appelle l'open peer review, l'évaluation par les pairs ouverte, qui s'est dotée de plates-formes comme hypothes.is permettant de mettre en œuvre ces principes. La plate-forme européenne de e-learning FOSTER propose d'ailleurs un cours en ligne complet pour se former à l'évaluation ouverte, signe de la montée en puissance de l'intérêt pour cette nouvelle façon d'évaluer.

Les formats ouverts de relecture par les pairs présentent plusieurs avantages :

les versions des articles soumis aux revues sont de meilleure qualité au départ (du fait que la version est publicisée, les auteurs et les autrices prennent généralement plus de soin quant au fond et à la forme de leur texte) ;
les évaluations ont tendance à être davantage bienveillantes ;
les arguments et les contre-arguments peuvent être publiés et contribuer ainsi au débat scientifique public.

Mais la conversation scientifique idéale qui semble se dessiner ici ne peut se réaliser sans dommages. Par exemple, les jeunes chercheurs et chercheuses ou celles et ceux sans statut permanent peuvent se sentir mieux protégés par l'anonymat de l'évaluation en double aveugle que par l'exposition que représente la divulgation de leur nom, voire la mise en ligne publique de leurs évaluations.

Même l'évaluation ouverte requiert des garde-fous pour permettre à la communauté scientifique de dialoguer et de faire communauté, sans risques pour les plus vulnérables.

Ouverture et bienveillance

D'autres alternatives, dans le cadre plus traditionnel du peer review, sont également mises en place : par exemple, ne pas transmettre les rapports d'évaluation tels quels, mais les synthétiser, expurger les formes les plus violentes mais aussi les plus discutables en reformulant les formules inutilement blessantes.

Cela permet également d'éviter les injonctions paradoxales : « comment faire quand la première évaluation me dit de ne surtout pas faire ce que la seconde me demande de développer ? ». Cela enlève du poids des épaules des évaluateurs et des évaluatrices à qui il n'est plus demandé un avis « en vue d'une publication » (ou non), mais simplement un avis sur le texte.

Une évaluation conçue, et annoncée dès le départ, comme étant ouverte permet un meilleur travail collectif. Chacun et chacune peut ainsi valoriser son apport à la recherche scientifique – la publication annuelle ou au fil de l'eau des noms des personnes ayant contribué aux évaluations dans les revues permet une reconnaissance de cette étape nécessaire mais invisible. Et le travail des professionnels et professionnelles de l'édition, chargés notamment de la préparation de copie – ou version à publier –, s'en trouve également facilité.

Des textes validés qui ont été bien travaillés en amont, relus par plusieurs paires d'yeux et repris à la suite d'échanges constructifs entre les pairs sont nettement meilleurs tant sur le fond que sur la forme, un soin particulier ayant généralement été apporté à la forme du texte étant donné qu'il a déjà circulé en amont de sa publication. Ces différents éléments qualitatifs en faveur de l'open peer review ont été documentés dans plusieurs publications qui proposent des analyses chiffrées de l'impact positif ou négatif des différents modèles, blind ou open peer review.

Ces questions ne se posent pas seulement pour la publication d'articles scientifiques. La relecture et l'évaluation rythment désormais au quotidien l'activité de recherche. Outre les articles dans les revues, peuvent également être soumises à évaluation la publication de chapitres dans des ouvrages ou d'ouvrages complets, les candidatures pour des postes permanents, l'obtention de prix, médailles et autres distinctions, la participation à des conférences et congrès et l'attribution de financements pour voyager ou pour réaliser des projets de recherche.

Tour à tour, évaluateurs ou évaluatrices et personnes évaluées sont prises dans un système de récompenses qui leur échappe : les chercheurs et les chercheuses auraient sans doute besoin que soient repensées les qualités de dialogue, d'ouverture et de bienveillance qui peuvent permettre à la communauté scientifique de fonctionner de manière plus sereine.

Utiliser ces termes ne revient pas à faire de la pratique scientifique une affaire de « bons sentiments », mais à repenser l'enchevêtrement de relations qui la rendent possible ; ces relations, regardées en face plutôt qu'escamotées sous le tapis, font voir les interdépendances entre les différents acteurs et actrices qui font les pratiques scientifiques, en lieu et place des formes d'individualisation, de « starification » et de hiérarchisation. Les revues sont ainsi un bon lieu où expérimenter des formes de transparence et de pluralisation.

Pour conclure, précisons que les éléments exposés ici visent à provoquer un débat large. Ils se basent sur notre expérience en tant que partie prenante, à un moment ou à un autre, de l'étape d'évaluation. Quelques expériences pionnières (comme l'expérience de la revue Vertigo) offrent déjà matière à réflexion. Souhaitons que la communauté scientifique dans son entier s'en empare et poursuive le débat.

Cet article fait partie de la série « Les belles histoires de la science en libre accès », publiée avec le soutien du ministère de l'Enseignement supérieur, de la Recherche et de l'Innovation. Pour en savoir plus, veuillez consulter la page Ouvrirlascience.fr.

Céline Barthonnat est membre de Médici, réseau des professionnel·les de l'édition scientifique publique.

Anne Baillot, Anthony Pecqueux, Cédric Poivret et Julie Giovacchini ne travaillent pas, ne conseillent pas, ne possèdent pas de parts, ne reçoivent pas de fonds d'une organisation qui pourrait tirer profit de cet article, et n'ont déclaré aucune autre affiliation que leur poste universitaire.

Innovation Pédagogique et transition

Débat : Comment l'évaluation ouverte renouvelle-t-elle la conversation scientifique ?

L'évaluation classique

De nouveaux formats

Ouverture et bienveillance