L'IA dans l'évaluation par les pairs : améliorer la précision, réduire les biais et accroître l'efficacité

Comment l'IA améliore le processus d'évaluation par les pairs : opportunités, risques et bonnes pratiques

Introduction

L'évaluation par les pairs est souvent décrite comme la colonne vertébrale de la publication scientifique. Avant que la recherche n'apparaisse dans des revues, livres ou actes de conférence, elle est évaluée par des experts qui vérifient si le travail est original, méthodologiquement solide, éthiquement conduit, et pertinent pour le domaine. Ce processus est central pour maintenir la confiance dans le registre scientifique.

Cependant, le système traditionnel d'évaluation par les pairs est sous une pression sérieuse. Les revues reçoivent plus de soumissions que jamais, tandis que le nombre d'évaluateurs qualifiés prêts à offrir leur temps n'a pas augmenté au même rythme. En conséquence, les éditeurs peinent à trouver des évaluateurs, les délais d'évaluation s'allongent, et les préoccupations concernant les biais, l'incohérence, ainsi que les erreurs ou fautes non détectées persistent.

Dans ce contexte, l'Intelligence Artificielle (IA) émerge comme un allié puissant. L'IA ne peut pas reproduire le jugement nuancé d'un chercheur expérimenté, mais elle peut aider à la sélection initiale, la détection de plagiat et la vérification d'images, la validation statistique, la sélection des évaluateurs, et même l'analyse du ton et de l'équité des évaluations. Utilisée avec précaution, l'IA a le potentiel de rendre l'évaluation par les pairs plus efficace, plus cohérente et plus transparente, tout en permettant aux évaluateurs humains de se concentrer sur les aspects de la recherche qui nécessitent une expertise approfondie.

Cet article examine comment l'IA est actuellement utilisée pour améliorer l'évaluation par les pairs, les avantages qu'elle offre, les défis éthiques et techniques qu'elle pose, et comment les éditeurs et chercheurs peuvent intégrer l'IA de manière responsable tout en préservant l'intégrité de l'évaluation académique.

Défis du processus traditionnel d'évaluation par les pairs

Avant de considérer comment l'IA peut aider, il est utile de présenter les principaux problèmes qui affectent le système actuel.

1. Flux de travail chronophages

L'évaluation par les pairs conventionnelle peut prendre des semaines voire des mois. Les éditeurs doivent examiner les soumissions, identifier des évaluateurs appropriés, envoyer des invitations, relancer les réponses, et gérer plusieurs cycles de révision. Pour les auteurs, cela peut signifier de longs délais avant que leur travail soit rendu public, même lorsque la recherche est sensible au facteur temps.

2. Fatigue et pénurie des évaluateurs

La charge de travail imposée aux évaluateurs est devenue insoutenable dans de nombreux domaines. Les universitaires occupés jonglent entre l'enseignement, les demandes de subventions, la supervision, leurs propres recherches, et parfois des tâches administratives. Les demandes d'évaluation arrivent souvent en plus de tout cela, et de nombreux chercheurs refusent désormais plus d'évaluations qu'ils n'en acceptent. Ceux qui acceptent peuvent être débordés, ce qui conduit à des évaluations plus lentes ou moins approfondies.

3. Évaluations subjectives et incohérentes

Le jugement humain est inestimable mais aussi imparfait. Les évaluateurs peuvent fortement diverger entre eux ou appliquer des standards très différents à des manuscrits similaires. Les préférences personnelles, les alignements théoriques ou les biais inconscients peuvent influencer les décisions. En conséquence, certains articles de haute qualité sont rejetés, tandis que des travaux plus faibles peuvent parfois passer.

4. Détection limitée des inconduites

Le plagiat, la manipulation d'images et la fabrication de données sont des menaces relativement rares mais graves pour l'intégrité de la recherche. Les détecter manuellement est extrêmement difficile. Les évaluateurs n'ont généralement pas le temps de vérifier chaque phrase ou figure par rapport à l'ensemble de la littérature publiée, et les fraudes sophistiquées peuvent être soigneusement dissimulées.

5. Appariement inefficace des évaluateurs

Choisir les bons évaluateurs est crucial. Les éditeurs doivent identifier des personnes ayant l'expertise thématique, les compétences méthodologiques et l'indépendance requises (c'est-à-dire sans conflits d'intérêts), mais les outils traditionnels pour cela sont limités. En conséquence, des évaluateurs peuvent être sélectionnés qui ne connaissent qu'à peine un sujet, conduisant à des retours superficiels ou mal orientés.

Ces défis ont motivé les journaux et éditeurs à explorer si l'IA peut aider à soutenir un système de revue par les pairs plus efficace, équitable et robuste.

Comment l'IA améliore la revue par les pairs

L'IA n'est pas une technologie unique mais un ensemble de méthodes — apprentissage automatique, NLP, reconnaissance de formes, détection d'anomalies — qui peuvent être appliquées à différentes étapes du flux éditorial. Voici les domaines clés où l'IA a déjà un impact.

1. Dépistage initial assisté par IA

Le dépistage initial est un point de départ naturel. De nombreux journaux reçoivent bien plus de soumissions qu'ils ne peuvent raisonnablement envoyer pour une revue complète. Les outils d'IA peuvent aider les éditeurs à trier les manuscrits avant qu'ils n'atteignent les évaluateurs humains.

• Contrôles techniques : L'IA peut vérifier que les manuscrits respectent les exigences de formatage de base, incluent les sections obligatoires (par exemple méthodes, déclarations éthiques), et respectent les limites de mots ou de figures.
• Évaluation du champ : Les modèles NLP peuvent comparer le contenu du manuscrit avec le champ du journal, mettant en évidence les soumissions manifestement hors sujet.
• Signaux de qualité : Des outils tels que StatReviewer ou SciScore peuvent évaluer l'exhaustivité du rapport (par exemple les éléments CONSORT ou ARRIVE), signaler l'absence d'approbations éthiques, ou identifier des descriptions méthodologiques superficielles.

Impact : Les éditeurs passent moins de temps à la sélection administrative, et seuls les manuscrits qui passent les contrôles de qualité et de champ de base sont transmis aux évaluateurs humains.

2. IA pour la détection du plagiat et de la manipulation d'images

Les outils basés sur l'IA pour la similarité et la criminalistique d'images jouent désormais un rôle central dans de nombreux bureaux éditoriaux.

• Détection de plagiat : Des outils comme iThenticate et Turnitin comparent le manuscrit à de grandes bases de données d'articles, thèses et pages web, mettant en évidence les textes qui se chevauchent et le potentiel auto-plagiat.
• Analyse d'images : Des logiciels comme Proofig peuvent détecter des panneaux dupliqués, des régions clonées ou des manipulations suspectes dans les figures, même lorsqu'elles ont été transformées ou re-étiquetées.

Impact : L'intégrité de la recherche est renforcée, et les revues peuvent identifier une proportion significative de fautes ou de pratiques négligentes avant publication, réduisant ainsi le risque de rétractations ultérieures.

3. Sélection des évaluateurs pilotée par IA

L'IA peut aider les éditeurs à sélectionner des évaluateurs qualifiés et indépendants.

• Appariement des expertises : Des outils comme Reviewer Finder d'Elsevier analysent les mots-clés, les résumés et les listes de références et les comparent aux profils de chercheurs et aux historiques de publication pour suggérer des évaluateurs potentiels ayant l'expertise pertinente.
• Détection des conflits : L'IA peut examiner les réseaux de co-auteurs et les affiliations institutionnelles pour identifier d'éventuels conflits d'intérêts (par exemple, collaborateurs récents ou collègues du même département).

Impact : L'appariement des évaluateurs devient plus rapide, plus équitable et plus ciblé, augmentant la probabilité d'une évaluation réfléchie et experte.

4. Détection du sentiment et des biais assistée par IA

Une fois les évaluations soumises, l'IA peut analyser le texte pour évaluer le ton et les biais potentiels.

• Analyse de sentiment : Les modèles de PNL peuvent identifier les évaluations exceptionnellement dures, vagues ou excessivement positives sans justification.
• Indicateurs de biais : Les systèmes peuvent signaler un langage qui semble personnel, discriminatoire ou hors sujet par rapport au contenu scientifique.
• Retour sur la qualité des évaluations : Certains outils peuvent suggérer des reformulations pour rendre les commentaires plus constructifs et précis.

Impact : Les éditeurs obtiennent des informations supplémentaires sur l'équité et le professionnalisme des évaluations et peuvent écarter ou interroger les retours qui semblent biaisés ou inutiles.

5. Validation statistique et méthodologique assistée par IA

De nombreux articles impliquent des statistiques complexes ou des méthodes spécialisées que tous les évaluateurs ne maîtrisent pas en profondeur. L'IA peut fournir une seconde ligne de défense.

• Vérifications statistiques : Des outils comme StatCheck en psychologie comparent les valeurs p rapportées avec les statistiques de test et les degrés de liberté pour détecter les incohérences.
• Modèles méthodologiques : L'IA peut signaler des tailles d'effet inhabituelles, des distributions de données improbables ou des conceptions expérimentales problématiques par rapport aux normes du domaine.

Impact : Les erreurs statistiques et les pratiques douteuses sont plus susceptibles d'être détectées, ce qui favorise des conclusions plus solides et fiables.

6. IA pour l'amélioration de la langue et de la lisibilité

La clarté du langage n'est pas une question triviale : les manuscrits mal écrits sont plus difficiles à évaluer et plus susceptibles d'être mal compris. Les outils d'écriture assistés par IA peuvent aider les auteurs à améliorer la lisibilité avant la soumission.

• Des outils comme Grammarly ou Trinka AI détectent les erreurs grammaticales, les formulations maladroites et les problèmes de ton académique.
• La traduction automatique et les outils d'aide linguistique aident les anglophones non natifs à exprimer leurs idées plus clairement.

Impact : Les évaluateurs peuvent se concentrer sur la substance scientifique plutôt que d'être distraits par des problèmes de langue. Cependant, étant donné que de nombreuses institutions interdisent le texte généré par l'IA, les auteurs devraient limiter ces outils à des corrections locales et utiliser une relecture professionnelle humaine pour les révisions majeures afin d'éviter les problèmes de similarité et de politique.

Préoccupations éthiques et pratiques de l'IA dans l'évaluation par les pairs

Malgré ses avantages, l'utilisation de l'IA dans l'évaluation par les pairs soulève des questions importantes qui doivent être abordées pour maintenir la confiance et l'équité.

1. Biais algorithmique

Les systèmes d'IA apprennent à partir des données ; si les données sont biaisées, les modèles le sont aussi. Cela peut se manifester par :

• Une préférence pour les sujets, méthodes ou institutions courants dans l'ensemble d'entraînement, ce qui peut désavantager les domaines émergents ou les régions sous-financées.
• Une dépendance excessive aux métriques de citation ou au prestige des revues, renforçant les inégalités existantes plutôt que de se concentrer sur la qualité intrinsèque.

Atténuer les biais nécessite des données d'entraînement diversifiées, des audits réguliers et une transparence sur la manière dont les outils d'IA font des recommandations.

2. Manque de jugement humain dans les évaluations complexes

L'IA peut vérifier la structure, les statistiques et les caractéristiques superficielles, mais elle ne peut pas vraiment évaluer :

• La nouveauté d'une idée dans le contexte de l'histoire et des débats en cours d'un domaine.
• La contribution théorique qu'un nouveau cadre conceptuel pourrait apporter.
• Le saut créatif ou interdisciplinaire que représente une méthode ou une question non conventionnelle.

Ces évaluations nécessitent un jugement humain, un savoir tacite, et souvent un sens du « goût » académique qui ne peut pas être codé dans un algorithme.

3. Confidentialité des données et respect de la vie privée

L'évaluation par les pairs porte sur des manuscrits non publiés qui sont généralement confidentiels. L'intégration de l'IA soulève des questions telles que :

• Où les manuscrits sont-ils traités et stockés lorsqu'ils sont analysés par des outils d'IA ?
• Des textes ou figures sont-ils utilisés pour entraîner les modèles sans le consentement des auteurs ?
• Comment les revues garantissent-elles la conformité aux réglementations telles que le RGPD ou le HIPAA lorsque des données médicales ou personnelles sont impliquées ?

Les revues doivent s'assurer que les outils d'IA sont intégrés dans des infrastructures sécurisées et que les auteurs sont informés de la manière dont leurs soumissions sont traitées.

4. Dépendance excessive aux résultats de l'IA

Les résultats de l'IA peuvent sembler définitifs lorsqu'ils sont présentés sous forme de scores ou de listes de signaux d'alerte. Mais l'IA n'est pas infaillible :

• Les éditeurs pourraient être tentés de suivre mécaniquement les recommandations de l'IA plutôt que d'appliquer leur propre jugement.
• Les relecteurs pourraient supposer que « l'IA a déjà vérifié les problèmes » et être moins vigilants.
• Des questions importantes mais subtiles, hors de la portée de détection de l'IA, pourraient être négligées.

Pour cette raison, l'IA doit être clairement présentée comme un outil de soutien, les décisions finales reposant toujours sur les éditeurs et relecteurs humains.

L'avenir de l'évaluation par les pairs améliorée par l'IA

À l'avenir, le rôle de l'IA dans l'évaluation par les pairs devrait croître — mais de manière supportive, non dominante.

• Modèles hybrides IA–humain : L'IA effectue les vérifications initiales et le triage ; les experts humains dirigent l'évaluation détaillée et les décisions finales.
• Modèles NLP plus avancés : Les outils futurs pourraient mieux comprendre la structure des arguments et générer des questions plus ciblées pour les relecteurs plutôt que des retours génériques.
• Tableaux de bord de surveillance des biais : L'IA pourrait être utilisée pour détecter des schémas dans les décisions éditoriales et les rapports de revue suggérant un biais systémique, incitant à une action corrective.
• Intégration avec la science ouverte : À mesure que davantage de données, codes et protocoles sont partagés [open], l'IA disposera de matériaux plus riches pour vérifier les méthodes et résultats.
• Blockchain et suivi de provenance : Combinés à l'IA, les systèmes basés sur la blockchain peuvent permettre un suivi plus transparent des historiques de revue et des changements de version.

Bonnes pratiques pour utiliser l'IA de manière responsable dans l'évaluation par les pairs

Pour tirer parti des avantages de l'IA tout en évitant ses écueils, les éditeurs et chercheurs peuvent adopter un ensemble de directives pratiques.

• Définir des rôles clairs : Spécifiez quelles tâches l'IA prendra en charge (par ex. vérifications de plagiat, suggestions de relecteurs) et où le jugement humain est obligatoire.
• Maintenir la transparence : Informer les auteurs et évaluateurs lorsque des outils d'IA sont utilisés et, lorsque possible, fournir des résultats interprétables plutôt que des scores opaques.
• Prioriser la sécurité : S'assurer que tout traitement par IA se fait dans des environnements sécurisés et conformes, et que les manuscrits ne sont pas partagés avec des outils tiers sans consentement.
• Surveiller la performance et les biais : Auditer régulièrement les recommandations de l'IA par rapport aux décisions humaines et aux résultats pour détecter les schémas indésirables.
• Former les éditeurs et évaluateurs : Fournir des conseils sur la manière d'interpréter les résultats de l'IA et comment les équilibrer avec leur propre expertise.

Implications pour les auteurs et rôle de la relecture humaine

Pour les auteurs, l'essor de l'IA dans l'évaluation par les pairs a deux implications clés :

• Les manuscrits seront probablement soumis à des contrôles automatisés plus rigoureux pour la similarité, les statistiques, l'éthique et la structure. Les soumissions négligentes ou non conformes seront détectées plus rapidement.
• Les universités et les éditeurs sont de plus en plus stricts concernant les textes générés par l'IA. Beaucoup exigent désormais que les auteurs déclarent toute utilisation d'IA générative et considèrent l'écriture non divulguée par IA comme une violation de l'intégrité.

Dans ce contexte, la stratégie la plus sûre est de garder le contenu intellectuel et la formulation de votre manuscrit rédigés par des humains et d'utiliser les outils d'IA, si nécessaire, uniquement pour la rédaction interne ou l'exploration d'idées—pas pour produire un texte prêt à être soumis. Pour la qualité linguistique, la clarté et le style spécifique à la revue, la relecture et l'édition professionnelles humaines restent l'option la plus fiable. Les correcteurs humains peuvent améliorer la grammaire, la structure et la lisibilité sans augmenter les scores de similarité ni violer les politiques d'utilisation de l'IA, et ils peuvent aussi s'assurer que votre manuscrit répond aux attentes des évaluateurs et des éditeurs.

Conclusion

L'IA transforme déjà le paysage de l'évaluation par les pairs. En assistant au dépistage initial, à la détection de plagiat et d'images, à la sélection des évaluateurs, à l'analyse des biais, aux vérifications statistiques et à l'amélioration linguistique, les outils d'IA peuvent rendre l'évaluation par les pairs plus rapide, plus cohérente et plus robuste. En même temps, l'IA présente des limites évidentes : elle manque de compréhension approfondie du sujet, peut reproduire les biais présents dans les données d'entraînement, et soulève des questions importantes sur la confidentialité des données et la dépendance excessive à l'automatisation.

L'avenir de l'évaluation par les pairs n'est donc pas l'IA contre les humains, mais l'IA avec les humains. Un modèle hybride—où l'IA gère les tâches répétitives et à grande échelle et les évaluateurs humains apportent un jugement contextuel, éthique et théorique—offre le meilleur des deux mondes. Combiné à des directives éthiques claires, des infrastructures sécurisées et une relecture humaine de haute qualité pour les auteurs, l'évaluation par les pairs assistée par IA peut aider à créer un système plus rapide, plus équitable et plus transparent, tout en préservant les valeurs fondamentales de l'évaluation scientifique.