Appariement des évaluateurs assisté par IA : améliorer la précision et l'efficacité dans l'édition

Comment l'IA optimise la sélection des évaluateurs dans la publication scientifique

Introduction : L'évaluation par les pairs sous pression

L'évaluation par les pairs est au cœur de la publication académique. Avant qu'un manuscrit ne soit accepté, il est normalement évalué par un ou plusieurs experts qui jugent son originalité, ses méthodes, son analyse et sa contribution au domaine. En principe, ce processus protège la qualité de la recherche et aide les auteurs à améliorer leur travail. En pratique, cependant, une étape du processus s'avère souvent difficile et chronophage : trouver des évaluateurs appropriés.

On attend des éditeurs qu'ils identifient des évaluateurs qui :

• ont l'expertise appropriée pour le sujet et les méthodes du manuscrit,
• ne sont pas en conflit avec les auteurs,
• sont fiables et constructifs, et
• sont disponibles dans le délai souhaité.

Traditionnellement, la sélection des évaluateurs reposait sur des réseaux éditoriaux personnels, des recherches manuelles dans des bases de données et des suggestions d'auteurs. Cette approche peut fonctionner raisonnablement bien pour les petites revues spécialisées, mais à mesure que le volume des soumissions augmente, elle devient de plus en plus inefficace et incertaine. Les éditeurs passent beaucoup de temps à envoyer des invitations qui sont déclinées ou ignorées, tandis que le même petit groupe de « suspects habituels » est surchargé de demandes et que les experts en début de carrière restent invisibles.

Les progrès de l'intelligence artificielle (IA) et de l'analyse des données offrent désormais une alternative. En analysant les archives de publication, les mots-clés, les réseaux de citations et le comportement passé en matière d'évaluation, les outils alimentés par l'IA peuvent aider les éditeurs à trouver et sélectionner des évaluateurs plus rapidement et de manière plus systématique. Utilisés avec précaution, ces systèmes promettent de rendre l'évaluation par les pairs plus rapide, plus équitable et plus transparente – tout en gardant les humains aux commandes.

Les défis de la sélection traditionnelle des évaluateurs

Avant d'examiner comment l'IA peut aider, il est important de clarifier les problèmes auxquels les éditeurs sont actuellement confrontés.

Disponibilité limitée et fatigue des évaluateurs

De nombreux chercheurs actifs reçoivent plusieurs demandes d'évaluation chaque semaine. Comme l'évaluation est souvent non rémunérée et doit s'adapter à l'enseignement, à la recherche et à l'administration, de nombreuses invitations sont déclinées ou acceptées avec un retard important. Les éditeurs peuvent envoyer des dizaines d'invitations avant d'obtenir deux ou trois évaluateurs, surtout dans des domaines très spécialisés ou en rapide évolution.

Correspondance des compétences et évitement des biais

Choisir un évaluateur ne consiste pas simplement à trouver quelqu'un qui travaille dans un domaine vaguement lié. Les éditeurs doivent s'assurer que les évaluateurs :

• ont une connaissance détaillée du sujet spécifique et des méthodes du manuscrit, et
• n'ont pas de liens personnels ou professionnels forts avec les auteurs qui pourraient biaiser leur jugement.

Les recherches manuelles dans des bases de données telles que PubMed, Scopus ou Web of Science peuvent identifier des experts potentiels, mais évaluer leur adéquation est laborieux. Les éditeurs peuvent aussi consciemment ou inconsciemment s'appuyer sur des noms familiers dans leurs propres réseaux, ce qui peut introduire des biais géographiques, institutionnels ou démographiques.

Conflits d'intérêts

Des conflits d'intérêts peuvent survenir lorsque des évaluateurs potentiels :

• travaillent dans la même institution que les auteurs,
• ont récemment co-écrit des articles avec eux,
• sont en concurrence directe pour des financements ou de la visibilité, ou
• ont des relations personnelles avec les auteurs.

Examiner ces relations manuellement est difficile et souvent incomplet, surtout lorsque les auteurs et évaluateurs ont des historiques de collaboration complexes à travers plusieurs institutions.

Processus longs et inégaux

Parce que l'approche traditionnelle dépend fortement des connaissances et du temps disponible des éditeurs individuels, elle est intrinsèquement inégale. Certains manuscrits avancent rapidement parce que l'éditeur connaît des évaluateurs appropriés ; d'autres stagnent pendant des semaines parce que l'éditeur doit repartir de zéro. Cette incohérence frustre les auteurs et peut nuire à la réputation d'une revue.

Comment l'IA transforme la mise en correspondance des évaluateurs

Les systèmes de sélection d'évaluateurs assistés par IA visent à relever ces défis en analysant de grands volumes de données structurées et non structurées bien plus rapidement que n'importe quel humain. Bien que les outils spécifiques diffèrent par leurs algorithmes et interfaces, la plupart suivent une logique similaire.

1. Correspondance d'expertise par analyse de texte et métadonnées

Lorsqu'un manuscrit est soumis, les outils d'IA peuvent lire son titre, résumé, mots-clés et références pour construire un profil de son sujet et méthodes. Des techniques de traitement du langage naturel (NLP) et d'apprentissage automatique comparent ensuite ce profil à ceux de millions d'articles publiés.

Les évaluateurs potentiels sont identifiés sur la base de :

• les sujets sur lesquels ils ont publié,
• les méthodes et techniques qu'ils utilisent fréquemment, et
• la récence et la pertinence de leurs travaux.

Par exemple, un manuscrit sur « deep learning for detecting diabetic retinopathy » pourrait être associé à des évaluateurs ayant des publications récentes à la fois en analyse d'images médicales et en réseaux neuronaux profonds, plutôt qu'à n'importe quel ophtalmologiste ou chercheur en machine learning. Cette correspondance fine est difficile à réaliser manuellement mais relativement simple pour les systèmes d'IA une fois entraînés sur de grands corpus d'articles.

2. Détection automatisée des conflits d'intérêts

Les outils d'IA peuvent également vérifier les conflits d'intérêts potentiels en analysant :

• les affiliations des auteurs et des évaluateurs (actuelles et passées),
• les réseaux de co-auteurs,
• les reconnaissances de financements conjoints, et
• l'appartenance aux mêmes consortiums ou comités de recherche.

En recoupant ces informations, les systèmes d'IA peuvent signaler les candidats qui ont récemment co-écrit avec les auteurs, travaillent dans le même département ou ont d'autres liens étroits. Les éditeurs peuvent alors décider d'exclure ces évaluateurs, réduisant ainsi le risque d'évaluations biaisées ou perçues comme telles.

3. Prédiction de la disponibilité et de la réactivité des évaluateurs

Un système d'IA peut examiner le comportement passé d'évaluation pour estimer si un candidat particulier est susceptible d'accepter une nouvelle mission et de la livrer à temps. Les signaux pertinents incluent :

• la proportion d'invitations passées qu'ils ont acceptées ou refusées,
• le temps moyen de réalisation des évaluations,
• l'activité récente de publication (les auteurs très actifs peuvent être plus occupés), et
• les variations saisonnières (certains évaluateurs sont moins disponibles à certaines périodes de l'année).

Bien que ces prédictions ne soient jamais parfaites, elles permettent aux éditeurs de prioriser les invitations aux évaluateurs ayant une forte probabilité d'acceptation et de réalisation dans les délais, accélérant ainsi le processus et réduisant le nombre d'invitations « à froid » envoyées.

4. Évaluation de la qualité et de la fiabilité des évaluations

Certains systèmes d'IA analysent également les rapports d'évaluation passés (lorsqu'ils sont disponibles) pour évaluer :

• si les évaluations sont détaillées ou superficielles,
• si les retours sont équilibrés et constructifs, et
• si les recommandations des évaluateurs correspondent raisonnablement aux décisions éditoriales.

Ces informations aident les éditeurs à distinguer les évaluateurs qui fournissent systématiquement des retours réfléchis et bien structurés de ceux dont les commentaires sont minimes, tardifs ou problématiques. Avec le temps, ce suivi peut encourager des normes plus élevées et décourager les pratiques d'évaluation peu fiables.

5. Amélioration continue grâce à l'apprentissage automatique

Les plateformes modernes d'appariement de relecteurs intègrent souvent des retours éditoriaux pour affiner leurs recommandations. Par exemple, les éditeurs peuvent évaluer l'adéquation des relecteurs suggérés, indiquer si les invitations ont été acceptées ou refusées, et signaler des conflits non détectés par le système. Les modèles d'apprentissage automatique utilisent ces retours pour améliorer les prédictions futures, adaptant progressivement le processus d'appariement aux besoins et préférences spécifiques de chaque revue.

Avantages de la sélection assistée par IA des relecteurs

Utilisée avec discernement, l'IA offre plusieurs avantages significatifs pour les revues, les éditeurs, les relecteurs et les auteurs.

1. Efficacité et rapidité

Les systèmes d'IA peuvent parcourir d'immenses bases de données et produire en quelques secondes une liste classée de relecteurs potentiels, réduisant considérablement le temps que les éditeurs consacrent aux recherches manuelles. Cette efficacité :

• raccourcit la phase initiale du processus d'évaluation par les pairs,
• permet aux éditeurs de se concentrer sur le contenu et les décisions plutôt que sur la logistique, et
• peut rendre une revue plus attractive pour les auteurs qui apprécient des réponses rapides.

2. Meilleure répartition de la charge de travail et réduction de la fatigue des relecteurs

Parce que les outils d'IA peuvent accéder à de larges pools de relecteurs potentiels, ils sont bien placés pour identifier des experts sous-utilisés, y compris des chercheurs en début de carrière dont les dossiers de publication démontrent une expertise mais qui n'apparaissent pas encore dans les réseaux personnels des éditeurs. Élargir la base des relecteurs :

• partage plus équitablement la charge de la relecture,
• réduit la pression sur un petit nombre de relecteurs « de référence », et
• crée de nouvelles opportunités pour les chercheurs émergents de contribuer.

3. Objectivité et diversité accrues

Bien qu'aucun système ne soit totalement exempt de biais, l'appariement assisté par IA peut réduire certaines formes de biais humain en se concentrant sur les données (dossiers de publication, expertise, performance) plutôt que sur la familiarité ou la réputation. Combinés à des politiques éditoriales explicites, les outils d'IA peuvent aider :

• promouvoir la diversité géographique, institutionnelle et de genre dans les pools de relecteurs,
• s'assurer que les sous-domaines spécialisés sont adéquatement couverts, et
• minimiser les préférences inconscientes pour certaines universités ou régions.

4. Gestion systématique des conflits d'intérêts

En analysant systématiquement les réseaux d'affiliation et de collaboration, les outils d'IA peuvent détecter des conflits d'intérêts que des éditeurs occupés pourraient manquer, surtout lorsque les relations s'étendent sur plusieurs institutions ou impliquent de grands consortiums. Cela renforce l'intégrité du processus d'évaluation et aide les revues à démontrer leur diligence raisonnable en cas de litiges.

5. Améliorations potentielles de la qualité de la revue

En suivant la performance des relecteurs et en priorisant ceux qui sont fiables, minutieux et constructifs, les systèmes assistés par AI peuvent progressivement élever la qualité globale de la revue par les pairs. Les éditeurs peuvent construire une image plus nuancée de leur communauté de relecteurs et reconnaître ceux qui fournissent régulièrement des retours de grande valeur.

Défis et considérations éthiques

Malgré ces avantages, il existe des défis importants et des questions éthiques associés à l'AI dans la sélection des relecteurs. Les journaux doivent aborder ces questions pour garantir que les progrès technologiques ne se fassent pas au détriment de l'équité, de la transparence ou de la confiance.

1. Confidentialité des données et réglementation

Les outils basés sur l'AI reposent souvent sur des informations détaillées concernant les publications, affiliations et historiques de relecture des chercheurs. Bien que beaucoup de ces données soient publiques, certaines ne le sont pas. Les journaux et fournisseurs de services doivent :

• se conformer aux réglementations sur la protection des données telles que le RGPD,
• expliquer clairement aux relecteurs comment leurs données sont utilisées, et
• s'assurer que les données sont stockées en toute sécurité et ne sont pas partagées au-delà des finalités convenues.

2. Biais algorithmique et transparence

Les systèmes AI apprennent à partir de données historiques. Si les schémas passés de sélection des relecteurs étaient biaisés – par exemple, favorisant des institutions bien connues ou des chercheurs établis – ces biais peuvent être encodés et amplifiés par l'algorithme. Pour atténuer ce risque :

• les développeurs et les journaux doivent surveiller les résultats pour détecter des schémas systématiques (par exemple, la sous-représentation de certaines régions ou étapes de carrière) ;
• des ajustements peuvent être faits pour élargir délibérément les pools de relecteurs ; et
• dans la mesure du possible, les critères de décision doivent être documentés afin que les humains puissent comprendre et contester les recommandations de l'AI.

3. Dépendance excessive à l'automatisation

Les outils AI doivent être considérés comme un soutien à la décision, pas comme des décideurs. Le jugement éditorial reste crucial pour :

• évaluer une expertise nuancée qui n'est pas entièrement capturée par les dossiers de publication,
• prendre en compte des facteurs interpersonnels ou réputationnels sensibles, et
• équilibrer des priorités concurrentes telles que la rapidité, la profondeur et l'équité.

Les éditeurs doivent se sentir libres de passer outre les suggestions de l'AI lorsqu'ils ont de bonnes raisons de le faire, et ils doivent revoir périodiquement les décisions automatiques pour s'assurer qu'elles sont en accord avec les valeurs du journal.

4. Communication et confiance

Les auteurs et les évaluateurs peuvent se méfier des systèmes « boîte noire » qui prennent des décisions invisibles. Une communication claire sur :

• quels outils d'IA sont utilisés,
• sur quelles données elles s'appuient, et
• comment les décisions finales sont prises

aide à maintenir la confiance. Des politiques éditoriales accessibles au public et des directives soigneusement rédigées – revues et peaufinées par des correcteurs humains expérimentés – peuvent jouer un rôle important dans la construction de la confiance.

L'avenir de la sélection des évaluateurs assistée par l'IA

L'utilisation de l'IA dans la mise en correspondance des évaluateurs est encore en évolution. Dans les années à venir, nous devrions voir :

• Systèmes hybrides IA–humain dans lesquels les outils génèrent des suggestions et signalent les conflits, mais les éditeurs conservent le contrôle total des affectations finales.
• Algorithmes sensibles à la diversité qui prennent explicitement en compte la représentation géographique, institutionnelle ou démographique pour constituer des panels d'évaluateurs plus inclusifs.
• Meilleure compréhension du contenu grâce aux avancées du traitement du langage naturel, permettant aux outils de saisir les nuances subtiles de la méthodologie et de la théorie lors de la mise en correspondance des expertises.
• Tableaux de bord éditoriaux intégrés qui combinent la mise en correspondance des évaluateurs, le suivi, les indicateurs de performance et la gestion de la charge de travail dans une interface unique.

À mesure que ces technologies deviennent plus sophistiquées et plus largement adoptées, les équipes éditoriales auront besoin d'une formation continue et de cadres politiques clairs pour garantir que les gains d'efficacité soient équilibrés avec une pratique éthique et transparente.

Conclusion : l'IA comme partenaire, pas comme remplaçant

La sélection des évaluateurs assistée par l'IA offre une réponse puissante à certains des défis les plus persistants de l'évaluation par les pairs : identifier les experts appropriés, gérer les conflits d'intérêts, réduire les délais et éviter la fatigue des évaluateurs. En exploitant des données à grande échelle et des analyses avancées, ces outils peuvent aider les éditeurs à trouver des évaluateurs qualifiés plus rapidement et à répartir le travail de manière plus équitable au sein de la communauté de recherche.

Cependant, l'IA n'est pas une solution miracle et doit être mise en œuvre avec précaution. Les questions de confidentialité des données, de biais algorithmique, de dépendance excessive à l'automatisation et de besoin de transparence ne peuvent être ignorées. Le modèle le plus efficace est un partenariat : les outils d'IA fournissent des suggestions et des alertes basées sur des preuves, tandis que les éditeurs humains appliquent leurs connaissances, leur expérience et leur jugement éthique pour prendre les décisions finales.

Pour les revues et les éditeurs, ce partenariat s'étend à la manière dont ils communiquent sur l'utilisation de l'IA. Une documentation claire et bien conçue, des politiques et des directives pour les auteurs – affinées grâce à une relecture professionnelle humaine – sont essentielles pour maintenir la confiance dans le processus d'évaluation par les pairs. À mesure que l'IA continue d'évoluer, l'objectif ne doit pas être de remplacer l'expertise humaine, mais de la soutenir, aidant à construire un système d'évaluation par les pairs plus rapide, plus fiable et plus équitable pour les auteurs, les évaluateurs et les éditeurs.