Selezione dei revisori tra pari tramite IA: migliorare rapidità, equità e accuratezza

Come l’IA sta ottimizzando la selezione dei revisori paritari nell’editoria accademica

Introduzione: la revisione paritaria sotto pressione

La revisione paritaria è al centro della pubblicazione accademica. Prima che un manoscritto venga accettato, normalmente viene valutato da uno o più esperti che ne esaminano l’originalità, i metodi, l’analisi e il contributo al settore. In linea di principio, questo processo tutela la qualità della ricerca e aiuta gli autori a migliorare il proprio lavoro. Nella pratica, tuttavia, una fase del processo si rivela spesso difficile e dispendiosa in termini di tempo: trovare revisori adatti.

Si prevede che gli editor individuino revisori che:

• hanno le competenze appropriate per l’argomento e i metodi del manoscritto,
• non sono in conflitto con gli autori,
• sono affidabili e costruttivi, e
• sono disponibili entro i tempi desiderati.

Tradizionalmente, la selezione dei revisori si è basata sulle reti editoriali personali, sulle ricerche manuali nei database e sui suggerimenti degli autori. Questo approccio può funzionare ragionevolmente bene per riviste piccole e specializzate, ma con l’aumento del numero di manoscritti inviati diventa sempre più inefficiente e incerto. Gli editor dedicano molto tempo all’invio di inviti che vengono rifiutati o ignorati, mentre lo stesso ristretto gruppo di “soliti noti” è sovraccarico di richieste e gli esperti a inizio carriera restano invisibili.

I progressi nell’intelligenza artificiale (IA) e nell’analisi dei dati offrono oggi un’alternativa. Analizzando i record delle pubblicazioni, le parole chiave, le reti di citazioni e il comportamento passato nella revisione, gli strumenti basati sull’IA possono aiutare gli editor a trovare e selezionare i revisori in modo più rapido e sistematico. Se utilizzati con attenzione, questi sistemi promettono di rendere la revisione tra pari più rapida, equa e trasparente, mantenendo comunque il controllo nelle mani delle persone.

Le sfide della selezione tradizionale dei revisori

Prima di esaminare come l’IA possa essere d’aiuto, è importante chiarire i problemi che gli editor devono attualmente affrontare.

Disponibilità limitata e affaticamento dei revisori

Molti ricercatori attivi ricevono ogni settimana numerose richieste di revisione. Poiché la revisione è spesso non retribuita e deve conciliarsi con insegnamento, ricerca e attività amministrative, molti inviti vengono rifiutati o accettati con notevole ritardo. Gli editor possono inviare decine di inviti prima di assicurarsi due o tre revisori, soprattutto in ambiti altamente specializzati o in rapido sviluppo.

Abbinare le competenze ed evitare i pregiudizi

La scelta di un revisore non consiste semplicemente nel trovare qualcuno che lavori in un campo vagamente correlato. Gli editor devono assicurarsi che i revisori:

• conoscono in dettaglio l’argomento e i metodi specifici del manoscritto, e
• non hanno legami personali o professionali stretti con gli autori che potrebbero influenzarne il giudizio.

Le ricerche manuali in database come PubMed, Scopus o Web of Science possono individuare potenziali esperti, ma valutarne l’idoneità richiede molto lavoro. Gli editor possono inoltre fare affidamento, consapevolmente o inconsapevolmente, su nomi familiari all’interno delle proprie reti, introducendo così distorsioni geografiche, istituzionali o demografiche.

Conflitti di interesse

Possono sorgere conflitti di interesse quando i potenziali revisori:

• lavorano presso la stessa istituzione degli autori,
• hanno recentemente pubblicato articoli insieme a loro,
• sono in concorrenza diretta per finanziamenti o visibilità, oppure
• hanno rapporti personali con gli autori.

Esaminare manualmente queste relazioni è difficile e spesso incompleto, soprattutto quando autori e revisori hanno storie di collaborazione complesse tra più istituzioni.

Processi dispendiosi in termini di tempo e disomogenei

Poiché l’approccio tradizionale dipende fortemente dalle conoscenze e dal tempo a disposizione dei singoli editor, è intrinsecamente disomogeneo. Alcuni manoscritti avanzano rapidamente perché l’editor conosce per caso revisori adatti; altri rimangono fermi per settimane perché l’editor deve partire da zero. Questa incoerenza frustra gli autori e può danneggiare la reputazione della rivista.

Come l’IA sta trasformando l’abbinamento dei revisori

I sistemi di selezione dei revisori assistita dall’IA mirano ad affrontare queste sfide analizzando grandi volumi di dati strutturati e non strutturati molto più rapidamente di quanto possa fare qualsiasi essere umano. Sebbene gli strumenti specifici differiscano per algoritmi e interfacce, la maggior parte segue una logica simile.

1. Abbinamento delle competenze attraverso l’analisi del testo e dei metadati

Quando viene inviato un manoscritto, gli strumenti di IA possono leggere il titolo, l’abstract, le parole chiave e i riferimenti bibliografici per creare un profilo del suo argomento e dei suoi metodi. Le tecniche di elaborazione del linguaggio naturale (NLP) e di apprendimento automatico confrontano quindi questo profilo con quelli di milioni di articoli pubblicati.

I potenziali revisori vengono identificati in base a:

• gli argomenti sui quali hanno pubblicato,
• i metodi e le tecniche che utilizzano frequentemente, e
• la recenza e la rilevanza del loro lavoro.

Ad esempio, un manoscritto sul «deep learning per il rilevamento della retinopatia diabetica» potrebbe essere abbinato a revisori che hanno pubblicazioni recenti sia nell’analisi delle immagini mediche sia nelle reti neurali profonde, anziché a un qualsiasi oftalmologo o ricercatore di apprendimento automatico. Questo abbinamento dettagliato è difficile da eseguire manualmente, ma relativamente semplice per i sistemi di IA una volta addestrati su grandi raccolte di articoli.

2. Rilevamento automatizzato dei conflitti di interesse

Gli strumenti di IA possono anche verificare la presenza di potenziali conflitti di interesse analizzando:

• affiliazioni degli autori e dei revisori (attuali e passate),
• reti di coautoria,
• ringraziamenti per finanziamenti congiunti, e
• appartenenza agli stessi consorzi o comitati di ricerca.

Incrociando queste informazioni, i sistemi di IA possono segnalare i candidati che hanno recentemente pubblicato articoli insieme agli autori, lavorano nello stesso dipartimento o hanno altri legami stretti. Gli editor possono quindi decidere di escludere questi revisori, riducendo il rischio di valutazioni parziali o percepite come tali.

3. Prevedere la disponibilità e la reattività dei revisori

Un sistema di IA può esaminare il comportamento passato nelle attività di revisione per stimare se un determinato candidato probabilmente accetterà un nuovo incarico e lo porterà a termine puntualmente. Tra gli indicatori rilevanti figurano:

• la proporzione di inviti precedenti accettati o rifiutati,
• tempo medio di completamento della revisione,
• attività editoriale recente (gli autori molto attivi potrebbero essere più impegnati), e
• andamento stagionale (alcuni revisori sono meno disponibili in determinati periodi dell’anno).

Sebbene queste previsioni non siano mai perfette, consentono agli editor di dare priorità agli inviti rivolti ai revisori con un’elevata probabilità di accettare e completare puntualmente l’incarico, accelerando il processo e riducendo il numero di inviti «a freddo» inviati.

4. Valutazione della qualità e dell’affidabilità delle revisioni

Alcuni sistemi di IA analizzano anche i rapporti di revisione precedenti (quando disponibili) per valutare:

• se le revisioni sono dettagliate o superficiali,
• se il feedback è equilibrato e costruttivo e
• se le raccomandazioni dei revisori sono ragionevolmente in linea con le decisioni editoriali.

Queste informazioni aiutano gli editor a distinguere tra i revisori che forniscono costantemente feedback ponderati e ben strutturati e quelli i cui commenti sono minimi, tardivi o problematici. Nel tempo, tale monitoraggio può incoraggiare standard più elevati e scoraggiare pratiche di revisione inaffidabili.

5. Miglioramento continuo attraverso l’apprendimento automatico

Le moderne piattaforme di abbinamento dei revisori integrano spesso il feedback editoriale per perfezionare le loro raccomandazioni. Ad esempio, gli editor possono valutare l’idoneità dei revisori suggeriti, indicare se gli inviti sono stati accettati o rifiutati e segnalare conflitti non rilevati dal sistema. I modelli di apprendimento automatico utilizzano questo feedback per migliorare le previsioni future, adattando gradualmente il processo di abbinamento alle esigenze e alle preferenze specifiche di ciascuna rivista.

Vantaggi della selezione dei revisori assistita dall’IA

Utilizzata con criterio, l’IA offre diversi vantaggi significativi a riviste, editor, revisori e autori.

1. Efficienza e rapidità

I sistemi di IA possono analizzare vasti database e produrre in pochi secondi un elenco ordinato di potenziali revisori, riducendo drasticamente il tempo che gli editor dedicano alle ricerche manuali. Questa efficienza:

• accorcia la fase iniziale del processo di revisione tra pari,
• consente agli editor di concentrarsi sui contenuti e sulle decisioni anziché sulla logistica e
• può rendere una rivista più attraente per gli autori che apprezzano risposte rapide.

2. Migliore distribuzione del carico di lavoro e riduzione dell’affaticamento dei revisori

Poiché gli strumenti di IA possono accedere a grandi bacini di potenziali revisori, sono in una posizione ideale per individuare esperti sottoutilizzati, inclusi i ricercatori a inizio carriera le cui pubblicazioni dimostrano competenza, ma che potrebbero non figurare ancora nelle reti personali degli editor. Ampliare la base dei revisori:

• distribuisce più equamente il carico di lavoro della revisione,
• riduce la pressione su un numero ristretto di revisori “di riferimento” e
• crea nuove opportunità per gli studiosi emergenti di contribuire.

3. Maggiore obiettività e diversità

Sebbene nessun sistema sia completamente privo di pregiudizi, l’abbinamento assistito dall’IA può ridurre alcune forme di pregiudizio umano concentrandosi sui dati (pubblicazioni, competenze, prestazioni) anziché sulla familiarità o sulla reputazione. Se combinati con politiche editoriali esplicite, gli strumenti di IA possono contribuire a:

• promuovere la diversità geografica, istituzionale e di genere nei gruppi di revisori,
• garantire una copertura adeguata dei sottosettori specialistici e
• minimizzare le preferenze inconsce per determinate università o regioni.

4. Gestione sistematica dei conflitti di interesse

Esaminando sistematicamente le reti di affiliazione e collaborazione, gli strumenti di IA possono rilevare conflitti di interesse che editor impegnati potrebbero non individuare, soprattutto quando le relazioni coinvolgono più istituzioni o grandi consorzi. Ciò rafforza l’integrità del processo di revisione e aiuta le riviste a dimostrare la dovuta diligenza in caso di controversie.

5. Possibili miglioramenti nella qualità della revisione

Monitorando le prestazioni dei revisori e dando priorità a quelli affidabili, scrupolosi e costruttivi, i sistemi assistiti dall’IA possono gradualmente innalzare la qualità complessiva della revisione tra pari. Gli editor possono costruire un quadro più articolato della propria comunità di revisori e riconoscere coloro che forniscono costantemente feedback di grande valore.

Sfide e considerazioni etiche

Nonostante questi vantaggi, l’IA nella selezione dei revisori comporta sfide significative e questioni etiche. Le riviste devono affrontare questi aspetti per garantire che i progressi tecnologici non avvengano a scapito di imparzialità, trasparenza o fiducia.

1. Privacy dei dati e normativa

Gli strumenti basati sull’IA spesso si affidano a informazioni dettagliate sulle pubblicazioni, sulle affiliazioni e sulle attività di revisione dei ricercatori. Sebbene gran parte di questi dati sia pubblica, alcuni non lo sono. Le riviste e i fornitori di servizi devono:

• conformarsi alle normative sulla protezione dei dati, come il GDPR,
• chiarire ai revisori come vengono utilizzati i loro dati e
• assicurarsi che i dati siano conservati in modo sicuro e non condivisi oltre gli scopi concordati.

2. Pregiudizio algoritmico e trasparenza

I sistemi di IA apprendono dai dati storici. Se i precedenti criteri di selezione dei revisori erano influenzati da pregiudizi – ad esempio, favorivano istituzioni note o ricercatori affermati – tali pregiudizi possono essere incorporati e amplificati dall’algoritmo. Per mitigare questo rischio:

• gli sviluppatori e le riviste dovrebbero monitorare i risultati per individuare schemi sistematici (ad esempio, la sottorappresentazione di determinate regioni o fasi della carriera);
• è possibile apportare modifiche per ampliare deliberatamente il bacino dei revisori; e
• quando possibile, i criteri decisionali dovrebbero essere documentati affinché le persone possano comprendere e contestare le raccomandazioni dell’IA.

3. Eccessiva dipendenza dall’automazione

Gli strumenti di IA dovrebbero essere considerati strumenti di supporto alle decisioni, non decisori. Il giudizio editoriale rimane cruciale per:

• valutare competenze articolate che non sono pienamente documentate dalle pubblicazioni,
• considerare fattori interpersonali o reputazionali sensibili e
• bilanciare priorità concorrenti come velocità, profondità e imparzialità.

Gli editor dovrebbero sentirsi liberi di ignorare i suggerimenti dell’IA quando hanno buone ragioni per farlo e dovrebbero riesaminare periodicamente le decisioni automatiche per assicurarsi che siano in linea con i valori della rivista.

4. Comunicazione e fiducia

Gli autori e i revisori potrebbero diffidare dei sistemi “black box” che effettuano scelte invisibili. Una comunicazione chiara su:

• quali strumenti di IA vengono utilizzati,
• su quali dati si basano e
• come vengono prese le decisioni finali

contribuisce a mantenere la fiducia. Politiche editoriali pubblicamente disponibili e indicazioni redatte con cura – esaminate e perfezionate da revisori umani esperti – possono svolgere un ruolo importante nel rafforzare la fiducia.

Il futuro della selezione dei revisori assistita dall’IA

L’uso dell’IA nell’abbinamento dei revisori è ancora in evoluzione. Nei prossimi anni, è probabile che vedremo:

• Sistemi ibridi IA–umani nei quali gli strumenti generano suggerimenti e segnalano conflitti, ma gli editor mantengono il pieno controllo delle assegnazioni finali.
• Algoritmi consapevoli della diversità che tengono esplicitamente conto della rappresentanza geografica, istituzionale o demografica per creare panel di revisori più inclusivi.
• Una migliore comprensione dei contenuti grazie ai progressi nell’elaborazione del linguaggio naturale, che consentono agli strumenti di cogliere le sottili sfumature della metodologia e della teoria nell’abbinamento delle competenze.
• Dashboard editoriali integrate che combinano l’abbinamento dei revisori, il monitoraggio, le metriche delle prestazioni e la gestione del carico di lavoro in un’unica interfaccia.

Man mano che queste tecnologie diventano più sofisticate e adottate più ampiamente, i team editoriali avranno bisogno di formazione continua e di quadri normativi chiari, per garantire che i guadagni in termini di efficienza siano bilanciati da pratiche etiche e trasparenti.

Conclusione: l’IA come partner, non come sostituto

La selezione dei revisori assistita dall’IA offre una risposta efficace ad alcune delle sfide più persistenti della revisione tra pari: individuare esperti adeguati, gestire i conflitti di interesse, ridurre i ritardi ed evitare l’affaticamento dei revisori. Sfruttando dati su vasta scala e analisi avanzate, questi strumenti possono aiutare gli editor a trovare più rapidamente revisori qualificati e a distribuire il lavoro in modo più equo all’interno della comunità di ricerca.

Tuttavia, l’IA non è una soluzione universale e deve essere implementata con attenzione. Non si possono ignorare questioni come la privacy dei dati, i bias algoritmici, l’eccessiva dipendenza dall’automazione e la necessità di trasparenza. Il modello più efficace è una collaborazione: gli strumenti di IA forniscono suggerimenti e avvisi basati su dati concreti, mentre gli editor applicano le proprie conoscenze, esperienze e capacità di giudizio etico per prendere le decisioni finali.

Per riviste e case editrici, questa collaborazione si estende anche al modo in cui comunicano l’uso dell’IA. Documentazione, politiche e linee guida per gli autori chiare e ben redatte – perfezionate attraverso una revisione professionale umana – sono essenziali per mantenere la fiducia nel processo di revisione tra pari. Poiché l’IA continua a evolversi, l’obiettivo non dovrebbe essere sostituire le competenze umane, bensì sostenerle, contribuendo a costruire un sistema di revisione tra pari più rapido, affidabile ed equo per autori, revisori ed editori.