KI-gestützte Peer-Review: Herausforderungen, ethische Risiken und zukünftige Möglichkeiten

KI-unterstützte Peer Review: Herausforderungen, ethische Risiken und zukünftige Möglichkeiten

Einführung

Der Peer-Review-Prozess ist ein Grundpfeiler des akademischen Publizierens. Bevor Forschungsergebnisse der breiteren Gemeinschaft zugänglich gemacht werden, werden sie von Experten geprüft, die deren Strenge, Originalität und Bedeutung bewerten. Theoretisch schützt die Peer Review die Leser vor ungenauen oder irreführenden Behauptungen und stellt sicher, dass Forschungsergebnisse erst nach sorgfältiger Bewertung in den wissenschaftlichen Bestand aufgenommen werden.

In der Praxis steht die traditionelle Peer Review jedoch unter erheblichem Druck. Das Volumen der Einreichungen bei Fachzeitschriften wächst weiter, während der Pool an bereitwilligen Gutachtern kaum mithalten kann. Herausgeber sehen sich mit Verzögerungen, inkonsistenter Begutachtungsqualität, Gutachterermüdung und unbewussten Vorurteilen konfrontiert. Einige Manuskripte erhalten detailliertes und durchdachtes Feedback; andere werden schnell, ungleichmäßig oder gar nicht bewertet. Dies hat Zeitschriften und Verlage dazu veranlasst, mit neuen Werkzeugen und Arbeitsabläufen zu experimentieren – insbesondere solchen, die auf künstlicher Intelligenz (KI) basieren.

KI-unterstützte Peer Review verspricht, einige dieser Belastungen zu lindern. KI-Systeme können dabei helfen, Manuskripte auf Plagiate und ethische Probleme zu überprüfen, Formatierung und Referenzen zu kontrollieren, geeignete Gutachter zu identifizieren und potenzielle methodische Bedenken hervorzuheben. Bei verantwortungsvollem Einsatz können diese Werkzeuge Arbeitsabläufe optimieren und menschliche Gutachter entlasten, sodass sie sich auf den wissenschaftlichen Inhalt eines Artikels konzentrieren können.

Doch die Integration von KI in das Peer Review ist nicht risikofrei. KI-Modelle spiegeln die Daten wider, auf denen sie trainiert wurden; sie können Kontext missverstehen, innovative Arbeiten falsch klassifizieren oder vorbestehende systemische Verzerrungen einbetten. Sie werfen auch Fragen zu Datenschutz, Transparenz und Verantwortlichkeit auf. Dieser Artikel untersucht die wichtigsten Herausforderungen, ethischen Risiken und zukünftigen Möglichkeiten des KI-unterstützten Peer Review und bietet praktische Hinweise, wie Zeitschriften und Forscher KI nutzen können, ohne die Integrität der wissenschaftlichen Bewertung zu gefährden.

Was verstehen wir unter KI-unterstütztem Peer Review?

KI-unterstütztes Peer Review bezieht sich nicht auf eine einzelne Technologie, sondern auf ein breites Ökosystem von Werkzeugen, die redaktionelle und Begutachtungsaufgaben unterstützen. Dazu können gehören:

• Ähnlichkeitserkennungs- und Plagiatswerkzeuge, die Manuskripte mit großen Textkorpora vergleichen.
• Sprach- und Lesbarkeitswerkzeuge, die unklare oder grammatikalisch problematische Passagen markieren.
• Automatisierte Screening-Tools, die die Einhaltung von Zeitschriftenrichtlinien, Wortbegrenzungen und grundlegenden Berichtsstandards prüfen.
• Gutachter-Zuordnungssysteme, die Publikations- und Zitationsdaten nutzen, um geeignete Experten zu identifizieren.
• Entscheidungsunterstützende Dashboards, die wichtige Indikatoren für Herausgeber zusammenfassen (zum Beispiel Ähnlichkeitsscores, Vollständigkeit der Berichterstattung oder statistische Anomalien).

Am experimentelleren Ende des Spektrums erforschen einige Entwickler Werkzeuge, die automatisierte Kritik an Methoden, Neuartigkeit oder Wirkung bieten. Diese Systeme befinden sich noch in frühen Stadien und werfen einige der tiefgreifendsten Bedenken hinsichtlich der Rolle von KI in der wissenschaftlichen Bewertung auf.

Entscheidend ist, dass KI-unterstütztes Peer Review unterstützend und nicht vollständig automatisiert sein soll: Das Ziel ist es, menschliche Gutachter und Herausgeber effizienter und konsistenter arbeiten zu lassen, nicht ihr Expertenurteil vollständig zu ersetzen. Die folgenden Abschnitte untersuchen, wo dieses Versprechen mit realen Einschränkungen kollidiert.

Wesentliche Herausforderungen bei KI-unterstütztem Peer Review

Während KI klare Vorteile in Geschwindigkeit und Umfang bietet, werden ihre Grenzen deutlich, wenn sie gebeten wird, das nuancierte Verständnis erfahrener Forscher zu replizieren oder zu ersetzen.

1. Begrenztes kontextuelles und theoretisches Verständnis

KI-Modelle sind im Kern Mustererkennungssysteme. Sie können Struktur, Oberflächenkohärenz und lexikalische Ähnlichkeit analysieren, haben aber Schwierigkeiten mit tiefem konzeptuellem Verständnis. Im Peer Review führt dies zu mehreren Risiken:

• KI kann wirklich innovative Ideen nicht erkennen, die nicht den Mustern in ihren Trainingsdaten ähneln.
• Es kann nicht eigenständig den theoretischen Beitrag oder die konzeptionelle Originalität einer Studie bewerten.
• Selbst fortgeschrittene Modelle fehlen die domänenspezifische Intuition und das implizite Wissen, das erfahrene Forscher über viele Jahre entwickeln.

Daher ist KI am zuverlässigsten für oberflächliche Aufgaben – wie Formatprüfungen und grundlegende Textanalysen – und weniger für tiefere wissenschaftliche Urteile, die bestimmen, ob ein Manuskript ein Fachgebiet wirklich voranbringt.

2. Falsch-positive Ergebnisse und Fehlinterpretationen bei der Plagiaterkennung

KI-gestützte Ähnlichkeitstools sind mittlerweile Standard in vielen Fachzeitschriften, aber ihre Ergebnisse können leicht missbraucht werden. Diese Systeme markieren oft:

• Standardisierte Phrasen, Methodenbeschreibungen und ethische Erklärungen, die in vielen Arbeiten vorkommen.
• Korrekt zitierte Passagen, die zufällig eng mit der Originalformulierung übereinstimmen.
• Wiederverwendung des eigenen zuvor veröffentlichten Textes durch den Autor, was akzeptabel sein kann, wenn es transparent angegeben wird.

Eine Überabhängigkeit von reinen Ähnlichkeitsscores kann zu unbegründetem Misstrauen oder sogar Ablehnung legitimer Arbeiten führen. Zudem hat KI manchmal Schwierigkeiten, zwischen akzeptabler Paraphrasierung und absichtlichem Plagiat zu unterscheiden, besonders in technischen Fachgebieten mit begrenzten Ausdrucksmöglichkeiten für bestimmte Verfahren. Autoren, deren Muttersprache nicht Englisch ist, sehen sich ebenfalls übermäßiger Prüfung ausgesetzt, da KI-Tools bei häufigen Formulierungen empfindlicher auf kleine Übereinstimmungen reagieren.

3. Algorithmische Verzerrung und Ungleichheit

KI-Systeme lernen aus Datensätzen, die bestehende Praktiken im wissenschaftlichen Publizieren widerspiegeln. Diese Datensätze können bereits zugunsten bestimmter:

• Institutionen (zum Beispiel hochrangige Universitäten),
• Regionen oder Länder,
• Sprachen (am häufigsten Englisch), und
• Demografische Gruppen innerhalb der Forschungsgemeinschaft.

Wenn diese Verzerrungen nicht erkannt und korrigiert werden, können KI-Tools Ungleichheiten reproduzieren und sogar verstärken. Zum Beispiel bevorzugen Algorithmen zur Gutachterzuweisung möglicherweise konstant etablierte Forscher von bekannten Institutionen, wodurch Chancen für Nachwuchswissenschaftler oder Gutachter aus unterrepräsentierten Regionen verringert werden. KI-basierte Impact-Vorhersagen priorisieren ähnlich Themen, die bereits stark zitiert sind, was es aufstrebenden oder interdisziplinären Feldern erschwert, Sichtbarkeit zu erlangen.

4. Untergrabung menschlichen Urteilsvermögens und Dialogs

KI-Tools sollen unterstützen, aber es besteht die reale Gefahr, dass Gutachter und Herausgeber automatischen Ergebnissen zu sehr vertrauen. Wenn KI numerische Bewertungen oder „Ampel“-Indikatoren liefert, nehmen Menschen diese möglicherweise als gegeben hin, anstatt sich intensiv mit dem Manuskript auseinanderzusetzen.

Dies kann zu Folgendem führen:

• Verminderte kritische Auseinandersetzung mit Methoden, Daten und Interpretation.
• Weniger intellektueller Diskurs und weniger konstruktive Meinungsverschiedenheiten unter Gutachtern.
• Entscheidungen, die sich zu sehr auf vereinfachte Metriken anstatt auf sorgfältige, textbasierte Argumentation stützen.

Begutachtung ist mehr als eine technische Prüfung; sie ist eine Form des wissenschaftlichen Dialogs. Übermäßige Automatisierung droht, diesen Dialog auszuhöhlen und die Begutachtung zu einer mechanischen Kontrollübung zu machen.

5. Datenschutz- und Vertraulichkeitsrisiken

Die Begutachtung beruht auf strenger Vertraulichkeit. Manuskripte enthalten unveröffentlichte Daten, neuartige Methoden und sensibles geistiges Eigentum. Die Integration von KI in dieses Ökosystem wirft dringende Fragen auf:

• Wo werden Manuskripte gespeichert, wenn sie von KI-Tools verarbeitet werden?
• Werden Texte oder Gutachterberichte ohne Zustimmung verwendet, um externe KI-Modelle zu trainieren?
• Welche Schutzmaßnahmen gibt es, um Datenpannen oder unbefugten Zugriff zu verhindern?

Zeitschriften müssen sicherstellen, dass alle von ihnen verwendeten KI-Tools robuste Datenschutzstandards einhalten und dass Autoren und Gutachter verstehen, wie ihre Informationen verarbeitet werden.

6. Erkennung von KI-generierten oder KI-lastigen Einreichungen

Da generative KI-Tools immer leistungsfähiger werden, können einige Manuskripte größtenteils oder sogar vollständig maschinell geschrieben sein. Diese Texte können Plagiatsprüfungen bestehen, da sie nicht direkt aus bestehenden Quellen kopiert wurden. Sie können jedoch enthalten:

• Erfundene Referenzen, die nicht existieren oder die Literatur falsch darstellen.
• Ungenaue oder vereinfachte Erklärungen theoretischer Konzepte.
• Künstlich flüssige Sprache, die schwache Argumentation oder fehlende Daten verschleiert.

Die Unterscheidung zwischen legitim unterstütztem Schreiben und täuschend KI-generierten Inhalten erfordert neue Erkennungstools, klare Zeitschriftenrichtlinien und sorgfältigere Prüfung durch Gutachter und Redakteure. Es unterstreicht auch den Wert von hochwertigem menschlichem Korrekturlesen vor der Einreichung, um sicherzustellen, dass die Sprache poliert ist, aber dennoch transparent echte Forschung widerspiegelt.

Ethische Risiken bei der KI-unterstützten Begutachtung

Über technische Herausforderungen hinaus wirft die KI-unterstützte Begutachtung tiefere Fragen zu Verantwortung, Transparenz und Fairness auf.

1. Undurchsichtige Entscheidungsfindung und Erklärbarkeit

Viele KI-Modelle funktionieren als „Black Boxes“: Ihre interne Entscheidungsfindung ist nicht leicht interpretierbar. Wenn KI verwendet wird, um Ablehnungen zu empfehlen, „schwache“ Manuskripte hervorzuheben oder bestimmte Einreichungen zu priorisieren, haben Autoren und Gutachter möglicherweise keine klare Erklärung, warum diese Urteile gefällt wurden.

Dieser Mangel an Transparenz bedroht die Kernwerte des wissenschaftlichen Publizierens:

• Autoren könnten Entscheidungen als willkürlich oder unfair empfinden.
• Redakteure könnten Schwierigkeiten haben, Ergebnisse zu rechtfertigen, wenn sie KI-Ausgaben nicht interpretieren können.
• Systemische Verzerrungen können unentdeckt bleiben, wenn niemand die Grundlage für KI-Empfehlungen überprüfen kann.

Ein ethisch verantwortungsvoller Einsatz von KI in der Begutachtung erfordert Werkzeuge, die interpretierbare, prüfbare Ergebnisse liefern und klare Grenzen dafür setzen, wie diese Ergebnisse verwendet werden.

2. Verantwortung für KI-generierte Gutachten

Manche Gutachter könnten versucht sein, KI-Tools zu verwenden, um gesamte Gutachtenentwürfe zu erstellen. Während KI helfen kann, Feedback zu strukturieren oder Fragen vorzuschlagen, besteht die Gefahr, dass Gutachter KI-generierte Inhalte mit minimaler Kontrolle einreichen.

Dies wirft Fragen auf wie:

• Wer ist verantwortlich für Fehler oder ungerechtfertigte Kritik in einem von KI verfassten Gutachten?
• Ist es ethisch vertretbar, Rückmeldungen zu geben, die nicht das eigene fachliche Urteil des Gutachters widerspiegeln?
• Könnten KI-Schreibwerkzeuge unbeabsichtigt plagiierte oder generische Texte in Gutachten einbringen?

Zeitschriften sollten von Gutachtern verlangen, die KI-Nutzung offenzulegen und darauf bestehen, dass alle Rückmeldungen sorgfältig geprüft und vom menschlichen Gutachter bestätigt werden. KI kann bei der Formulierung helfen, darf aber kein Ersatz für echtes Engagement mit dem Manuskript sein.

3. Verzerrungen bei der KI-basierten Gutachterausswahl

KI-Tools werden zunehmend verwendet, um Manuskripte mit Gutachtern abzugleichen, indem Publikationshistorien, Schlüsselwörter und Zitationsnetzwerke analysiert werden. Ohne sorgfältige Gestaltung können diese Systeme:

• Gutachter aus Eliteinstitutionen und etablierten Netzwerken übermäßig auswählen.
• Forscher aus Ländern mit niedrigem und mittlerem Einkommen unterrepräsentieren.
• Bestehende Muster von Geschlechter- oder Fachbereichsungleichgewicht in der Begutachtung verstärken.

Der ethische Einsatz von KI bei der Auswahl von Gutachtern erfordert explizite Beachtung von Vielfalt, Inklusion und Gerechtigkeit sowie regelmäßige Prüfungen, um sicherzustellen, dass das Verhalten des Algorithmus mit diesen Zielen übereinstimmt.

Zukünftige Möglichkeiten für KI in der Begutachtung

Trotz der Herausforderungen bietet KI auch echte Chancen, die Begutachtung zu verbessern, wenn sie durchdacht gestaltet und gesteuert wird.

1. Intelligente Vorprüfung und Triage

KI eignet sich besonders gut für Frühprüfungen, die Herausgebern helfen, über den Umgang mit neuen Einreichungen zu entscheiden. Zum Beispiel können KI-Tools:

• Führen Sie eine erste Plagiats- und Selbstplagiatsprüfung durch.
• Überprüfung der grundlegenden Vollständigkeit der Berichterstattung (z. B. Studienregistrierung, Ethikgenehmigungen oder Datenverfügbarkeitsangaben).
• Überprüfung von Formatierung, Referenzkonsistenz und Einhaltung der Zeitschriftenrichtlinien.

Dies ermöglicht es Herausgebern, Manuskripte, die eindeutig ungeeignet oder unvollständig sind, schnell zu identifizieren und mehr Zeit für Einreichungen mit echtem Potenzial aufzuwenden.

2. Intelligenteres, gerechteres Matching von Gutachtern

Bei sorgfältiger Anwendung kann KI helfen, Gutachter zu identifizieren, die gut zum Thema, den Methoden und dem Kontext eines Manuskripts passen. Fortgeschrittene Systeme können:

• Kartierung von Publikationsnetzwerken, um relevante Expertise zu finden.
• Markierung potenzieller Interessenkonflikte basierend auf Co-Autorenschaft oder institutioneller Überschneidung.
• Einbeziehung von Vielfaltszielen, um eine breitere Perspektivenvielfalt sicherzustellen.

In Kombination mit menschlicher redaktioneller Aufsicht und klaren ethischen Kriterien kann KI-unterstütztes Matching die Belastung der Gutachter verringern und die Qualität der Bewertungen verbessern.

3. Überwachung von Voreingenommenheit und Analyse nach der Begutachtung

KI kann auch verwendet werden, um Peer-Review-Muster im gesamten Portfolio einer Zeitschrift oder eines Verlags zu analysieren und dabei helfen, Folgendes zu identifizieren:

• Systematische Unterschiede bei Annahmeraten nach Region, Geschlecht oder Institutionstyp.
• Gutachter, die konsequent extrem kurze oder qualitativ schlechte Berichte abgeben.
• Sprachmuster in Gutachten, die auf eine unfaire oder feindselige Behandlung bestimmter Autoren hinweisen könnten.

Mit solchen Erkenntnissen können Zeitschriften ihre Richtlinien anpassen, gezielte Schulungen anbieten und eingreifen, wenn problematisches Verhalten oder strukturelle Voreingenommenheit festgestellt wird.

4. Qualitätsüberwachung nach der Veröffentlichung

Peer Review muss nicht mit dem Zeitpunkt der Veröffentlichung enden. KI-Tools können die Überwachung nach der Veröffentlichung unterstützen durch:

• Durchsicht veröffentlichter Artikel auf aufkommende Bedenken wie Bildduplikationen oder statistische Anomalien.
• Verfolgung von Korrekturen, Rücknahmen und kritischen Kommentaren nach der Veröffentlichung.
• Hilfe für Herausgeber bei der Entscheidung, wann ein Artikel eine expression of concern oder eine weitere Untersuchung rechtfertigen könnte.

Dieses kontinuierliche Qualitätsprüfungsmodell erkennt an, dass Begutachtung ein Prozess und kein einmaliges Ereignis ist.

Best Practices für den verantwortungsvollen Einsatz von KI in der Begutachtung

Um die Vorteile der KI zu nutzen und Risiken zu minimieren, können Zeitschriften und Verlage mehrere Leitprinzipien übernehmen.

• Human-in-the-loop-Design: KI sollte unterstützen, nicht ersetzen, menschliche Herausgeber und Gutachter. Alle endgültigen Entscheidungen müssen in menschlicher Hand bleiben.
• Transparenz und Offenlegung: Zeitschriften sollten klar angeben, welche KI-Tools verwendet werden, wie und warum. Gutachter und Autoren sollten die Nutzung von KI in ihrer eigenen Arbeit offenlegen.
• Erkennung und Minderung von Verzerrungen: KI-Systeme sollten regelmäßig auf Verzerrungen geprüft werden, und ihre Trainingsdaten sowie Designannahmen sollten, wo möglich, überprüft werden.
• Datenschutz: Manuskripte und Begutachtungen müssen unter strengen Vertraulichkeits- und Sicherheitsprotokollen verarbeitet werden, mit klaren Regeln zur Datenspeicherung und -wiederverwendung.
• Schulung und Anleitung: Herausgeber und Gutachter benötigen Unterstützung, um KI-Ergebnisse kritisch zu interpretieren, anstatt sie als unantastbare Autorität zu betrachten.

Autoren können sich auf die KI-unterstützte Prüfung vorbereiten, indem sie sicherstellen, dass ihre Manuskripte klar, gut strukturiert und korrekt referenziert sind, bevor sie eingereicht werden. Viele entscheiden sich dafür, mit professionellen academic proofreading services zusammenzuarbeiten, um sprachliche Probleme zu minimieren und das Risiko von Missverständnissen während der Begutachtung zu verringern.

Fazit

Die KI-unterstützte Begutachtung bewegt sich in einem sensiblen Spannungsfeld zwischen Versprechen und Risiko. Einerseits kann KI Zeitschriften helfen, mit steigenden Einreichungszahlen umzugehen, die Konsistenz routinemäßiger Prüfungen verbessern und neue Erkenntnisse über Fairness und Effektivität der Begutachtung liefern. Andererseits bringt sie Herausforderungen in Bezug auf kontextuelles Verständnis, Verzerrungen, Transparenz, Datenschutz und Verantwortung mit sich.

Der Weg nach vorn ist keine vollständige Automatisierung, sondern ein sorgfältig gestaltetes Hybridmodell, in dem KI und Menschen zusammenarbeiten. KI glänzt bei repetitiven, volumenstarken Aufgaben und Mustererkennung; menschliche Gutachter überzeugen durch konzeptionelles Urteilsvermögen, ethische Reflexion und kreative Einsicht. Werden diese Stärken unter klaren ethischen Richtlinien und robuster Governance kombiniert, kann das Ergebnis ein Begutachtungssystem sein, das effizienter, gerechter und vertrauenswürdiger ist als Menschen oder Algorithmen allein.

Für Forschende sind die Implikationen klar: transparent schreiben, sorgfältig zitieren und Manuskripte vor der Einreichung auf hohem Niveau vorbereiten. Für Zeitschriften und Verlage besteht die Herausforderung darin, KI-Tools durchdacht einzusetzen, mit expliziten Schutzmaßnahmen und ständiger Evaluation. Gut gemacht kann die KI-unterstützte Begutachtung die Werte unterstützen – nicht ersetzen –, die das wissenschaftliche Publizieren seit langem prägen: Strenge, Integrität und Respekt für die wissenschaftliche Gemeinschaft.