Ein konstruktiver Ansatz für die herausfordernde Aufgabe des Peer-Reviewings

Ein konstruktiver Ansatz für die anspruchsvolle Aufgabe des Peer Review

Sie haben die Einladung eines Herausgebers angenommen, ein Manuskript aus Ihrem Fachgebiet zu begutachten – ausgezeichnet. Nun beginnt die eigentliche Arbeit. Ein konstruktives Peer Review bewirkt weit mehr als nur Annahme oder Ablehnung; es klärt den Beitrag einer Studie, hebt den Standard der Berichterstattung und hilft Autoren, ihre wissenschaftliche Arbeit zu verbessern. Dieser Leitfaden bietet einen Schritt-für-Schritt-Ansatz, den Sie für Ihre erste Begutachtung verwenden und für Ihre hundertste verfeinern können.

1) Bereiten Sie sich zielgerichtet vor

Die Vorbereitung bestimmt die Qualität Ihres Urteils. Sammeln Sie vor dem Öffnen des Manuskripts Folgendes:

• Journal profile: scope, Ziele, [scope/readership], Artikeltypen und typische methodische Erwartungen.
• Author instructions: Struktur, Wort-/Abbildungsgrenzen, Berichts-Checklisten (z. B. CONSORT, PRISMA, STROBE), Daten- und Code-Richtlinien.
• Reviewer guidance: Entscheidungskategorien, Bewertungskriterien, COI-Richtlinie, Vertraulichkeitsregeln, Zeitpläne.

2) Schützen Sie Vertraulichkeit und Neutralität

Behandeln Sie das Manuskript und die zugehörigen Dateien vertraulich. Teilen, zitieren oder verwenden Sie keine Ideen aus der Einreichung. Wenn Sie Rat benötigen (z. B. eine Statistikprüfung), holen Sie die Erlaubnis des Herausgebers ein und geben Sie jede Unterstützung in Ihren vertraulichen Kommentaren an.

• COI check: Lehnen Sie ab, wenn Sie finanzielle, persönliche oder akademische Interessenkonflikte haben oder nicht unparteiisch sein können.
• Anonymität: Halten Sie das Review-Modell (single/double/[open]) wie angewiesen ein; vermeiden Sie selbstidentifizierende Bemerkungen.

3) Planen Sie Ihre Zeit: zwei Lese-Reflexions-Zyklen

Hochwertige Reviews brauchen Zeit. Der zuverlässigste Arbeitsablauf umfasst zwei Durchgänge, getrennt durch Reflexion:

1. Erster Durchgang (global): Lesen Sie Abstract, Einleitung und Fazit, um den behaupteten Beitrag zu erfassen; überfliegen Sie Methoden/Ergebnisse; prüfen Sie Abbildungen/Tabellen. Notieren Sie nur wesentliche Probleme.
2. Zweiter Durchgang (analytisch): Lesen Sie vollständig, prüfen Sie Methoden, Daten, Analysen und Behauptungen Zeile für Zeile. Vergewissern Sie sich, dass die Beweise die Schlussfolgerungen stützen.

Lassen Sie das Argument zwischen den Durchgängen "abkühlen" – viele Probleme kristallisieren sich nach einer Pause heraus. Planen Sie Zeit zum Entwurf ein und überarbeiten Sie Ihren Bericht anschließend erneut, um Argumentation und Ton zu schärfen.

4) Ein strukturiertes Bewertungsrahmenwerk

Verwenden Sie ein konsistentes Gerüst, damit Ihr Bericht für Herausgeber klar und für Autoren umsetzbar ist. Die folgende Tabelle fasst Kernfragen zusammen.

5) Wie man wie ein Gutachter liest

• Einleitung: Identifizieren Sie das Problem, die Lücke und präzise Forschungsfragen. Markieren Sie Scope Creep oder fehlende grundlegende Arbeiten.
• Methoden: Achten Sie auf genügend Details zur Replikation: Stichproben, Randomisierung, Verblindung, Instrumente, Vorverarbeitung, Power-Berechnung, Preregistrierung.
• Ergebnisse: Priorisieren Sie Effektgrößen, Unsicherheiten und Diagnosetests über die Jagd nach p-Werten. Suchen Sie nach innerer Konsistenz zwischen Text, Tabellen und Abbildungen.
• Diskussion: Achten Sie auf Behauptungen, die über die Beweise hinausgehen; fordern Sie Einschränkungen, Randbedingungen und Klarheit zu zukünftigen Arbeiten.
• Abbildungen/Tabellen: Fragen Sie: „Kann ein Leser dies ohne den Text verstehen?“ Beschriftungen, Einheiten und Legenden müssen eigenständig sein.

6) Das Review schreiben: Struktur und Ton

Redakteure bevorzugen einen klar gegliederten Bericht mit prägnanten, referenzierten Punkten. Eine verlässliche Gliederung:

1. Zusammenfassung (2–5 Sätze): Geben Sie an, was das Manuskript behauptet und tut – noch nicht Ihr Urteil.
2. Beitrag & Passung: Ein Absatz zu [novelty] und Relevanz für das Publikum des [journal].
3. Große Kommentare: 4–10 nummerierte Punkte, die Validität, Klarheit oder Interpretierbarkeit beeinflussen. Jeder Punkt = Problem → Beleg → Konsequenz → Abhilfe.
4. Kleine Kommentare: Spezifische, schnelle Korrekturen: fehlende Zitate, Abbildungsdeutlichkeit, Formulierungen, Tippfehler.
5. Entscheidungsempfehlung: Wählen Sie die Kategorie des [journal] und priorisieren Sie bei Überarbeitung die 3–5 wichtigsten Änderungen.

7) Wie „konstruktiv“ aussieht

• Spezifisch: „Berichten Sie über die Verdeckung der Zuteilung (CONSORT-Punkt 9).“
• Umsetzbar: „Stellen Sie Robustheit gegenüber alternativen Bandbreiten (±5, ±10) in Abb. 4 sicher.“
• Ausgewogen: Kombinieren Sie Kritik mit Stärken, um Anstrengungen zu lenken und die Moral zu erhalten.
• Respektvoll: Richten Sie sich auf den Text, nicht auf die Autoren: Vermeiden Sie Sarkasmus und ad hominem Bemerkungen.

8) Verteidigbare Empfehlungen abgeben

Herausgeber benötigen ein klares Urteil, das an Ihre Analyse gebunden ist. Typische Kategorien:

• Annehmen (selten in der ersten Runde): Starker Beitrag, solide Methoden, nur kleinere Korrekturen.
• Kleine Überarbeitung: Gültige Studie; Präsentations- oder kleine Analyseklärungen erforderlich.
• Große Überarbeitung: Potenziell veröffentlichbar; erhebliche methodische Klarstellungen, zusätzliche Analysen oder Umgestaltung erforderlich.
• Ablehnen: Außerhalb des [scope/readership], fatale Designfehler, nicht reproduzierbare [design/data] oder Beitrag zu begrenzt für das [journal].

Wenn Sie eine Überarbeitung empfehlen, listen Sie priorisierte Aufgaben auf und geben Sie an, welche optional sind. Wenn Sie eine Ablehnung empfehlen, erkennen Sie Stärken an, diagnostizieren Sie die Blockaden knapp und schlagen Sie alternative Veröffentlichungsorte oder Neugestaltungen vor (z. B. vorregistrierte Replikation, Kurzbericht).

9) Ethik, Integrität und sensible [finding]

• Anzeichen von Fehlverhalten: doppelte Bilder, unwahrscheinliche Statistiken, Plagiate, nicht offengelegte Wiederverwendung. Informieren Sie den Herausgeber privat; beschuldigen Sie die Autoren nicht in öffentlichen Kommentaren.
• Forschung an Menschen/Tieren: Bestätigen Sie Genehmigungen und Einwilligungen; stellen Sie sicher, dass Risiken verhältnismäßig sind und berichtet werden.
• Daten & Code: Ermutigen Sie zum Teilen gemäß Richtlinie; bei Einschränkungen fordern Sie detaillierte synthetische oder redigierte Materialien an.

10) Häufige Fallstricke von Gutachtern – und Lösungen

• Unklarheit: Ersetzen Sie Allgemeinplätze („unklar“, „schwach“) durch Erklärungen und Korrekturen.
• Abdriften des Umfangs: Fordern Sie keine andere Studie. Bitten Sie um notwendige Analysen; formulieren Sie „schön zu haben“ als optional.
• Feindseliger Ton: Überarbeiten Sie für kollegiale Formulierungen. Lesen Sie laut; entfernen Sie Spitzen.
• Unbegründetes Urteil: Verknüpfen Sie die Entscheidung mit konkreten Problemen, die Validität oder Passung betreffen.
• Übermäßige Sprachbearbeitung: Schlagen Sie Korrekturlesen vor, wo nötig; konzentrieren Sie Ihre Bemühungen auf den wissenschaftlichen Inhalt.

11) Vorlagen, die Sie anpassen können

Eröffnungszusammenfassung:

Dieses Manuskript untersucht [topic] unter Verwendung von [design/data]. Die Hauptaussage ist, dass [finding], gestützt durch [key analyses]. Die Arbeit zielt darauf ab, zu [literature/field] durch [novelty] beizutragen. Insgesamt passt das Thema zum Interesse des [journal] an [scope/readership].

Muster für Hauptkommentare:

• Problem: Die Identifikationsstrategie setzt parallele Trends voraus (S. 9), testet diese jedoch nicht.
• Beleg: Abbildung 2 deutet auf divergierende Pre-Trends in den Jahren −2 bis −1 hin.
• Folge: Gefährdet die kausale Interpretation der Nachbehandlungseffekte.
• Abhilfe: Fügen Sie eine Ereignisstudie mit Pre-Trend-Tests hinzu und berichten Sie über die Robustheit gegenüber alternativen Spezifikationen.

Entscheidungssatz: Ich empfehle eine umfassende Überarbeitung, abhängig davon, dass die Punkte 1–4 (Identifikation, Messvalidität, Mehrfachtests und Datenverfügbarkeit) adressiert werden. Die Punkte 5–8 sind vorgeschlagene Verbesserungen.

12) Begutachtung nach Studientyp (schnelle Hinweise)

• Klinische Studien: Registrierung, CONSORT-Fluss, Randomisierung, Verdeckung der Zuteilung, vordefinierte Endpunkte, Nebenwirkungen.
• Systematische Übersichten: PRISMA-Fluss, Suchstrategie, Einschlusskriterien, Verzerrungsrisiko, Heterogenität, Publikationsbias.
• Beobachtungsstudien: Stichproben, Kontrolle von Störfaktoren, fehlende Daten, Sensitivitätsanalysen, disziplinierte Verwendung kausaler Sprache.
• Qualitative Forschung: Stichprobenbegründung, Reflexivität, Transparenz der Kodierung, Triangulation, ausführliche Beschreibung.
• Labor/Praktikum: Reagenzienangaben, Replikationszahlen, Verblindung, Kalibrierung der Instrumente, Regeln zum Ausschluss von Daten.
• Computational/ML: Herkunft des Datensatzes, Trainings-/Validierungs-/Testaufteilungen, Leckageprüfungen, Baselines, Ablationen, Transparenz bei Berechnung und Berichterstattung.

13) Verfeinerung Ihres Gutachtens

• Kurz und bündig: 600–1.200 Wörter sind typischerweise ausreichend, es sei denn, das Manuskript ist ungewöhnlich komplex.
• Deutlich gliedern: Verwenden Sie Überschriften („Wesentlich“, „Geringfügig“) und Nummerierungen für eine einfache redaktionelle Sortierung.
• Genau zitieren: Seiten-/Zeilen-/Abbildungsreferenzen reduzieren Rückfragen.
• Professionell abschließen: Danken Sie den Autoren für ihren Beitrag; wiederholen Sie die einzeilige Entscheidung.

14) Beispiel: Mini-Gutachten (illustrativ)

Zusammenfassung: Die Autoren untersuchen X mit einem Multi-Site-[design/data] (N=…) und behaupten Y. Das [topic] ist aktuell und von Interesse für [journal].

Wesentliche Anmerkungen: (1) Gültigkeit des [design/data]: Klären Sie Randomisierung und Verblindung (S. 5); berichten Sie über die Verdeckung der Zuteilung. (2) Definition des Ergebnisses: Primärer Endpunkt verschiebt sich von der Preregistrierung (OSF-Link) zu Abschnitt 3; gleichen Sie ab und begründen Sie. (3) Multiplikität: Korrigieren Sie für mehrere sekundäre Endpunkte oder priorisieren Sie eine kleinere Auswahl und verschieben Sie den Rest in einen Anhang. (4) Zugang zu [design/data]: Stellen Sie einen anonymisierten Datensatz und Code bereit oder erklären Sie Einschränkungen; mindestens teilen Sie synthetische Daten und vollständige Analyseskripte.

Geringfügige Anmerkungen: Verbessern Sie die Achsenbeschriftungen in Abb. 2; standardisieren Sie Abkürzungen; korrigieren Sie Tippfehler (S. 11: „seperate“).

Entscheidung: Größere Überarbeitung.

15) Entwicklung als Gutachter

Führen Sie eine private Checkliste, pflegen Sie Musterabsätze für wiederkehrende Probleme und notieren Sie [journal]-spezifische Präferenzen. Überprüfen Sie Ihre eigenen Gutachten später; bitten Sie Herausgeber um Feedback, wenn verfügbar. Mit der Zeit entwickeln Sie fachspezifische Heuristiken und bewahren dabei Fairness und Klarheit.

Fazit: Helfen Sie dem Herausgeber bei der Entscheidung, helfen Sie dem Autor bei der Verbesserung

Peer Review funktioniert, wenn wir uns sorgfältig vorbereiten, großzügig lesen und präzise argumentieren. Ihre Aufgabe ist es, eine faire, vertrauliche und umsetzbare Bewertung abzugeben: Identifizieren Sie, was das Manuskript beiträgt, zeigen Sie auf, wo es Mängel aufweist, und skizzieren Sie den schnellsten Weg zu einem stärkeren Artikel. Mit Übung werden Sie Empathie mit Strenge verbinden – und so Autoren, Herausgebern und dem [literature/field] zugleich dienen.