Handbuch CoScience/Peer Review

Aus Handbuch.io


Autorin: Jasmin Schmitz

Kontributoren: Ursula Arning, Isabella Peters

Was ist Peer Review und warum ist es wichtig?

Da wissenschaftliche Ergebnisse und Erkenntnisse weitreichende Folgen für Mensch und Gesellschaft haben können, sollen Wissenschaftlerinnen und Wissenschaftler nicht alles publizieren, was ihnen in den Sinn kommt. Wer wissenschaftliche Ergebnisse publizieren möchte, muss seine Arbeit einer Qualitätskontrolle unterziehen.

Ein zentrales Element im wissenschaftlichen Publikationsprozess ist daher das sogenannte Peer-Review-Verfahren. Damit ist gemeint, dass andere Wissenschaftlerinnen und Wissenschaftler aus dem jeweiligen Feld die in einer Publikation dargestellten Ergebnisse auf Validität prüfen und sie im Hinblick auf die Publikationswürdigkeit bewerten. Gleichzeitig ist das Peer Review auch Mittel, um wissenschaftliches Fehlverhalten wie Plagiate oder Datenmanipulationen aufzudecken (siehe hierzu das Kapitel zu wissenschaftlichem Fehlverhalten in diesem Handbuch).

In den Publikationsprozessen, die von Verlagen organisiert werden, entscheidet die Herausgeberin oder der Herausgeber (eventuell gemeinsam mit einem Gremium – engl. Editorial Board), welche Artikel veröffentlicht werden. Viele Konferenzorganisatoren setzen ebenfalls Peer Review ein, insbesondere dann, wenn die Konferenzbeiträge als Sonderausgabe einer wissenschaftlichen Zeitschrift erscheinen. Bei Konferenzen entscheidet zumeist das Programmkomitee.

Die Peer-Review-Gutachten bilden die entscheidende Grundlage für die Entscheidungsfindung, ob ein Manuskript veröffentlicht wird. Aus Gründen der Lesbarkeit wird sich nachfolgend auf das Zeitschriften-Peer-Review konzentriert.

Geprüft wird in erster Linie, inwieweit ein Artikel zur thematischen Ausrichtung der Zeitschrift passt, inwieweit Forschungsfragen verständlich formuliert wurden und ob der Forschungsansatz der Richtige ist, um die aufgestellten wissenschaftlichen Fragestellungen zu beantworten. Zudem wird die Methodik überprüft und geschaut inwieweit die Ergebnisse reproduzierbar sind. Auch die Originalität und Neuheit werden bewertet. Sofern mit biologischen Materialien gearbeitet wurde, werden auch ethische Aspekte geprüft. Schlussendlich wird auch die „Lesbarkeit“ dahingehend bewertet, ob der Artikel logisch aufgebaut und die Schlussfolgerungen nachvollziehbar sind. Zudem erhalten Autorinnen und Autoren idealerweise auch nützliche Hinweise zur Verbesserung ihrer Artikel[1]

Wie läuft das Peer-Review-Verfahren ab?

Nach der Einreichung einer Publikation bei einer wissenschaftlichen Zeitschrift erfolgt eine Art Vorprüfung. Zu Beginn des Peer-Review-Prozesses steht somit in der Regel zunächst das Desk-Review, die Herausgeberin oder der Herausgeber nimmt eine erste Prüfung vor und entscheidet, ob ein Artikel überhaupt das Peer Review durchlaufen soll oder sofort abgelehnt wird. Im Anschluss wählt die Herausgeberin oder der Herausgeber Gutachterinnen und Gutachter aus, von denen sie/er weiß, dass diese aufgrund ihres Arbeitsfeldes das Manuskript bewerten können, schreibt diese an und bittet um die Erstellung eines Gutachtens. Idealerweise werden Artikel von mehreren „Peers“ begutachtet. Für die Erstellung der Gutachten wird kein Entgelt bezahlt, es ist Teil der Selbstorganisation der Wissenschaft. Einige Verlage „belohnen“ ihre Gutachterinnen und Gutachter dahingehend, dass sie ihnen für einen begrenzten Zeitraum kostenfreien Zugriff auf das Verlagsarchiv gewähren. Die Gutachterinnen und Gutachter erstellen ihre Bewertung und senden diese zurück an die Herausgeberin oder den Herausgeber, der/dem die abschließende Entscheidung obliegt, ob ein Artikel veröffentlicht wird.

Für die Einreichung von Manuskripten sowie zur Organisation und Abwicklung des Peer-Review-Prozesses kommen meist entsprechende Online-Plattformen zum Einsatz. Informationen darüber, wie man Beiträge einreicht, bekommt man auf der jeweiligen Website einer Zeitschrift.

Was passiert nach dem Peer Review?

Das Ergebnis des Review-Verfahrens ist, dass ein Aufsatz entweder zur Publikation angenommen oder abgelehnt wird beziehungsweise unter der Maßgabe angenommen wird, dass bestimmte Punkte überarbeitet werden. Bei schwerwiegenden Mängeln werden Publikationen abgelehnt, können aber nach einer grundlegenden Überarbeitung erneut eingereicht werden. Einige renommierte Zeitschriften haben Ablehnungsquoten von über 90%, über alle wissenschaftlichen Zeitschriften betrachtet, werden etwa die Hälfte aller eingereichten Artikel abgelehnt[2]. Eine Ablehnung muss aber nicht bedeuten, dass ein Manuskript qualitativ schlecht ist. Es werden auch Artikel abgelehnt, die entweder der inhaltlichen Ausrichtung der Zeitschrift nicht entsprechen, oder die den teilweise sehr hohen Standards an Originalität nicht genügen. Ein weiterer Grund für eine Ablehnung kann sein, dass ein innovativer Ansatz von den Reviewern nicht als solcher erkannt wird. Es gibt auch Zeitschriften (z.B. PLOS), die im Hinblick auf Originalität weniger strikt sind, sondern eher prüfen, inwieweit wissenschaftlich exakt gearbeitet wurde. Abgelehnte Artikel werden daher meist von den Autorinnen und Autoren bei einer anderen Zeitschrift erneut eingereicht. Mittlerweile gibt es auch Bestrebungen, dass Autorinnen und Autoren die Gutachten zu den abgelehnten Manuskripten bei Neueinreichungen „mitnehmen“ können (Cascading Peer Review)[3]. Dies verkürzt den Peer-Review-Prozess bei der anderen Zeitschrift und sorgt dafür, dass einmal getane Arbeit nachgenutzt wird. Aus Sicht von Autorinnen und Autorin ist das aber kritisch zu sehen, da diese unter Umständen nicht möchten, dass ersichtlich wird, dass es sich um eine erneute Einreichung handelt[4].

Läuft ein Peer-Review-Verfahren immer gleich ab oder gibt es Varianten?

Peer Review muss als Sammelbegriff für unterschiedlichste Verfahren verstanden werden. Ein Standardverfahren gibt es nicht. Eine Grobunterscheidung der gängigsten Verfahren ist[5]:

  • Single-Blind-Verfahren: Die Autorin oder der Autor erfährt nicht, wer die Gutachterin oder der Gutachter ist,
  • Double-Blind-Verfahren: Die Autorin oder der Autor und die Gutachterin oder der Gutachter wissen wechselseitig nicht, wer der andere ist.

Zudem gibt es erhebliche Unterschiede im Detailgrad, mit denen Manuskripte geprüft werden. Einige Zeitschriften setzen zusätzlich Plagiatssoftware[6] ein oder organisieren ein spezielles Statistik- oder Methoden-Review, um die Ergebnisse zu überprüfen. Andere Zeitschriften überprüfen wiederum eingereichte Abbildungen auf Manipulationen. Eine Kombination unterschiedlicher Maßnahmen ist ebenfalls möglich. Alle angesprochenen Verfahren haben ihre spezifischen Vor- und Nachteile. Beim Double-Blind-Verfahren wird beispielsweise kritisiert, dass Gutachterinnen oder Gutachter anhand der Referenzen erahnen können, wer die Autorinnen oder Autoren sind. Dies gefährdet unter Umständen die Neutralität der Gutachterinnen oder Gutachter, die damit eigentlich erzielt werden sollte. Die Einschätzung eines wissenschaftlichen Artikels ist zudem von der Sorgfalt der Reviewer abhängig und deren wissenschaftlicher Überzeugung.

Auch aufgrund der im nächsten Abschnitt genannten Kritikpunkte, wird aktuell das Open-Peer-Review (oder Crowd-Sourced-Peer-Review) als Alternative diskutiert[7]. Hierzu werden Publikationen ohne oder mit lediglich grober Vorprüfung direkt veröffentlicht und die entsprechende Bewertung und Einschätzung der wissenschaftlichen Gemeinschaft überlassen[8]. Neben dem Vorteil, dass sich Möglichkeiten zur Diskussion eröffnen, sind aber auch Probleme erkennbar. Das Schlüsselproblem ist allerdings, eine ausreichende Anzahl an Experten zu gewinnen, die eine kompetente Einschätzung durchführen können. Zudem stellt sich die Frage, wie entsprechende Plattformen organisiert sein müssen, damit sie handhabbar und recherchierbar sind, insbesondere dann, wenn Artikel nicht mehr in Zeitschriften „organisiert“ sind. Bislang wird davon ausgegangen, dass Open-Peer-Review lediglich als Ergänzung zum bisherigen Peer-Review-Verfahren gesehen werden, dieses aber keineswegs ersetzen kann. Auch beim Open-Peer-Review gibt es unterschiedliche Varianten des Ablaufs. In diesem Zusammenhang wird insbesondere diskutiert, inwieweit Kommentare anonym abgegeben werden dürfen. Es besteht die Gefahr, dass dort Rivalitäten zwischen Wissenschaftlerinnen oder Wissenschaftlern ausgetragen oder persönliche Befindlichkeiten vorgetragen werden.

Welche Kritik am Peer Review gibt es?

Peer-Review-Verfahren geraten zunehmend in die Kritik, weil in der jüngeren Vergangenheit computergenerierte Nonsens-Artikel oder schwerwiegende methodische Fehler nicht entdeckt wurden[9]. Einige Gründe für das „Versagen“ des Peer-Review-Verfahrens sind:

  • Überlastung der Peer Reviewer durch das gestiegene Publikationsaufkommen, 
  • unpassende Auswahl von Gutachterinnen oder Gutachtern durch das Editorial Board, d.h. die Gutachterin oder der Gutachter kennt sich ggf. auf dem Themengebiet nicht gut genug aus, um den Artikel gewissenhaft zu prüfen.

Zudem wird häufig die Kritik laut, dass Peer-Review-Verfahren sei zu intransparent, weil die Gutachten subjektiv gefärbt sind (beispielsweise wenn sich Gutachterinnen oder Gutachter nicht von ihren jeweiligen Denkschulen lösen können), den Wert einer neuen Idee nicht schätzen oder weil Gutachterinnen und Gutachter mögliche Interessenskonflikte nicht offenlegen (müssen)[10]. Gelegentlich wird auch der Verdacht geäußert, dass Zeitschriften, die von sich behaupten, ein Peer-Review-Verfahren installiert zu haben, keine oder eine nur sehr oberflächliche Prüfung durchführen[11].

Ein weiterer zentraler Kritikpunkt am Peer-Review-Verfahren ist unter anderem auch, dass sich dieses über längere Zeiträume (in der Regel Wochen bis Monate, in Einzelfällen wird auch von Jahren berichtet) hinziehen kann. Hier machen sich aber bereits viele Verlage das elektronische Medium zunutze und publizieren Artikel auch bereits dann, wenn das Peer-Review-Verfahren noch nicht komplett abgeschlossen worden ist. Dies wird dann auch als „OnlineFirst“ o.ä. bezeichnet und trägt dazu bei, dass Artikel frühzeitig sichtbar sind. Dies ist insbesondere dort sinnvoll, wo Zeitschriften noch parallel in einer Printausgabe erscheinen. Eine weitere Alternative ist die Vorabveröffentlichung auf Preprint-Servern (wie z.B. arXiv.org), um die Ergebnisse früh öffentlich zu machen und schon zur Diskussion freizugeben, noch bevor das Peer-Review-Verfahren abgeschlossen ist.

Warum wird trotz Kritik am Peer Review festgehalten?

Experten gehen generell davon aus, dass sich trotz Peer Review Betrugsfälle und die Publikation von minderwertigen Artikeln nicht gänzlich verhindern lassen. Bei aller Kritik wird weiterhin am Peer Review festgehalten, weil es sich schlussendlich doch bewährt hat und in den meisten Fällen – insbesondere wenn Autorinnen und Autoren die Gutachten einsehen und Anmerkungen verarbeiten können – zur Verbesserung der Publikationen beiträgt[12]. Schlussendlich liegt die Verantwortung bei den Autorinnen und Autoren, die nach wissenschaftlichem Selbstverständnis für „wissenschaftliche Reproduzierbarkeit“ und „Redlichkeit“ zu sorgen haben[13]. Das Konzept Peer Review erfährt zudem ständig Anpassungen, um den auftretenden Problemen zu begegnen. Aktuell wird auch diskutiert, inwieweit Altmetrics, also die Messung der Wirkung eines Artikels über die Häufigkeit der Nennung in sozialen Medien wie Twitter oder auf Blogs, Peer Review ergänzen kann[14] (siehe hierzu das Kapitel zum Thema Messung von wissenschaftlichem Impact in diesem Handbuch).

Einzelnachweise

  1. Weitere Informationen zu in den in diesem Kapitel angesprochenen Themen finden sich in der Broschüre: Julia Wilson: PEER REVIEW. The Nuts and Bolts: A Guide for Early Career Researchers. London 2012 (http://www.senseaboutscience.org/data/files/resources/99/Peer-review_The-nuts-and-bolts.pdf).
  2. Vgl. Elizabeth Wager: Ethics: What is it for? Analysing the purpose of peer review. In: Nature. DOI: 10.1038/nature04990, abgerufen am 18. September 2014.
  3. Vgl. Phil Davis: Cascading Peer-Review – The Future of Open Access? (http://scholarlykitchen.sspnet.org/2010/10/12/cascading-peer-review-future-of-open-access/) In: The Scholarly Kitchen, 12.Oktober 2013, abgerufen am 18. September 2014.
  4. Vgl. Drugmonkey: Why cascading manuscript acceptance schemes can't work. (http://scientopia.org/blogs/drugmonkey/2013/03/06/why-cascading-manuscript-acceptance-schemes-cant-work/), In: Scientopia, 06. März 2013, abgerufen am 29.09.2014.
  5. Vgl. Kent Anderson: Your Question of the Day – What is „Peer Review“? (http://scholarlykitchen.sspnet.org/2014/07/24/your-question-for-the-day-what-is-peer-review/) In: The ScholarlyKitchen, 24.Juli 2014, abgerufen am 18. September 2014.
  6. Siehe hierzu die Initiative CrossCheck (http://www.crossref.org/crosscheck/index.html) in der zahlreiche Verlage organisiert sind. Hier wird aus den Archiven der Verlage ein Artikelpool gebildet. Eingereichte Manuskripte werden anhand des Pools überprüft, um so Plagiate und Mehrfacheinreichungen zu verhindern.
  7. Einen knappen Überblick bietet Stevan Harnad: Crowd-Sourced Peer Review: Substitute or supplement for the current outdated system? (http://blogs.lse.ac.uk/impactofsocialsciences/2014/08/21/crowd-sourced-peer-review-substitute-or-supplement/) In: LSE - The Impact of Science Blog, 21. August.2014, abgerufen am 18. September 2014.
  8. Siehe hierzu beispielsweise die Reader Comments-Funktion bei PLOS.
  9. Siehe hierzu zum Beispiel: Kevin L. Smith: Just the Tip of the Iceberg - Peer to Peer Review (http://lj.libraryjournal.com/2014/03/industry-news/just-the-tip-of-the-iceberg-peer-to-peer-review/) In: Library Journal, 13. März 2014, abgerufen am 18. September 2014.
  10. Vgl. Kent Anderson (2014).
  11. Siehe hierzu den Bericht von John Bohannon, der unter dem Psyeudonym Ocorrafoo Cobange bei zahlreichen Zeitschriften ein mit methodischen Fehlern gespicktes Manuskript eingereicht hat und dieses in mehr als 50% der Fälle zur Publikation angenommen wurde. John Bohannon: Who’s Afraid of Peer Review. In: Science 2014/Vol. 342, No. 6154, S. 60-65.
  12. Vgl. Kevin L. Smith (2014).
  13. Vgl. Kent Anderson (2014).
  14. Vgl. Jason Priem, Dario Taraborelli, Paul Growth, Cameron Neylon: altmetrics – a manifesto: http://altmetrics.org/manifesto/, 28. September 2011, abgerufen am 18. September 2014.