Handbuch CoScience/Messung von wissenschaftlichem Impact: Unterschied zwischen den Versionen

Aus Handbuch.io
[unmarkierte Version][unmarkierte Version]
K
K
Zeile 18: Zeile 18:
  
 
== Messung des Impacts ==
 
== Messung des Impacts ==
Grundlage für die Bewertung von Publikationsleistungen in Form einer Impact-Messung markieren in erster Linie Publikationslisten von Autorinnen und Autoren, von Arbeitsgruppen oder Institutionen. Um die Zitierhäufigkeit zu bestimmen, wird auf fachübergreifende Zitationsdatenbanken wie Web of Science<ref>https://apps.webofknowledge.com/</ref> und Scopus<ref>http://www.scopus.com/home.url</ref> zurückgegriffen. Auch Google Scholar<ref>http://scholar.google.de/</ref> kann für solche Analysen herangezogen werden. Es hat sich aber gezeigt, dass die Daten zuvor bereinigt werden müssen, unter anderem um Artikel-Dubletten zu erkennen und zusammenzuführen<ref>Péter Jacsó: ''Google Scholar: the pros and the cons.'' In: O''nline Information Review ''2009/ Vol. 29, No. 2, p. 208-214.</ref>. Darüber hinaus gibt es auch fachspezifische Zitationsindices wie beispielsweise CiteSeer<ref>http://citeseerx.ist.psu.edu/</ref>, die ebenfalls Zitationen auf Artikel erfassen.
+
Grundlage für die Bewertung von Publikationsleistungen in Form einer Impact-Messung markieren in erster Linie Publikationslisten von Autorinnen und Autoren, von Arbeitsgruppen oder Institutionen. Um die Zitierhäufigkeit zu bestimmen, wird auf fachübergreifende Zitationsdatenbanken wie Web of Science<ref>https://apps.webofknowledge.com/</ref> und Scopus<ref>http://www.scopus.com/home.url</ref> zurückgegriffen. Auch Google Scholar<ref>http://scholar.google.de/</ref> kann für solche Analysen herangezogen werden. Es hat sich aber gezeigt, dass die Daten zuvor bereinigt werden müssen, unter anderem um Artikel-Dubletten zu erkennen und zusammenzuführen<ref>Vgl. Péter Jacsó: ''Google Scholar: the pros and the cons.'' In: O''nline Information Review ''2009/ Vol. 29, No. 2, p. 208-214.</ref>. Darüber hinaus gibt es auch fachspezifische Zitationsindices wie beispielsweise CiteSeer<ref>http://citeseerx.ist.psu.edu/</ref>, die ebenfalls Zitationen auf Artikel erfassen.
  
 
== Problem bei der Impact-Messung ==
 
== Problem bei der Impact-Messung ==
Zeile 30: Zeile 30:
 
</ref> und schlussendlich auch bei der Bewertung der Publikationsleistung. Hierzu wird häufig der Journal Impact Factor (JIF) herangezogen.
 
</ref> und schlussendlich auch bei der Bewertung der Publikationsleistung. Hierzu wird häufig der Journal Impact Factor (JIF) herangezogen.
 
* Journal Impact Factor (JIF)
 
* Journal Impact Factor (JIF)
JIF-Werte werden einmal jährlich in den Journal Citation
+
JIF-Werte werden einmal jährlich in den Journal Citation Reports (JCR)<ref>The Thomson Reuters Impact Factor (http://wokinfo.com/essays/impact-factor/), abgerufen am 19. September 2014.</ref> veröffentlicht, die vom Informationsanbieter Thomson Reuters als kommerzielles Produkt vertrieben werden. Als Berechnungsgrundlage dienen die in der Datenbank Web of Science erfassten Zeitschriften aus den Kollektionen „Science Citation Index“ und „Social Science Citation Index“ und deren Zitierhäufigkeiten.
Reports (JCR)<ref>The Thomson Reuters Impact Factor (http://wokinfo.com/essays/impact-factor/), abgerufen am 19. September 2014.</ref> veröffentlicht, die vom Informationsanbieter Thomson Reuters als kommerzielles Produkt vertrieben werden. Als Berechnungsgrundlage dienen die in der Datenbank Web of Science erfassten Zeitschriften aus den Kollektionen „Science Citation Index“ und „Social Science Citation Index“ und deren Zitierhäufigkeiten.
 
  
 
Der JIF berechnet sich dabei wie folgt: Anzahl der Zitationen im Berichtjahr auf Publikationen der Zeitschrift aus den zwei vorangegangenen Jahren, geteilt durch die Anzahl der in den zwei vorangegangenen Jahren in dieser Zeitschrift erschienenen Artikel. Im Zähler werden dabei Zitationen auf alle Artikel der Zeitschrift aus den beiden Jahren einbezogen, im Nenner werden allerdings nur bestimmte Artikeltypen wie wissenschaftliche Artikel berücksichtigt<ref>Faktisch haben Zähler und Nenner hier nicht die gleiche Datengrundlage.
 
Der JIF berechnet sich dabei wie folgt: Anzahl der Zitationen im Berichtjahr auf Publikationen der Zeitschrift aus den zwei vorangegangenen Jahren, geteilt durch die Anzahl der in den zwei vorangegangenen Jahren in dieser Zeitschrift erschienenen Artikel. Im Zähler werden dabei Zitationen auf alle Artikel der Zeitschrift aus den beiden Jahren einbezogen, im Nenner werden allerdings nur bestimmte Artikeltypen wie wissenschaftliche Artikel berücksichtigt<ref>Faktisch haben Zähler und Nenner hier nicht die gleiche Datengrundlage.
Zeile 57: Zeile 56:
 
==== Feldnormalisierte Zitatmaße und Anteil an hochzitierten Publikationen ====
 
==== Feldnormalisierte Zitatmaße und Anteil an hochzitierten Publikationen ====
 
Zur Einschätzung und Bewertung von Publikationsleistungen eigenen sich solche Indikatoren besser, die disziplinenspezifische Unterschiede im Hinblick auf Publikations- und Zitierverhalten mitberücksichtigen. Zu nennen sind hier unter anderem feldnormalisierte Zitatmaße wie beispielsweise Mean Normalized Citation Score (MNCS)<ref>Siehe dazu die Erläuterungen zum Mean Normalized Citation Score (MNCS) im Leiden-Ranking (http://www.leidenranking.com/methodology/indicators), abgerufen am 19. September 2014 .
 
Zur Einschätzung und Bewertung von Publikationsleistungen eigenen sich solche Indikatoren besser, die disziplinenspezifische Unterschiede im Hinblick auf Publikations- und Zitierverhalten mitberücksichtigen. Zu nennen sind hier unter anderem feldnormalisierte Zitatmaße wie beispielsweise Mean Normalized Citation Score (MNCS)<ref>Siehe dazu die Erläuterungen zum Mean Normalized Citation Score (MNCS) im Leiden-Ranking (http://www.leidenranking.com/methodology/indicators), abgerufen am 19. September 2014 .
</ref>oder Maße, die Angaben darüber machen, zu welchem Anteil Publikationen von Autorinnen und Autoren/ Arbeitsgruppen/ Institutionen in den Top-10% der meistzitierten Publikationen eines Fachgebiets vertreten sind<ref>Werner Marx, Lutz Bornmann: ''Perzentile zur Messung von Publikationsleistungen: wie gut ist Forschung wirklich?'' In: ''BIOspektrum'' 2013/Vol. 19, No. 3, p. 332-334.  
+
</ref>oder Maße, die Angaben darüber machen, zu welchem Anteil Publikationen von Autorinnen und Autoren/ Arbeitsgruppen/ Institutionen in den Top-10% der meistzitierten Publikationen eines Fachgebiets vertreten sind<ref>Vgl. Werner Marx, Lutz Bornmann: ''Perzentile zur Messung von Publikationsleistungen: wie gut ist Forschung wirklich?'' In: ''BIOspektrum'' 2013/Vol. 19, No. 3, p. 332-334.  
 
</ref>.
 
</ref>.
  
Zeile 66: Zeile 65:
 
</ref>.
 
</ref>.
  
Als Alternative werden daher Altmetrics diskutiert<ref>Jason Priem, Dario Taraborelli, Paul Growth, Cameron Neylon: altmetrics – a manifesto: (http://altmetrics.org/manifesto/)], 28. September 2011, abgerufen am 18. September 2014.
+
Als Alternative werden daher Altmetrics diskutiert<ref>Vgl. Jason Priem, Dario Taraborelli, Paul Growth, Cameron Neylon: altmetrics – a manifesto: (http://altmetrics.org/manifesto/)], 28. September 2011, abgerufen am 18. September 2014.
 
</ref>. Der Begriff setzt sich zusammen aus den englischen Begriffen ''alternative'' und ''metrics'' und meint alternative (im Sinne von ergänzende) Methoden zur Messung der Wirkung einer Publikation. Altmetrics setzen in erster Linie auf die Verwendung von sozialen Medien (z.B. Weiterverbreitung des Artikels über Twitter und Facebook oder mittels Reference Manager-Systeme wie Mendeley).
 
</ref>. Der Begriff setzt sich zusammen aus den englischen Begriffen ''alternative'' und ''metrics'' und meint alternative (im Sinne von ergänzende) Methoden zur Messung der Wirkung einer Publikation. Altmetrics setzen in erster Linie auf die Verwendung von sozialen Medien (z.B. Weiterverbreitung des Artikels über Twitter und Facebook oder mittels Reference Manager-Systeme wie Mendeley).
  
 
Altmetrics sind derzeit noch in den Anfängen, die Frage nach der Interpretierbarkeit bestimmter alternativer Kennzahlen ist zudem noch nicht geklärt. Generelles Ziel ist es Alternativen zur bisherigen Impact-Messung auszuloten<ref>Siehe hierzu z.B. das NISO Alternative Assessment Metrics (Altmetrics) Project der National Information Standards Organization (NISO) (http://www.niso.org/topics/tl/altmetrics_initiative/), abgerufen am 19. September 2014.
 
Altmetrics sind derzeit noch in den Anfängen, die Frage nach der Interpretierbarkeit bestimmter alternativer Kennzahlen ist zudem noch nicht geklärt. Generelles Ziel ist es Alternativen zur bisherigen Impact-Messung auszuloten<ref>Siehe hierzu z.B. das NISO Alternative Assessment Metrics (Altmetrics) Project der National Information Standards Organization (NISO) (http://www.niso.org/topics/tl/altmetrics_initiative/), abgerufen am 19. September 2014.
</ref> und diese auf einzelne Artikel herunterzubrechen<ref>Jason Priem, Dario Taraborelli, Paul Growth, Cameron Neylon (2011)</ref>. Altmetrics eignet sich derzeit bereits gut zur Filterung von relevanter Literatur und hat durchaus auch Elemente von „Open Peer Review“, wenn wissenschaftliche Ergebnisse aus Publikationen in Blogs etc. diskutiert werden<ref>Jason Priem, Dario Taraborelli, Paul Growth, Cameron Neylon (2011)</ref> (siehe hierzu das Kapitel zu Peer Review in diesem Handbuch).
+
</ref> und diese auf einzelne Artikel herunterzubrechen<ref>Vgl. Jason Priem, Dario Taraborelli, Paul Growth, Cameron Neylon (2011).</ref>. Altmetrics eignet sich derzeit bereits gut zur Filterung von relevanter Literatur und hat durchaus auch Elemente von „Open Peer Review“, wenn wissenschaftliche Ergebnisse aus Publikationen in Blogs etc. diskutiert werden<ref>Vgl. Jason Priem, Dario Taraborelli, Paul Growth, Cameron Neylon (2011).</ref> (siehe hierzu das Kapitel zu Peer Review in diesem Handbuch).
  
Altmetrics ermöglichen es zudem, den Impact nicht nur von Zeitschriftenpublikationen, sondern auch von anderen „Produkten“ der Forschungsleistungen wie beispielsweise von Forschungsdaten, Blogeinträgen oder Diskussionsbeiträgen auf Internetseiten zu messen. Durch die Auswertung einer ganzen Bandbreite von unterschiedlichen sozialen Medien wie beispielsweise Blogs, Faebook oder Twitter kann auch die Wirkung „außerhalb“ des Wissenschaftsbetriebs gemessen werden. Ein weiterer Vorteil ist die Schnelligkeit: Altmetrics können nahezu in Echtzeit gemessen werden. Häufiger Kritikpunkt ist allerdings, dass nicht unterschieden werden kann, ob der Impact durch Autorinnen/Autoren selbst erzeugt wird (indem sie die soziale Medien dazu nutzen, ihre Publikationen zu verbreiten)  oder durch andere und Altmetrics daher manipulationsanfällig sind<ref>Jason Priem, Dario Taraborelli, Paul Growth, Cameron Neylon (2011)</ref>. Es gibt eine Reihe von Tools, mit denen man alternative Kennzahlen für Publikationen ermitteln kann. Dazu gehören Altmetric Explorer<ref>http://www.altmetric.com/aboutexplorer.php</ref>, ImpactStory<ref>https://impactstory.org/</ref>, Plum Analytics<ref>http://www.plumanalytics.com/</ref> oder Webometric Analyst<ref>http://lexiurl.wlv.ac.uk/</ref>. Einige Verlage haben zudem entsprechende Tools in ihre Webseiten integriert, um dort den alternativen Impact ihrer Artikel zu messen<ref>Als Beispiel soll hier PLOS One genannt werden (http://www.plosone.org/static/almInfo).
+
Altmetrics ermöglichen es zudem, den Impact nicht nur von Zeitschriftenpublikationen, sondern auch von anderen „Produkten“ der Forschungsleistungen wie beispielsweise von Forschungsdaten, Blogeinträgen oder Diskussionsbeiträgen auf Internetseiten zu messen. Durch die Auswertung einer ganzen Bandbreite von unterschiedlichen sozialen Medien wie beispielsweise Blogs, Faebook oder Twitter kann auch die Wirkung „außerhalb“ des Wissenschaftsbetriebs gemessen werden. Ein weiterer Vorteil ist die Schnelligkeit: Altmetrics können nahezu in Echtzeit gemessen werden. Häufiger Kritikpunkt ist allerdings, dass nicht unterschieden werden kann, ob der Impact durch Autorinnen/Autoren selbst erzeugt wird (indem sie die soziale Medien dazu nutzen, ihre Publikationen zu verbreiten)  oder durch andere und Altmetrics daher manipulationsanfällig sind<ref>Vgl. Jason Priem, Dario Taraborelli, Paul Growth, Cameron Neylon (2011).</ref>. Es gibt eine Reihe von Tools, mit denen man alternative Kennzahlen für Publikationen ermitteln kann. Dazu gehören Altmetric Explorer<ref>http://www.altmetric.com/aboutexplorer.php</ref>, ImpactStory<ref>https://impactstory.org/</ref>, Plum Analytics<ref>http://www.plumanalytics.com/</ref> oder Webometric Analyst<ref>http://lexiurl.wlv.ac.uk/</ref>. Einige Verlage haben zudem entsprechende Tools in ihre Webseiten integriert, um dort den alternativen Impact ihrer Artikel zu messen<ref>Als Beispiel soll hier PLOS One genannt werden (http://www.plosone.org/static/almInfo).
 
</ref>.
 
</ref>.
 
= Anmerkungen =
 
= Anmerkungen =

Version vom 29. September 2014, 12:13 Uhr


Kontributoren: Ursula Arning

Einleitung

Die Bewertung der Forschungs- und Publikationsleistung spielt in unterschiedlichen Kontexten im Wissenschaftssystem eine große Rolle. Neben der inhaltlichen und qualitativen Bewertung der wissenschaftlichen Leistung durch Peer Review, wird auch versucht, Publikationsleistungen zu quantifizieren. Diese „Vermessung“ von Publikationen wird auch als Bibliometrie (engl. bibliometrics) oder Szientometrie (engl. scientometrics) bezeichnet. Entscheidend sind hierbei in erster Linie drei Kennzahlen[1]:

  • Produktivität: Anzahl der Publikationen
  • Wirkung/Impact: Anzahl der Zitationen
  • Kooperationen: Anzahl der Artikel die man gemeinsam mit anderen Autoren oder Institutionen publiziert.

Der Zitierung kommt in der Wissenschaft eine besondere Bedeutung zu.

Zitationen als Währung

Wenn Wissenschaftlerinnen und Wissenschaftler auf die Ergebnisse aus Publikationen oder Forschungsdaten anderer zurückgreifen, zitieren sie diese Arbeiten und Daten in ihren Literaturverweisen. Die Gründe, warum zitiert wird, können dabei ganz unterschiedlich sein. Zu den häufigsten Zitiermotiven zählen[2]: Würdigung von Vorarbeiten im Sinne einer guten wissenschaftlichen Praxis, Darstellung des State-of-the-Art, Diskussion oder Kritik der Ergebnisse und/oder der Methodik.

Die Anzahl der Zitierungen werden stellvertretend für die Wirkung (Impact) genommen, die Autorinnen und Autoren mit der Publikation erzielen. Für Zitationen gilt generell: Je häufiger ein Artikel zitiert wird, umso relevanter scheint er zu sein[3]. Irrtümlicherweise wird eine große Anzahl von Zitationen mit Qualität gleichgesetzt. Dass dies unzulässig ist, zeigt die Überlegung, dass auch ein Artikel, der völlig falsche Ergebnisse darstellt, häufig zitiert werden kann. Die Fachkollegen greifen die Inhalte auf, um diese dann zu kritisieren. Im Umkehrschluss bedeutet das auch, dass wenig zitierte Artikel nicht qualitativ schlechter sein müssen. Zudem ist die Zitierhäufigkeit an sich wenig aussagekräftig. Hierzu werden Vergleichswerte benötigt (z.B. wie häufig werden andere Artikel im gleichen Fach durchschnittlich zitiert). Generell kann es unterschiedlich lange dauern bis wissenschaftliche Ergebnisse rezipiert und zitiert werden.

Messung des Impacts

Grundlage für die Bewertung von Publikationsleistungen in Form einer Impact-Messung markieren in erster Linie Publikationslisten von Autorinnen und Autoren, von Arbeitsgruppen oder Institutionen. Um die Zitierhäufigkeit zu bestimmen, wird auf fachübergreifende Zitationsdatenbanken wie Web of Science[4] und Scopus[5] zurückgegriffen. Auch Google Scholar[6] kann für solche Analysen herangezogen werden. Es hat sich aber gezeigt, dass die Daten zuvor bereinigt werden müssen, unter anderem um Artikel-Dubletten zu erkennen und zusammenzuführen[7]. Darüber hinaus gibt es auch fachspezifische Zitationsindices wie beispielsweise CiteSeer[8], die ebenfalls Zitationen auf Artikel erfassen.

Problem bei der Impact-Messung

Hauptproblematik der Zitationsindizes ist, dass nur Zitierhäufigkeiten innerhalb der Datenbank erfasst werden, die Häufigkeit, mit der ein Artikel zitiert wird, also de facto deutlich höher sein kann[9]. In diesem Zusammenhang muss auch erwähnt werden, dass gerade bei den fachübergreifenden Datenbanken wie Web of Science und Scopus einzelne Disziplinen unterschiedlich vollständig erfasst werden. Während bei STM-Fächern generell eine gute Abdeckung erreicht wird, sind geistes- und sozialwissenschaftliche Fächer eher unzureichend abgebildet, so dass es hier zu Verzerrungen im Hinblick auf die Anzahl der Zitationen kommen kann.

Zudem erfassen die Datenbanken in erster Linie (englischsprachige) Zeitschriftenliteratur, wenngleich auch ein kleiner Teil an Büchern und Konferenzbeiträgen vertreten ist[10]. Dies führt dazu, dass Disziplinen, die häufig in Form von Monografien und Sammelbänden publizieren oder eine stark von der Landessprache geprägte Fächerkultur haben, weniger stark vertreten sind und Zitationsanalysen hierfür wenig aussagekräftig sind. Grundsätzlich wird dadurch auch die anwendungsorientierte Forschung vernachlässigt, da diese überwiegend in anderen Publikationsorganen (z.B. in Patenten) oder in Reports zu finden sind, die von den Datenbanken nur unzureichend erfasst werden.

Impactmessung für Zeitschriften

Zitierhäufigkeiten werden auch zur Kategorisierung von Zeitschriften verwendet und sind somit Bewertungskriterium bei der Wahl des Publikationsortes[11] und schlussendlich auch bei der Bewertung der Publikationsleistung. Hierzu wird häufig der Journal Impact Factor (JIF) herangezogen.

  • Journal Impact Factor (JIF)

JIF-Werte werden einmal jährlich in den Journal Citation Reports (JCR)[12] veröffentlicht, die vom Informationsanbieter Thomson Reuters als kommerzielles Produkt vertrieben werden. Als Berechnungsgrundlage dienen die in der Datenbank Web of Science erfassten Zeitschriften aus den Kollektionen „Science Citation Index“ und „Social Science Citation Index“ und deren Zitierhäufigkeiten.

Der JIF berechnet sich dabei wie folgt: Anzahl der Zitationen im Berichtjahr auf Publikationen der Zeitschrift aus den zwei vorangegangenen Jahren, geteilt durch die Anzahl der in den zwei vorangegangenen Jahren in dieser Zeitschrift erschienenen Artikel. Im Zähler werden dabei Zitationen auf alle Artikel der Zeitschrift aus den beiden Jahren einbezogen, im Nenner werden allerdings nur bestimmte Artikeltypen wie wissenschaftliche Artikel berücksichtigt[13]. Ein Journal Impact Factor von 2 bedeutet, dass jeder Artikel aus den zwei Jahren vor dem Berichtsjahr im Berichtsjahr durchschnittlich zwei Mal zitiert wurde. Hierbei gilt es zu beachten, dass es sich dabei um Durchschnittswerte für die Zeitschrift handelt, der Journal Impact Factor keine Angaben zu einzelnen Artikeln macht. Die tatsächliche Zitierhäufigkeit kann entweder darüber oder darunter liegen. Zitatverteilungen sind „schief“, das bedeutet, dass es wenige Artikel gibt, die häufig zitiert werden und viele Artikel, die wenig bis gar nicht zitiert werden.  

Der JIF und insbesondere seine Verwendung bei der Impact-Messung im Rahmen der Bewertung von Publikationsleistungen ist sehr umstritten. Hier einige der Kritikpunkte:

  • Falsche Verwendung: Der JIF wurde ursprünglich dazu entwickelt, Bibliothekarinnen und Bibliothekaren eine Hilfestellung dahingehend zu geben, welche Zeitschriften sie idealerweise für ein Fachgebiet anschaffen sollen. Es ist ein Instrument zur Bewertung von wissenschaftlichen Zeitschriften, wird aber mittlerweile auch zur Bewertung von Forschungsleistungen von Wissenschaftlerinnen und Wissenschaftlern dahingehend herangezogen, dass eine Publikation in einer Zeitschrift mit möglichst hohem JIF als vorteilhaft betrachtet wird.
  • Unzulässige Verallgemeinerung: Der JIF wird nicht selten mit der Qualität einer Zeitschrift gleichgesetzt und auf die darin erschienen Artikel übertragen. Dies ist aber unzulässig. Die Zitierhäufigkeit kann lediglich für die Wirkung einer Zeitschrift verstanden werden, weniger für die Qualität einzelner Artikel, die darin erschienen sind.
  • Fehlende Berücksichtigung der Praxen in der jeweiligen Disziplin: Der JIF ist nicht feldnormalisiert, d.h. er berücksichtigt nicht das spezifische Zitierverhalten eines Faches. JIF-Werte von Zeitschriften aus unterschiedlichen Fachgebieten lassen sich deshalb nicht miteinander vergleichen. Auch Vergleiche von Zeitschriften innerhalb einer Disziplin sind problematisch, wenn das Zitierverhalten auch innerhalb der Disziplin variiert. Das standardmäßig zur Berechnung verwendete Zitatfenster von zwei Jahren ist für viele Disziplinen zu kurz, um die Wirkung zu erfassen. In manchen Disziplinen dauert es länger, bis wissenschaftliche Ergebnisse rezipiert werden. Selbst das in den Journal Citation Reports (JCR) zusätzlich verwendete Zitatfenster von fünf Jahren ist insbesondere für Disziplinen in den Sozial- und Geisteswissenschaften noch zu kurz.
  • Manipulationsanfälligkeit: Der JIF kann durch Selbstzitate auf die jeweilige Zeitschrift (Artikel aus der Zeitschrift zitieren andere Artikel aus der Zeitschrift) künstlich erhöht werden.
  • Fehlende Berücksichtigung von Dokumenttypen: Die Zitierhäufigkeit einer Zeitschrift ist auch abhängig davon, welche Dokumenttypen sie veröffentlicht. So werden Review-Artikel (Überblicksartikel) deutlich häufiger zitiert als andere Dokumenttypen. Zeitschriften, die viele Review-Artikel publizieren, können daher mehr Zitationen für sich verbuchen und haben tendenziell einen höheren JIF.

Weitere zitationsbasierte Metriken zur Impact-Messung

h-Index oder Hirsch-Index

Im Gegensatz zum JIF ist der h-Index[14] eine Metrik, die die Publikationsleistung einer Wissenschaftlerin/eines Wissenschaftlers stärker in den Blick nimmt, wenngleich er auch für Arbeitsgruppen oder Institutionen verwendet werden kann. Bei der Berechnung wird die Publikationsliste absteigend nach Zitierhäufigkeit sortiert. Dort wo Rangplatz und Zitierhäufigkeit identisch sind (oder dort wo die Zitierhäufigkeit mindestens so groß ist wie der Rangplatz), liegt der h-Index einer Autorin oder eines Autors[15]. Auch der h-Index ist nicht unproblematisch, so berücksichtig dieser beispielsweise nicht die Unterschiede im Zitierverhalten in den unterschiedlichen Disziplinen. Dies erschwert disziplinenübergreifende Vergleiche. Auch wird die unterschiedliche Karrierelänge von Wissenschaftlerinnen und Wissenschaftlern, die ebenfalls Einfluss auf die Höhe des h-Indexes haben kann, nicht berücksichtigt. Aus diesem Grund eignet sich auch der h-Index nicht, Publikationsleistungen umfassend zu bewerten.

Source Normalized Impact per Paper (SNIP) und SCImago Journal Rank (SJR)

Insbesondere aufgrund der methodischen Kritik am Journal Impact Factor und des missbräuchlichen Einsatzes bei der Bewertung von Publikationen sind zahlreiche weitere Metriken entstanden. Im Bereich der Zeitschriftenmetriken gibt es „Verbesserungsversuche“: Die Indikatoren SCImago Journal Rank (SJR) und Source Normalized Impact per Paper (SNIP) sind Metriken, die auf Grundlage der Datenbank Scopus berechnet werden[16]. Beide arbeiten mit einem Zitatfenster von drei Jahren (anstelle von zwei wie beim JIF). Der SJR bezieht bei der Berechnung des Impacts auch das Prestige der Zeitschriften[17] mit ein, die eine Ausgangszeitschrift zitieren, der SNIP berücksichtigt zudem die durchschnittliche Zitierhäufigkeit einer Disziplin. Auch hier gilt: Da beide Indikatoren für die Bewertung von Zeitschriften konzipiert wurden, sind sie zur Bewertung von Publikationsleistungen einzelner Wissenschaftlerinnen und Wissenschaftler eher ungeeignet.

Feldnormalisierte Zitatmaße und Anteil an hochzitierten Publikationen

Zur Einschätzung und Bewertung von Publikationsleistungen eigenen sich solche Indikatoren besser, die disziplinenspezifische Unterschiede im Hinblick auf Publikations- und Zitierverhalten mitberücksichtigen. Zu nennen sind hier unter anderem feldnormalisierte Zitatmaße wie beispielsweise Mean Normalized Citation Score (MNCS)[18]oder Maße, die Angaben darüber machen, zu welchem Anteil Publikationen von Autorinnen und Autoren/ Arbeitsgruppen/ Institutionen in den Top-10% der meistzitierten Publikationen eines Fachgebiets vertreten sind[19].

Wenn diese zur Bewertung der Publikationsleistung herangezogen werden, ist darauf zu achten, dass immer mehrere Indikatoren verwendet werden, weil jeder einzelne Indikator bestimmte Aspekte der Publikationsleistung misst (z.B. Zitierhäufigkeit eines Artikels in Relation zur durchschnittlichen Zitierhäufigkeit innerhalb einer Disziplin).

Article-based Metrics und Altmetrics

Wie oben bereits ausgeführt, ist der vielleicht am häufigsten genannte Kritikpunkt bezüglich der für die Impact-Messung verwendeten Maße wie JIF und h-Index, dass diese nicht die einzelnen Publikationen betrachten. Zudem wird kritisiert, dass sich ausschließlich auf Publikationen in Peer Review-Zeitschriften fokussiert wird, dass Publikationsleistungen aber deutlich diverser sein können (z.B. Publikation von Forschungsdaten), diese aber in der bisherigen Impact-Messung kaum Berücksichtigung finden[20].

Als Alternative werden daher Altmetrics diskutiert[21]. Der Begriff setzt sich zusammen aus den englischen Begriffen alternative und metrics und meint alternative (im Sinne von ergänzende) Methoden zur Messung der Wirkung einer Publikation. Altmetrics setzen in erster Linie auf die Verwendung von sozialen Medien (z.B. Weiterverbreitung des Artikels über Twitter und Facebook oder mittels Reference Manager-Systeme wie Mendeley).

Altmetrics sind derzeit noch in den Anfängen, die Frage nach der Interpretierbarkeit bestimmter alternativer Kennzahlen ist zudem noch nicht geklärt. Generelles Ziel ist es Alternativen zur bisherigen Impact-Messung auszuloten[22] und diese auf einzelne Artikel herunterzubrechen[23]. Altmetrics eignet sich derzeit bereits gut zur Filterung von relevanter Literatur und hat durchaus auch Elemente von „Open Peer Review“, wenn wissenschaftliche Ergebnisse aus Publikationen in Blogs etc. diskutiert werden[24] (siehe hierzu das Kapitel zu Peer Review in diesem Handbuch).

Altmetrics ermöglichen es zudem, den Impact nicht nur von Zeitschriftenpublikationen, sondern auch von anderen „Produkten“ der Forschungsleistungen wie beispielsweise von Forschungsdaten, Blogeinträgen oder Diskussionsbeiträgen auf Internetseiten zu messen. Durch die Auswertung einer ganzen Bandbreite von unterschiedlichen sozialen Medien wie beispielsweise Blogs, Faebook oder Twitter kann auch die Wirkung „außerhalb“ des Wissenschaftsbetriebs gemessen werden. Ein weiterer Vorteil ist die Schnelligkeit: Altmetrics können nahezu in Echtzeit gemessen werden. Häufiger Kritikpunkt ist allerdings, dass nicht unterschieden werden kann, ob der Impact durch Autorinnen/Autoren selbst erzeugt wird (indem sie die soziale Medien dazu nutzen, ihre Publikationen zu verbreiten) oder durch andere und Altmetrics daher manipulationsanfällig sind[25]. Es gibt eine Reihe von Tools, mit denen man alternative Kennzahlen für Publikationen ermitteln kann. Dazu gehören Altmetric Explorer[26], ImpactStory[27], Plum Analytics[28] oder Webometric Analyst[29]. Einige Verlage haben zudem entsprechende Tools in ihre Webseiten integriert, um dort den alternativen Impact ihrer Artikel zu messen[30].

Anmerkungen

<references \>
  1. Frank Havemann: Einführung in die Bibliometrie. Gesellschaft für Wissenschaftsforschung, Berlin 2009. Insbesondere Kapitel 5 Bibliometrische Indikatoren,  S. 47-54 (http://www.wissenschaftsforschung.de/Havemann2009Bibliometrie.pdf).
  2. Eine Übersicht findet sich in S. Bonzi, H.W. Snyder: Motivations for Citations – A Comparison of Self-Citation and Citation to others. In: Scientometrics 1991/Vol. 21, No. 2, p. 245-254.
  3. Zitationszahlen lassen sich entsprechend auch auf Institutionen und Länder aggregieren.
  4. https://apps.webofknowledge.com/
  5. http://www.scopus.com/home.url
  6. http://scholar.google.de/
  7. Vgl. Péter Jacsó: Google Scholar: the pros and the cons. In: Online Information Review 2009/ Vol. 29, No. 2, p. 208-214.
  8. http://citeseerx.ist.psu.edu/
  9. So wertet das Web of Science beispielsweise nur Zitationen von Artikeln aus Zeitschriften aus, die auch vom Web of Science erfasst werden. Zitationen von Artikeln aus Zeitschriften, die im Web of Science nicht vertreten sind, bleiben damit unberücksichtigt.
  10. Beim Web of Science sind diese in separaten Kollektionen erfasst.
  11. Beispielsweise die Kategorisierung in A-, B- und C-Journals in den Wirtschaftswissenschaften, siehe: Alexander von Humboldt-Stiftung (Hrsg.): Publikationsverhalten in unterschiedlichen wissenschaftlichen Disziplinen. Beiträge zur Beurteilung von Forschungsleistungen. Zweite erweiterte Auflage 12/2009 (http://www.humboldt-foundation.de/pls/web/docs/F13905/12_disk_papier_publikationsverhalten2_kompr.pdf).
  12. The Thomson Reuters Impact Factor (http://wokinfo.com/essays/impact-factor/), abgerufen am 19. September 2014.
  13. Faktisch haben Zähler und Nenner hier nicht die gleiche Datengrundlage.
  14. J.E. Hirsch: An index to quantify an individual’s scientific research output. In: PNAS, 2005/ Vol. 102, No.46, p. 16569–16572.
  15. Ein h-Index von 7 bedeutet, dass ein Autor/eine Arbeitsgruppe/eine Institution mindestens 7 Artikel hat die mindestens 7mal zitiert wurden.
  16. http://www.journalmetrics.com/, abgerufen am 19. September 2014.
  17. Gemeint ist das innerhalb der jeweiligen Datenbank (hier: Scopus) gemessene Prestige. Prestige meint hier, wie häufig diese Zeitschriften wiederum von anderen Zeitschriften zitiert werden.
  18. Siehe dazu die Erläuterungen zum Mean Normalized Citation Score (MNCS) im Leiden-Ranking (http://www.leidenranking.com/methodology/indicators), abgerufen am 19. September 2014 .
  19. Vgl. Werner Marx, Lutz Bornmann: Perzentile zur Messung von Publikationsleistungen: wie gut ist Forschung wirklich? In: BIOspektrum 2013/Vol. 19, No. 3, p. 332-334.
  20. Sie hierzu die San Francisco Declaration on Research Assessment (http://www.ascb.org/dora-old/files/SFDeclarationFINAL.pdf), abgerufen am 19.September 2014.
  21. Vgl. Jason Priem, Dario Taraborelli, Paul Growth, Cameron Neylon: altmetrics – a manifesto: (http://altmetrics.org/manifesto/)], 28. September 2011, abgerufen am 18. September 2014.
  22. Siehe hierzu z.B. das NISO Alternative Assessment Metrics (Altmetrics) Project der National Information Standards Organization (NISO) (http://www.niso.org/topics/tl/altmetrics_initiative/), abgerufen am 19. September 2014.
  23. Vgl. Jason Priem, Dario Taraborelli, Paul Growth, Cameron Neylon (2011).
  24. Vgl. Jason Priem, Dario Taraborelli, Paul Growth, Cameron Neylon (2011).
  25. Vgl. Jason Priem, Dario Taraborelli, Paul Growth, Cameron Neylon (2011).
  26. http://www.altmetric.com/aboutexplorer.php
  27. https://impactstory.org/
  28. http://www.plumanalytics.com/
  29. http://lexiurl.wlv.ac.uk/
  30. Als Beispiel soll hier PLOS One genannt werden (http://www.plosone.org/static/almInfo).