När professorer träter om citeringar (akademisk p*ckmätning)

Kan inte låta bli att kommentera en diskussion om citeringsmått som följd av Rothsteins säkra uttalande i GP om att ett bra citeringsmått i Google Scholar är 3000. Ett dåligt, däremot är 60. Terrorismforskaren Magnus Ranstorp utmanar då plötsligt statsvetaren Ulf Bjereld i citeringsmätning. Mina kommentarer (om än korta) är för långa för Twitter, så jag samlar dem här i stället:

Det finns flera studier som utvärderat Google Scholar (GS) som verktyg att evaluera forskning. Det stora flertalet kommer fram till att det inte passar för detta. GS indexerar inte peer reviewad litteratur per se, utan allsköns material som ser vetenskapligt ut. Referenserna kan lika väl komma från studentuppsatser, pressmeddelanden (OCH vetenskaplig litteratur).

De båda etablerade citeringsdatabaserna, Web of Science och Scopus, anses (på gott och ont) ha sådan kvalitetskontroll och öppenhet vad gäller urval och indexeringsmetod att de kan utnyttjas som komplement till evaluering, dock ej på individnivå. Täckningsgraden för samhällsvetenskap och humaniora är dock bristfällig, liksom för internationell litteratur (vilken litteratur är inte internationell?) som inte är publicerad i engelskspråkiga tidskrifter.

Om man trots allt, för att stilla ett aldrig sinande intresse att jämföra sig med andra (eller i det här fallet andra med andra), ändå gör jämförelsen mellan de båda professorerna i de etablerade citeringsdatabaserna får man följande resultat (idag):

Web of Science: Ranstorp: 17 citeringar på 4 publikationer: Bjereld 34 på 5 publikationer.

Nu bör man författarfraktionera och då har Bjereld 22 och Ranstorp  8,5.

Bjereld har en självcitering så kanske skulle vi säga 21. Ranstorp har ingen och landar på 8,5.

Nu bör vi också fältfraktionera citeringarna eftersom forskarna företräder något olika ämnen med olika förväntad citeringsgrad. Och så bör publiceringarna ämnesnormeras. (Men det är efter midnatt och hela uppgiften är ju egentligen ganska meningslös, så jag hoppar över det här. Vetenskapsrådet har uppdaterade värden för fältfraktionerade citeringar och mindre väl uppdaterade om publikationers ämnesnorm).

I databasen Scopus däremot är skillnaden till Ranstorps fördel:

Bjereld: 38 citeringar/6 publikationer vilket motsvarar 18,8 författarfraktionerade citeringar mot Ranstorp: 71/16 = 58 författarfraktionerade.

Found on the net

Summa summarum. Valet av databas är viktigt för utfallet och bibliometriska analyser bör göras med nogsamhet för såväl metodologiska problem som det svåra att utföra statistiska undersökningar på allt för små populationer.