F-f-f-Forskningsgsproposition!

Photo of The Shard – Tower of Babel

The Shard – Tower of Babel (eget foto).

I dag släpptes regeringens forsknings- och innovationsproposition med den lite corny titeln ”Forskning, frihet, framtid – kunskap och innovation för Sverige”. Men om man öppnar den så möter man ett rikt utbud av satsningar på flera viktiga frågor inom samhället där vår sektor kan få betydelse, exempelvis hållbarhet och samhällets säkerhet, inte minst när det gäller samhällets digitalisering. Mer specifikt högskolerelaterat lyfts akademisk frihet och öppen tillgång och humaniora fram med både vissa förändringar i prislappar, särskilda satsningar och idén om forskarskolor. Öppen tillgång har en fortsatt mycket stark ställning i regeringens ögon och tidsplanen har justerats upp, så att de meddelar att de nu förväntar sig att all offentligt finansierad forskning publiceras med omedelbar öppen tillgång from 2021, en formulering som sätter regerings position i linje med den som drivs av ett antal Europeiska (and beyond) finansiärer under benämningen ’Coalition S’ och innebär att vi nu är där. En sak som inte diskuteras så mycket är att detta får stora konsekvenser för oss då det också innebär att all forskning som vi publicerar på internfinansierad forskningstid bör publiceras med öppen tillgång. Glädjande nog finner jag några formuleringar om behovet av att följa upp och mäta det nationella arbetet för ett öppet forskningssystem, att utforma tydliga incitament som främjar öppen vetenskap, samt behovet att göra vetenskapliga böcker och svenska tidskrifter möjliga att publicera, som är hämtade från de utredningar som medarbetare vid Bibliotekshögskolan arbetat med tillsammans med KB under de senaste åren.

För mina egna forskningsintressen så var det mest intressanta beskedet att den automatiserade resursomfördelningsmodell som infördes 2010, men som sedan 2016 inte fullt ut har använts – som utgår från lärosätenas prestation vad gäller erhållandet av externa medel och citeringar – skrotas from 2023. I stället hänvisas till en sakkunniggranskad resurstilldelning som skall återfinnas i Styr- och resursutredningen (Struten, SOU2019:6). Jag har trots viss ansträngning inte funnit någon färdig modell där, om än en viljeinriktning åt det hållet. Risken är att vi går mot ganska kostsam process, likt REF i Storbritannien eller Vetenskapsrådets FOKUS, som skrotades av regeringen för några år sedan.

Glädjande nog aviserar regeringen att styrningen av högskolan skall genomsyras av en hög grad av självbestämmande i sektorn. Det finns delade uppfattningar i efterdebatten, där särskilt SFS verkar mena att undervisningen missgynnas, vilket avfärdas av andra, som pekar på att forskningsresurserna istället ökar. Men jag uppfattar att regeringen har tagit stor hänsyn till Pam Fredmans styr- och resursutredning som ju efterfrågade ett samlat tag om forsknings- och utbildningspolitik. Andra får gärna fylla i om dessa frågor, jag här inte så insatt just här.

Sist några övergripande frågor. Akademisk frihet skrivs in på ett tydligare sätt i högskolelagen och samtidigt lyckades Regeringen även få in ”livslångt lärande genom vad jag nästan uppfattar som en kupp: ”om ni vill ha A så får ni också ta B” tidigare i vår. Vidare lyfts samverkan med det omgivande samhället in i högskolelagen utöver ”att informera om sin verksamhet”, som det står i högskoleförordningen och remissinstansernas insisterande om att samverkan är en dubbelriktad process har tagits ad notam av regeringen, vilket är glädjande.

Sammanfattningsvis skulle jag kalla det en ambitiös och genomarbetad forsknings- och innovationspropp, som sannolikt kommer kommer få betydelse för forskningspolitiken på lite längre sikt, vilket förstås är ett mål.

Prestationsbaserad tilldelning i regeringens budgetar 2015-2020

Nedanstående redovisning utgör ett försök från min sida att utröna utvecklingen av den svenska prestationsbaserade resurstilldelningen mellan åren 2015 och 2020. Som enda källa har budgetpropositionerna för dessa år granskats. Sidhänvisningar som görs i anslutning till citat hör till respektive års propositionstext för utgiftsområde 16. Samtliga dokument finns tillgängliga via regeringens webplats.

I forskningspropositionen 2008/09:50 infördes den Svenska prestationsbaserade resurstilldelningsmodellen som innefattade omfördelning av 10 % och sena 20% av basanslagen för forskning, samt samtliga nya medel som tillfördes forskningen vid lärosätena. De två indikatorerna innefattade citeringar i WoS-indexerade tidskrifter och Externt erhållna medel (EU och VR, om jag inte minns fel). I budgetpropositionen för 2018 införde regeringen en samverkansindikator.

2015: PROP. 2014/15:1 UTGIFTSOMRÅDE 16

I budgetpropositionen för 2015 föreslås inga förändringar i fördelningen av anslagen till forskning och utbildning på forskarnivå. (s 192)

Dock beslutade riksdagen om oppositionens budget, som, förutom några viktiga lapsusar (bland annat saknades stiftelsehögskolorna omfördelningen) i stort sätt följde principen om att 20% av basmedlen, samt nya tillförda medel skulle fördelas baserat på den prestationsbaserade modellen

2016: PROP. 2015/16:1 UTGIFTSOMRÅDE 16

Regeringen föreslår att medlen fördelas baserat på de principer som redovisades i propositionen, men för att stärka forskningen vid alla lärosäten föreslår regeringen att alla lärosäten som ingår i resursfördelningsmodellen garanteras minst 5 miljoner kronor i ökade anslag till forskning och forskarutbildning när resultatet av omfördelning och fördelning av nya medel slås samman. (s 207)

Och:

I propositionen Forskning och innovation redovisade regeringen att en del av anslagen till forskning och forskarutbildningen årligen ska omfattas av en omfördelning för att skapa drivkrafter för högre kvalitet. I budgetpropositionen för 2015 ingick dock inget förslag till omfördelning. I den budget som riksdagen beslutade för 2015 ingår en omfördelning av anslagen, men i 2015 års omfördelning ingick inte Chalmers tekniska högskola och Högskolan i Jönköping. Beräkningssättet skilde sig också något från den omfördelning som föreslogs i budgetpropositionen för 2014. Den viktning av de använda indikatorer som görs för att inte missgynna bl.a. humaniora och samhällsvetenskap justerades för Sveriges lantbruksuniversitet, Blekinge tekniska högskola, Malmö högskola och Mälardalens högskola för att ge dem mer rättvisande värden i linje med hur andra lärosäten beräknats. Samtliga justeringar innebär att de berörda lärosätenas vikter ökar. Omfördelning för 2016 är beräknat  på samma sätt som omfördelningen för 2015 och inkluderar Chalmers tekniska högskola och Högskolan i Jönköping. Resultatet för dessa lärosäten omfattar därmed två år. (s 207-8)

2017: PROP. 2016/17:1 UTGIFTSOMRÅDE 16

Regeringen avser […] att återkomma om fördelningen av resurserna till forskning och utbildning på forskarnivå i kommande budgetpropositioner och i den forskningspolitiska propositionen. För att säkerställa långsiktigheten i forskningspolitiken kommer de ökade anslagen delvis att fördelas med hjälp av de utgångspunkter som presenterades i propositionen Ett lyft för forskning och innovation (prop. 2008/09:50). Regeringen avser dock att låta universitets och högskolors samverkan med det omgivande samhället i högre grad påverka för-delningen av medlen. (s. 207-8)

Men samtidigt:

I denna proposition föreslås inga förändringar i fördelningen av anslagen till forskning och utbildning på forskarnivå. (s. 208)

2018: PROP. 2017/18:1 UTGIFTSOMRÅDE 16

I budgetpropositionen för 2018 fördelades ökade resurser enligt den prestationsbaserade modellen. Därtill infördes en tredje indikator om samverkan som bygger på två pilotsudier utförda av Vinnova. Här förklaras dock vad den lite kryptiska formuleringen “föreslås inga förändringar i fördelningen av anslagen…”. I klarspråk verkar det betyda att omfördelningen av 20 % av de befintliga medlen som tidigare omfördelats, inte längre kommer att ske:

I 2017 års budgetproposition gjordes ingen omfördelning av befintliga anslag för forskning och utbildning på forskarnivå baserad på citeringar och publiceringar (s.k. bibliometri) och externa medel. Mot bakgrund av de principer som regeringen har infört för att stärka forskningsanknytningen i samtliga utbildningar och ge goda förutsättningar för att bedriva forskning vid alla lärosäten, kommer det inte att ske en omfördelning av befintliga anslag 2018. (s. 210)

Och, gällande samverkan :

Styr- och resursutredningen har bl.a. i uppdrag att föreslå på vilket sätt anslag för utbildning och forskning bör tilldelas så att lärosätena får förutsättningar att bedriva långsiktig verksamhet, kan nå målen för utbildning och forskning samt uppnå högsta möjliga kvalitet. Utredningen ska också bedöma om användningsområdena i dag för direkta forskningsanslag respektive externa forskningsmedel är ändamålsenliga, och föreslå hur samverkan med det omgivande samhället kan premieras ekonomiskt.

I avvaktan på utredningens förslag avser regeringen att använda Vinnovas bedömningar av samverkan med det omgivande samhället som grund för tilldelning av en del av de ökade resurserna. Vinnova fick 2013 i uppdrag av regeringen att årligen fördela medel till universitet och högskolor utifrån kvalitet och prestation i samverkan med det omgivande samhället. Resurstilldelning utifrån samverkan kommer därför att 2018 göras utifrån den bedömning som Vinnova har gjort av lärosätenas strategier för samverkan. (s 210)

2019: PROP. 2018/19:1 UTGIFTSOMRÅDE 16

Omfördelningen nämns inte omfördelningen över huvud taget och inte heller Vinnovas samverkansindikator. Däremot framgår det i Prop. 2019/20:1 (se nedan) att lärosätenas ökade tilldelning som meddelats i vårpropositionen 2019 nu ”permanentas”, varför det är möjligt att regeringen återinförde modellen för fördelning av ökade anslag när vårpropositionens budget togs av riksdagen. Jag kan inte utröna om det tillförts några ökade medel som skulle kunna fördelas enligt prestationsbaserade principer.

2020: PROP. 2019/20:1 UTGIFTSOMRÅDE 16

Nu är den prestationsbaserade modellen tillbaks i fördelningen av ökade medel. Däremot framgår det inte om omfördelningen av 20% av de befintliga medlen görs enligt samma princip (sannolikt inte):

Fördelning av ökningen av anslagen för forskning

I den forskningspolitiska propositionen Kunskap i samverkan – för samhällets utmaningar och stärkt konkurrenskraft (prop. 2016/17:50, bet. 2016/17:UbU12, rskr. 2016/17:208) aviserades en ökning av anslagen för forskning och utbildning på forskarnivå 2020. Tabell 5.15 visar hur ökningen fördelar sig mellan de lärosäten som ingår i den kvalitetsbaserade resursfördelningsmodellen. Medel fördelas dels utifrån kvalitetsindikatorerna citeringar och externa medel, dels utifrån samverkan i enlighet med de principer som be-skrevs i budgetpropositionen för 2018 (prop. 2017/18:1 utg.omr. 16, bet. 2017/18:UbU:1, rskr. 2017/18:125). Se vidare berörda universitets och högskolors anslag för forskning och utbildning på forskarnivå.” (s. 172)

Fördelningen av de ökade anslagen anges i tabell 5.15: ”Ökning av anslagen för forskning och utbildning på forskarnivå – fördelning utifrån bibliometri, externa medel och samverkan 2020” (s 173).

När man läser avsnitten som berör forskningsanslag till respektive lärosäte, så framgår att fördelning enligt prestationsbaserad modell införts i regeringens vårändringsbudget 2019 och att det är samma princip, meddelad i forskningspropositionen 2016/17-50 ”Kunskap i samverkan…” som skall gälla. Se exempelvis texten för Göteborgs universitet:

Anslaget beräknas öka med 34 210 000 kronor fr.o.m. 2020 till följd av fördelning av den ökning av universitets och högskolors anslag för forskning och utbildning på forskarnivå som aviserades i forskningspropositionen Kunskap i samverkan – för samhällets utmaningar och stärkt konkurrenskraft. Av samma anledning beräknas anslaget öka med 21 391 000 kronor fr.o.m. 2020 vilket medför att ökningen som föreslogs i propositionen Vårändringsbudget för 2019 överförs permanent. (s 180)

Slutsatser

Sammanfattningsvis: mellan 2010-14 använde regeringen en modell att omfördela en del av de befintliga medlen baserat på en prestationsbaserad modell. I budgetarna för 2015 och 2016 på avvikande sätt. I den förra på grund av att det var oppositionens budget som klubbades och i den andra eftersom regeringen tillsköt alla lärosäten medel att åtminstone få 5 miljoner i ökad tilldelning. 2017-2018 användes prestationsbaserad modell för ökade anslag, men inte för 20% av befintliga anslag. 2018 infördes samverkansindikatorn.

I 2019 års budget anges ingen prestationsbaserad tilldelning över huvud taget, men den verkar ha återkommit i vårbudgeten. Slutligen, i 2020 års budget finns de tre prestationsbaserade indikatorerna medtagna. De används för att fördela nya anslag, men inte för att omfördela 20% av forskningsanslagen till lärosätena.

Forskargruppers storlek och skilda typer av citeringsgenomslag

En studie i Nature diskuterar forskargruppsstorlek och drar slutsatser om vilken typ av forskning dn genererar på basis av bibliometriska data. Den lyfts i en Curieartikel här, som jag var inbjuden att kommentera, men då artikeln mer lade fokus på gruppstorlek och mina kommentarer snarare handlade om studiens upplägg och vilka slutsatser man kan dra på basis av jättemycket data så kom de inte med. Det ger mig dock möjlighet att utveckla mina resonemang lite mer. Texten nedan utgår från mina svar på journalistens frågor som var om disruptiveness är ett vettigt mått och om jag hade några synpunkter på författarnas metod och slutsatser.

Jag har inga speciella åsikter om forskarnas resultat men vill samtidigt lyfta några kritiska kommentarer gällande hur långt man kan dra statistiska data och hur man med en suggestiv benämning konstruerar fangtasieggande tolkningar. Författarna använder distinktionen ’disruptive research’ som står i kontrast ’developmental, eller mer kumulativt betonad forskning. Vem vill inte vara omvälvande? Mönstret går igen från Kuhns vetenskapsteori, han talar om revolutionerande gentemot pusselläggande forskning.

Den här artikeln är uttryck för en ny form av bibliometrisk studier som för enkelhets skull kan gå under beteckningen Science of Science efter en av sina utmärkande artiklar av Santo Fortunato et al, eller komplexa system, som använder numeriska modeller med enorma dataset för att identifiera statistiskt hållbara lagbundenheter om de fenomen de studerar. I den här studien: 24 miljoner artiklar och 38 miljoner forskare och deras publikationer under mer än ett halvt decennium. Det är å ena sidan bibliometrikerns våta dröm, men å andra sidan skulle jag vilja påstå att det finns risk att alla data döljer minst lika mycket som de plockar fram.

För lika mycket som lagbundenheter och statistiska samband kan beskrivas i termer av centralmått och korrelation mellan variabler, lika lite kan de säga om det faktiska innehållet i forskningen och vad det faktiskt är som gör att viss forskning får stort genomslag.

Själva måttet i sig är ganska intressant, att det går att skilja mellan artiklar som blir refererade av en litteratur som delar ursprungsartikelns referenser och artiklar för vilka de refererande artiklarna hänvisar till en helt annan litteratur, men frågan är exakt vad det visar.

I korthet kan man säga att vad som identifierats är ett slags gränsgångarnatur där en studie får stort genomslag i ett annat ämne än i vilket det är publicerat inom. Det är inte ovanligt när det gäller exempelvis metavetenskaplige discipliner som filosofi eller sociologi som får genomslag i exempelvis ekonomiområdet eller hälsoforskning. Jag har sett det i geografi, där GIS-teoretiska papers fått genomslag i epidemiologi eller entomologi(!) och därmed fått ett uppsving pga ett mycket större upptagningsområde i det refererande forskningsområdet.

Men problemet är att forskarna i mindre grad verkar kunna besvara varför det ser ut på ett visst sätt eller hur mekanismen för disruptiveness fungerar, istället att de med relativt stor säkerhet kan identifiera dessa mönster där de förekommer.

Som förklaring skulle man kunna resonera kring att ett stort team svårligen kan vara gränsgångare på det sätt som lyfts fram här, eftersom de av sin natur tenderar att vara mer mång- eller tvärvetenskaplig. Ett stort team av likasinnade monovetenskapliga forskare skulle antagligen vara redundant. Men något som jag alltså tycker att studien verkar sakna är förmågan att söka förstå den nya indikatorns funktion eller betydelse. Disruptiveness har ingen specifik definition utan blir en etikett på ett statistiskt samband som uppstår i modellen.

Så ja, det är ett intressant mått som är relativt distinkt och som kanske till och med kommer att införlivas i citeringsindexen tillsammans med råa citeringstal och aggregerade mått som h-index och Scopus nya ”prominence score”, men frågan är vad det kan säga om enskilda artiklar. När väl disruption har kunnat uppmätas har så lång tid gått att artikeln i sig antagligen redan har fått sitt genomslag i sitt eget fält eller slagit i ett annat fält.

En nyhetsartikel i Nature drar lite längre slutsatser än författarna själva. Dess slutsatser är intressanta, men jag är lite frågande till hur författaren menar att måttet på disruptiveness kan påverka utvärdering av forskning eller påverka finansieringsmekanismer annat än att säga att större storlek kanske inte har så stor betydelse, statistiskt sett. Men det är däremot intressant att artikeln visar att citeringsdata kan användas till mer än att bara mäta frekvens och att citeringsmönster snarare än deras frekvens kan vara användbara för att identifiera spännande fenomen.

Men 20, 40 eller 60 miljoner uppmätta datapunkter är inte imponerande annat än att det påvisar tillgång till mycket data och jag är övertygad om att man kan påvisa samma typ av mönster med ett dataset som är tre ordningar mindre (10.000-100.000 datapunkter). Men för en tidskrift som Nature är nog ”miljoner” ett måste.

Sammantaget, det har gått åt en enorm mängd data för att visa att stora och små forskargrupper statistiskt sett har skilda former av impact, men att det inte går att identifiera vilken typ av impact en specifik forskargrupp kommer att få. För som det anges i artikeln: Mindre forskargrupper tenderar att vara få genomslag längre fram i tiden – om de över huvud taget får något genomslag.

H-index: ’aitch’* eller ’age’?

Det är knappast möjligt att påstå att 80 citeringar står i ”viss kontrast” till ett H-index på 11 som Olsson gör på ARW:s blogg den 27 april. Det står nämligen i fullständig kontrast, eftersom det är matematiskt omöjligt att mäta H till 11 med 80 citeringar över huvud taget. Det minsta antalet citeringar som måste finnas är 121 (11 artiklar à 11 citeringar), men eftersom fördelningen av citeringstal är extremt snedfördelade så behöver en forskare i praktiken ha långt många fler artiklar och till dem erhållna citeringar indexerade för att nå upp till värdet. Det är anmärkningsvärt att felet inte uppdagades när (A.) den första bloggtexten skrevs, (B.) inte kommenterades av ARW när jag tog upp saken på Högskoleläckan och (C.) att den fortfarande får stå okommenterad när det uppenbarligen är en felaktig uppgift, oaktat att det är en sakkunnig som lämnat den.

Men är då den presenterade skillnaden i H mellan den med högst och lägst värde väsentlig? Det kan den förstås vara, men skillnader i citeringstal på individnivå är extremt vanskligt att mäta med sådana enkla indikatorer och bör användas med stor försiktighet. Användningen av H-index som indikator på individnivå är sedan det introducerades av Hirsch 2005 starkt ifrågasatt av bibliometrisk expertis, som de flesta känner till. Det räcker inte att vara i samma ämnesområde, utan forskare som jämförs måste också ha extremt lika forskartrajectories för att det på någon mån skall vara meningsfullt att använda måttet. H-index kan oftast utläsas som Age-Index med nästan samma uttal. En forskare med fler forskarår har både åtnjutit fler år för publicering och därtill hunnit refereras av andra forskare under längre tid.

Om man därför uppfinner en hemmasnickrad ”citizen bibliometrisk” indijator och dividerar H med antalet år sedan disputation (en inte alldeles ovanlig (och omdiskuterad) praktik vid sakkunnigutlåtanden som min kollega Björn Hammarfelt har visat i samarbete med Alex Rushford (2017)), så får vi följande mer jämna jämförelsetal för de båda sökande som diskuteras:

Sökande 1 H=11 År=13 Års-H=0,85
Sökande 2 H=34 År=29 Års-H=1,17

Därmed inte sagt att års-H är en bra indikator, men den kontrollerar åtminstone för tid. Flera andra mått har utvecklats för att råda bot på tidsproblemet liksom en rad andra svagheter med beräkningen, vilket Wikipediaartikeln om H-index tar upp på ett ganska bra sätt.

Referens
Björn Hammarfelt, Alexander D. Rushforth; Indicators as judgment devices: An empirical study of citizen bibliometrics in research evaluation, Research Evaluation, Volume 26, Issue 3, 1 July 2017, Pages 169–180, https://doi.org/10.1093/reseval/rvx018

* Uttalet av bokstaven H enligt engelska Wikipedia

(Uppdaterad med förtydliganden)

Forskningspropositionen öppnar för fler frågor om prestationsbaserad resurstilldelning

Så var det klart: Ingen omfördelning baserad på prestation (publicering och citering) för 2017 men däremot avisering om ett införande (när?) av en modell för samhällsimpact som VINNOVA tagit fram. Sedan en ny utredning som skall ta fram en modell för resurstilldelning som skall presenteras i budgetpropositionen 2018.

Cat picture borrowed from https://twitter.com/AcademiaObscura

Den aviserade ökningen av miniminivån från 8k till 12k (SEK) per student som i DN-debattartikeln endast angavs gälla högskolorna var förstås en otydlig formulering och innebär även en generell ökning även för universiteten. Synd, för annars hade det kunnat leda till att det faktiskt blev en reell ”utsmetning” av anslagen som de stora jättarna ofta beklagat sig så över, men som knappast skett i praktiken. Under 2009-2016 har endast 10 % av anslagen tilldelats till högskolorna och de nya universiteten (s.56).

Det hela är lite förvirrande, särskilt som det innebär att ryckigheten i hur resursfördelningen skall gå till fortsätter. Till exempel förklaras förra årets modell där alla lärosäten fick minst 5 miljoner, oavsett hur de presterade i kvalitetssnurran med att det skett vid flera tillfällen och att det hade som syfte att fler lärosäten skulle få ”möjligheter att utveckla sin forskning och utbildning på forskarnivå” (s.57). Men var det inte konstigt att Stockholms universitet var en sådan vinnare i den omfördelningen då de tilldelades över 22Mkr för att täcka upp för brister i fördelningsmodellen?

Så trots att regeringen fortsatt ställer sig bakom en prestationsbaserad tilldelningsmodell, så väljer den alltså att justera den med egna kriterier (eller för nästa år ingen omfördelning alls!) vilket innebär att det i praktiken är väldigt svårt för lärosätena att relatera till dess väntade utfall.

Hela propositionen finns tillgänglig här: http://www.regeringen.se/rattsdokument/proposition/2016/11/prop.-20161750/

Det finns massor av andra intressanta aspekter gällande öppen tillgång till data och SwePub, men det får vänta tills jag är tillbaks från veckans begivenhet, workshopen: Accelerated Academy i Leiden. Mitt bidrag heter The performativity of the citation (länk till ppt och abstract kommer efter presentationen).

Självreferenser: missbruk av självcitering eller erkänd praktik att göra forskningsresultat kända

© Gustaf Nelhans 2012

Jag har gett mig in i en debatt om självrefererandets vara och inte vara, som förts på ett antal platser på internet. Då den skett på många ställen och ibland under refuserade former eller i direkt konversation med andra debattörer och kommentatorer, erbjuder jag mina inlägg, samt referat och länkar till andra författares bidrag i denna bloggpost.

Först skrev Phil Davis ett inlägg på bloggen Scholarly Kitchen i februari betitlat ”When Journal Editors Coerce Authors to Self-Cite”: http://scholarlykitchen.sspnet.org/2012/02/02/when-journal-editors-coerce-authors-to-self-cite/ där han diskuterade data från en studie där forskare hade tillfrågats om hur de såg på tidskriftsredaktörers näst intill praxisförfarande att föreslå eller till och med byta ut referenser i inskickade manuskript till referenser i den egna tidskriften. I kommentarsfältet framkom åsikter att detta var en ohederlig verksamhet, men också, från en redaktör kommentaren att det kanske finns ohederliga tidskrifter, men inte i ”våra tidskrifter”, författat av en redaktör för ett mellanstort förlag som utpekats i studien.

Kommentarerna innehöll alltså dels åsikten att det främst fanns anekdotiska indicier på att redaktörer tvingade författare att ta med självreferenser till tidskriften i sina manuskript och dels, att om det händer, så händer det åtminstone någon annan stans.

Då jag hade uppgifter som faktiskt motsade dessa båda ståndpunkter, publicerade jag följande kommentar:

”This is more than anecdotal! I have found an example were an editor-in-chief of an ISI-indexed journal in “health sciences” urges reviewers to make sure submitted manuscripts include self references to the same journal. In the instructions for reviewers, there is a numbered list describing requirements about the length of the manuscript, number of words in the title (a maximum of 12), number of keywords (max 10), and a comment that the keywords should reflect the words in the title and appear in the abstract. But what stands out in the list was the following passage:

“5. Manuscript should refer to at least one article published in ‘*** Journal of *** Sciences’ [the title of the same journal]”

One could assume that this is expected to be a reference to an article that has some bearing on the manuscript at hand, but it is not stated. On this issue, it seems like the question of self citations has been around for a long while and to me, the biggest concern seems to be how to distinguish whether a specific instance of journal self citation is a valid one or not. The question “What is appropriate self referencing” is not as clear cut as it could seem. Given that there could be a variety of reasons for citing a specific reference, it could very well be a grey zone here, where no clear answers could be given.

Nelhans, G, 2012-02-03 kommentar till bloggposten http://scholarlykitchen.sspnet.org/2012/02/02/when-journal-editors-coerce-authors-to-self-cite/

Till svar fick jag en fråga av Professor Barbara Fister (ibid.) varför jag hade valt att anonymisera tidskriften samt chefredaktörens namn då det ju ledde till att det både var omöjligt att kontrollera mina uppgifter och att sätta press på tidskriften att sluta med denna praktik.

När jag i min tur besvarade henne bredde jag ut texten om att jag var av uppfattningen att krav på självcitering inte alls var någon ovanlig praktik och att jag därför inte ansåg att det var viktigt att utsätta just denna tidskrift för press, då den knappast var ensam om sitt förfarande. Tyvrr refuserades detta inlägg av Scholarly Kitchens redaktörer, varför Fisters kommentar fick stå obemött. Dock svarade jag i ett e-postmeddelande som jag delger här:

“Thanks for your response, the reason is that I see no reason naming “one bad apple” not recognizing that this is part of what seems to be a larger issue in the “impact turn” within scholarly authorship judging by the study referred to above. One could argue that this is a pretty predictable response from researchers/editors/publishers wanting to maximize their impact (if stating it in common science policy terms) or maximizing the reach of the contribution to your peers (taking into account that most readers will have back issues of the same journal readily available while a reference to an obscure journal that is not electronically available (worst case scenario) will be harder to get by to). I think it is better to discuss this issue at a general level and my contribution was thought of as a specific example of how it could look that might interest someone.”

Nelhans, G, E-mail till Barbara Fister, 2012-02-04

I april togs frågan om självciteringar upp på bordet av Scholarly Kitchen igen: I bloggposten ”Emergence of a Citation Cartel”: http://scholarlykitchen.sspnet.org/2012/04/10/emergence-of-a-citation-cartel/ återgav Phil Davis hur han hade identifierat en tidskrift som på fyra år hade dubblerat sitt värde på Journal Impact Factor från ca 3 till 6 under väldigt speciella omständigheter. Det visade sig nämligen att två andra tidskrifter inom det medicinska området stod för en extremt hög andel av referenserna till den första. I ett fall rörde det sig om en artikel med 450 referenser till den specifika tidskriften, för vilken författarna till artikeln dessutom var chefredaktör, respektive medlemmar av den misstänkt olämpligt uppträdande tidskriftens vetenskapliga redaktionsråd. Således fanns det nu inte bara fakta som kunde bevisa att redaktörer faktiskt tvingade författare att referera den egna tidskriften, utan till och med fall där redaktörerna själva, var involverade i vad som brukar benämnas ”gaming the impact factor”!

I kommentarsfältet framstod åter igen kommentarer om att detta var ”outrageous”, tacksamhet över att detta fall hade blivit ”hunted down”, ”amazing” och andra kraftfulla uttryck. Men det framkommer också kommentarer från företrädare för Thomson Reuters som beskriver hur företaget utvecklar metoder att automatiskt identifiera denna typ av beteende, på såväl tidskriftsnivå gällande självciteringar eller kartellbeteenden.

(Senare har även en intressant diskussion utspelat sig där företrädare för en av de tidskrifter som stod för ett stort antal av de misstänkt olämpligt fabricerade referenserna har försökt bemöta kritiken efter att deras tidskrift avförts från Thomson Reuters Journal Citation Reports. Se även tidskriften  Medical Science Monitor i förteckning på följande länk: http://admin-apps.webofknowledge.com/JCR/static_html/notices/notices.htm.)

När denna bloggpost annonserades på e-postlistan SIGMETRICS-List, som är en ”Virtual Special Interest Group” of the American Society for Information Science and Technology kom den att diskuteras av Open Access Evangelisten Stevan Harnad i ett inlägg betitlat Online Academic Abuses and the Power of Openness: Naming & Shaming: http://listserv.utk.edu/cgi-bin/wa?A2=sigmetrics;aepqBA;20120410072602-0400

© Gustaf Nelhans 2012

Åter igen var diskussionen om att namnge och ställa syndare i skampålen i full gång, vilket kan utläsas i texten på länken ovan, men också att Open Access skulle vara lösningen på problemet. Om bara all publicerad forskning var tillänglig fritt för var och envar, skulle man kunna utveckla metoder att identifiera denna form av missbruk, men också att OA skulle vara ett medel för att exponera och straffa dem som utfört dem, var hans huvudsakliga argument.

Till detta anförde jag följande kommentar som postades till SIGMETRICS-List http://listserv.utk.edu/cgi-bin/wa?A2=sigmetrics;U8f76g;20120410144317%2B0000:

Dear Professor Harnad,

    I believe that it is not always easy to identify the motives behind specific instances of self references (although in the case at hand, the number of mutual citations identified seem to speak for themselves…). The practice of self citation is (as you acknowledge) not in itself a bad thing, but the problem is how to distinguish its legitimate use from its abuse. This is equally valid on the individual level as in editor-suggested references. I would like to draw into attention an exchange about these matters from 1997, where Eugene Garfield stated:

“Recognising the reality of the Matthew effect, I believe that an editor is justified in reminding authors to cite equivalent references from the same journal, if only because readers of that journal presumably have ready access to it. To call this “manipulation” seems excessive unless the references chosen are irrelevant or mere window dressing.” (Garfield, Eugene. 1997. Editors are justified in asking authors to cite equivalent references from same journal. BMJ 314 (7096):1765. http://www.bmj.com/content/314/7096/1765.2.short )

My question is if there could exist any method of identifying “bad apples” that does not account for the specific context in the article in which the reference is placed. In my understanding of the problem, the proposed way of using statistical methods for identifying baselines for self citations in various fields could be one important step, but I wonder if it would suffice to make the identification process complete?

Best regards,

Gustaf Nelhans

University of Gothenburg, University of Borås,

Sweden

Nelhans, G: E-mail till SIGMETRICS-List, 2012-04-10 http://listserv.utk.edu/cgi-bin/wa?A2=sigmetrics;U8f76g;20120410144317%2B0000

Av någon anledning valde Harnad att inte svara mig (med största sannolikhet missade han mitt inlägg) men nu, mitt i sommaren, när jag själv för första gången på flera veckor tog en titt i min e-postlistemapp innehållande över 1900 meddelanden, uppträdde plötsligt ett svar från Stevan Harnad. Re: Online Academic Abuses and the Power of Openness: Naming & Shaming: http://listserv.utk.edu/cgi-bin/wa?A2=sigmetrics;%2BOgAwQ;20120731100248-0400 Och så var diskussionen igång igen, nära fyra månader efter att jag skrivit min kommentar. Tydligen hade han blivit uppmärksammad på den nu och bestämt sig för att svara. I svaret, som till punkt och pricka följer på mina frågor och ståndpunkter erbjuder Harnad en intressant utblick över framtida möjligheter att med text analytiska, matematiska och statistiska metoder identifiera kandidater för missbruk som sedan kan analyseras manuellt genom mänsklig evaluering. Inte desto mindre fann jag följande uppsummering av Harnads ståndpunkt intressant:

Global OA not only provides the open database, but it provides the (continuous) open means of flagging anomalies in the population pattern, checking them, and naming and shaming the cases where there really has been willful misuse or abuse.

It’s yet another potential application for crowd-sourcing.

Harnad, E-mail till SIGMETRICS-List, 2012-07-31: http://listserv.utk.edu/cgi-bin/wa?A2=sigmetrics;%2BOgAwQ;20120731100248-0400

Roligt också att Eugene Garfield såg Harnads svar och (oturligt nog) felaktigt korrigerade honom för att ha gett en mindre lämplig länk till en kommentar som Garfield själv hade gett femton år tidigare och som jag hade använt som argument för att hävda att tidskriftsredaktörers förslag om referenser från den egna tidskriften inte per automatik måste betraktas som ett missbruk. Garfields uppfattning 2012 är därför intressant att referera här:

Unfortunately my comments have been distorted in some cases to justify deplorable excesses in the use of references to the same journal when I emphasized that such references should be relevant and not mere window dressing– a blatant attempt to increase the impact factor of the journal in question.

Garfield, E-mail till SIGMETRICS-List, 2012-07-31: http://listserv.utk.edu/cgi-bin/wa?A2=sigmetrics;S8L%2FlA;20120731214459%2B0000

Min slutkommentar, som jag valde att inte skicka till e-postlistan utan direkt till Harnad och Garfield innehöll följande text:

Dear Professors Garfield and Harnad, thank you both for commenting, (I decided to take my response off the Sigmetrics list so that it doesn’t get spammed with comments).

It was I who posted the link to the article back in April not checking if it was available outside the university networks. Thanks for sharing a more accessible way to get to it.

Its usage was simply to argue that individual self citations, as well as editor’s proposals of articles to cite within the same journal should not necessarily be seen as a bad thing per se. Instead, I argued that one would need to analyze the context (within the text) of the cited reference made to be able to judge its status, if indeed such a black-or-white scenario for judging self citations exists…

The question implied, to which Professor Harnad gave many interesting and valuable insights, was therefore if it would be possible to do this based on computations and statistics or if it would require skillful manual labor to make such evaluations. Maybe a combination is the best that could possibly be attained?

Gustaf Nelhans: E-mail till Eugene Garfield och Stevan Harnad,  2012-08-01.

Om detta är sista ordet eller om diskussionen kommer att fortsätta är oklart, men jag kommer att hålla bloggen uppdaterad.

Bibliometrics at the crossroads- Follow up

There has been some buzz after the Chalmers Library / University of Borås co-hosted event “Bibliometrics at the cross roads”.

 

First, a couple of blogs have mentioned the event: Bibliometrics at the Crossroads at the Chalmers Library Biblogg and Bibliometri i vår och höst from the Masters program Digitala tjänster – kultur, information & kommunikation at University of Borås.

There is also a Flickr stream with photos from the event Bibliometrics at the Crossroads from the Chalmers Library’s photostream:

 

 

The Twitter hash tag #bibcross was also very active a couple of days around the event!

Mer om utredningen om forskningsmedelstilldelning till lärosätena

Fortfarande finns mycket lite information om den rapport som var resultatet av den utvärdering som Anders Flodström arbetat med under det senaste året. I ett nummer av Universitetsläraren (18/2011) intervjuas dock Flodström, som meddelar att han avråder från den av Regeringen efterfrågade modellen att utnyttja peer review för fördelning av medel till lärosätena. Istället förordas att Kungliga Biblioteketes SwePub-databas utgöra grunden för ett system som skall kompletteras med ett system av “Impact Factor”. Hur exakt detta skall se ut framgår inte av svaren och vi får vänta på att rapporten publiceras för att ta del av de uppgifterna, men det lutar åt att de hittills utnyttjade systemet med fältnormerade publikations- och citeringsmått byts mot ett system som gissningsvis baseras på tidskrifters “Journal Impact Factor”. Flodström är noga med att framhålla att en bibliometrisk udd är nödvändig:

“– Till en sådan databas måste man också tillföra en ”impact factor”, (mängden citeringar) och där föreslår jag att Vetenskapsrådet ska stå för den informationen.” (Flodström i Universitetsläraren 18/2011)

Men “citeringar” eller “impact factor”, det är frågan…

Med anledning av Times Higher Education’s list of the world’s top universities for 2011-2012.

Times Higher Education’s list of the world’s top universities for 2011-2012.

Times Higher Education (THE) har levererat sin årliga ranking över världens lärosäten.  Den globala listan är inte så förvånande: toppuniversitet i USA och Storbritannien slåss om topp 10 och några få universitet utanför den anglofona världen finns med bland de femtio främsta i världen. Karolinska institutet når en hedrande 32:a plats (upp från plats 43 i förra årets ranking, men annars är det glest med Svenska lärosäten fram till plats 80 (Lunds universitet) och 87 Uppsala universitet. Mitt eget universitet, GU hamnar i intervallet 201-225, tillsammans med lärosäten som Colorado School of Mines (USA), Nagoya university (JP) och Universität Ulm (De).

Men det finns mycket att säga om sådana rankingmodeller och jag vill särskilt rikta blicken mot de bibliometriska mått som används, eftersom dessa ingår i mina intresseområden. Vad som är viktigt att notera är i vilken grad olika rankingmodeller ger fundamentala skillnader i utkomst. Ta t ex THE:s citeringsmått jämfört med VR:s medelciteringsmått för lärosätena. Båda är normerade utifrån varje artikels ämnesområdes förväntade citeringsgrad men skiljer sig åt i flera avseenden.

Nedanstående tabell jämför de tio svenska lärosäten som THE rankat baserat på kategorin citeringar i denna lista med måttet på fältnormerad medelcitering för samma lärosäte baserat på VR:s (egentligen Högskoleverkets) modell.

 

VR medel-citering* THE Citations THE Rank** THE citrank VR rank THE rank (sv)***
Stockholms universitet 1,32 90,2 131 1 1 4
Karolinska institutet 1,25 73,1 32 2 2 1
Lunds universitet 1,15 72,8 80 3 4 2
Umeå universitet 1,08 59,4 225 4 9 7
Göteborgs universitet 1,11 55,7 225 5 5 6
Uppsala universitet 1,1 53,3 87 6 8 3
Sveriges lantbruksuniv. 1,25 49,8 250 7 3 9
Linköpings universitet 1,06 42,8 350 8 10 10
Chalmers tekniska högskola 1,11 36,3 250 9 6 8
Kungliga tekniska högskolan 1,11 34,1 187 10 7 5
__
*VR:s fältnormerad citeringsgrad
** THE-rank i den globala listan
*** Rankordning bland svenska universitet i THE.

1:an och 2:an är ioch för sig samma: SU följt av KI och THE har Lund och Umeå som trea resp fyra med GU som nr 5. Baserat på VR:s mått på fältnormerad medelciteringsgrad rankas däremot Sveriges Lantbruksuniversitet som 3:a (7:a i THE) och Lund som 4:a och GU åter som 5:a. Den nedre halvan bjuder på fler skilnader mellan utfallen av beräkningsmåtten som kan utläsas ur tabellen ovan.

Summa summarum: Trots samma datamaterial (ISI Web of Science) och likartade citeringsmått (fältnormerade citeringar) skiljer sig rankingen mellan olika lärosäten åt på ett betydande vis mellan olika rankingar baserade på likartade sätt att beräkna mått. Den vetenskapsteoretiska tolkningen lutar åt att detta tyder på att bibliometri som måttstock på vetenskaplig prestation fortfarande är underutvecklad och att mått att beräkna prestationsindikatorer ännu inte stabiliserat sig utan att det finns ett stort utvecklingsarbete kvar.

Källor:

Times Higher Education’s list of the world’s top universities for 2011-2012.

Vetenskapsrådet: Svar på fördelningsunderlag 2011