Forskningspropositionen öppnar för fler frågor om prestationsbaserad resurstilldelning

Så var det klart: Ingen omfördelning baserad på prestation (publicering och citering) för 2017 men däremot avisering om ett införande (när?) av en modell för samhällsimpact som VINNOVA tagit fram. Sedan en ny utredning som skall ta fram en modell för resurstilldelning som skall presenteras i budgetpropositionen 2018.

Cat picture borrowed from https://twitter.com/AcademiaObscura

Den aviserade ökningen av miniminivån från 8k till 12k (SEK) per student som i DN-debattartikeln endast angavs gälla högskolorna var förstås en otydlig formulering och innebär även en generell ökning även för universiteten. Synd, för annars hade det kunnat leda till att det faktiskt blev en reell ”utsmetning” av anslagen som de stora jättarna ofta beklagat sig så över, men som knappast skett i praktiken. Under 2009-2016 har endast 10 % av anslagen tilldelats till högskolorna och de nya universiteten (s.56).

Det hela är lite förvirrande, särskilt som det innebär att ryckigheten i hur resursfördelningen skall gå till fortsätter. Till exempel förklaras förra årets modell där alla lärosäten fick minst 5 miljoner, oavsett hur de presterade i kvalitetssnurran med att det skett vid flera tillfällen och att det hade som syfte att fler lärosäten skulle få ”möjligheter att utveckla sin forskning och utbildning på forskarnivå” (s.57). Men var det inte konstigt att Stockholms universitet var en sådan vinnare i den omfördelningen då de tilldelades över 22Mkr för att täcka upp för brister i fördelningsmodellen?

Så trots att regeringen fortsatt ställer sig bakom en prestationsbaserad tilldelningsmodell, så väljer den alltså att justera den med egna kriterier (eller för nästa år ingen omfördelning alls!) vilket innebär att det i praktiken är väldigt svårt för lärosätena att relatera till dess väntade utfall.

Hela propositionen finns tillgänglig här: http://www.regeringen.se/rattsdokument/proposition/2016/11/prop.-20161750/

Det finns massor av andra intressanta aspekter gällande öppen tillgång till data och SwePub, men det får vänta tills jag är tillbaks från veckans begivenhet, workshopen: Accelerated Academy i Leiden. Mitt bidrag heter The performativity of the citation (länk till ppt och abstract kommer efter presentationen).

Teknologi är blott politik med andra medel

Övergripande evalueringar av det svenska forskningspolitiska systemet saknas nästan helt. Detta är lite förvånande, med tanke på alla inspel till regeringens kommande forskningsproposition som just nu duggar tätt. Några tidningar reproducerar idag en TT-nyhet (1, 2, 3) om en aktuell OECD-rapport som i brist på källhänvisning eller ens avgivande av titeln på rapporten kunde ha gått mig förbi (Insert: Rapporten är en uppföljning av en tidigare utförd evaluering från 2012 (1)). På högskoleläckan gavs dock en länk till ett Vinnovaseminarium Cameldär rapporten hade diskuterats idag. Jag har endast hunnit skumma rapporten, och förutom att den verkar vederhäftig och faktaspäckad i sin analys (trots att den helt saknar referenser till empiriska källdata eller till och med referenser!) så ger den flera ganska kritiska kommentarer till svensk forskningspolitik av idag. I TT-nyheten framställs kritiken vara riktad mot den tidigare Alliansregeringen och även om pekpinnar riktas i den riktningen, så står det klart att även det akademiska ledarskapet vid de svenska lärosätena förtjänar granskning.

Det är notabelt att rapporten genomgående lyfter fram Vinnovas roll i den svenska forskningspolitiken: De skall ansvara för att samhälleliga utmaningar möts, de prisas för sina satsningar på EU-initiativ och att VINNOVA skulle kunna erbjuda ett korrelat mot dominansen av akademiker bland forskningsrådens ledamöter[!] (s 22)

Till rapportens mer specifika bidrag vill jag lyfta följande:

Resonemanget om kraven på ökade basanslag, som nästan enhälligt lyfts av akademin idag är särskilt viktigt att skärskåda och reflektera över:

“While Swedish universities have for some decades made it clear that they want to receive a higher proportion of their research income in the form of institutional funding or GUF*, evidence from international experience or statistics does not show any clear way to connect the proportion of university income from this source with overall performance” (s 13),

och lite längre ner verkar rapporten snarare lägga ansvaret på lärosätenas ledningar:

“it appears that Sweden’s “good but not sufficiently excellent” scientific performance points to a failure by university management to be selective combined with sub-optimal mechanisms affecting the allocation of funds (whether from TPF with its medium-sized instruments or from the way the universities allocate GUF Internally).” (ibid.)

Kan det månne vara att de flesta lärosätena har försökt kopiera den nationella resurstilldelningsprincipen (bibliometri och externa anslag) ner på fakultets-, institutions- eller till och med individnivå? Detta utan evidens att sådana modeller fungerar på dessa lägre nivåer. Ytterligare en aspekt är att lärosätenas ledningar riskerar att frånsäga sig möjligheten till strategiska satsningar när de bakbinds av de mekanistiska systemen?

Så här skriver jag och Pieta Eklund i ett längre utdrag ur vår rapport om resurstilldelningsmodeller vid svenska lärosäten:

“(L)ärosätenas ledningar riskerar att förlora möjligheten att bedriva ett aktivt kvalitetsgrundande arbete när till synes neutrala och förment sakliga data tillåts utöva direkt avräkning mot forskarnas prestationer i en resursfördelningsmodell. För att utveckla detta resonemang vill vi argumentera för att en tilltro till en alltför standardiserad, och en för vetenskapen generellt utvecklad bibliometrisk indikatormodell riskerar att bli en hämsko för den ledning som aktivt vill styra forskningen mot att utveckla egna profilområden och satsningar på vad som vid lärosätet uppfattas som starka miljöer. Det är exempelvis tveksamt om en indikatormodell som endast ger incitament att publicera i specifika kanaler kan gynna forskningens kvalitet annat än att stärka lärosätets prestation i den nationella tilldelningen. En sådan instrumentell syn på det vetenskapliga publicerandet är problematisk av flera skäl. Förutom att det helt missar publicerandets aktiva roll i den vetenskapliga praktiken som en integrerad del av vad det innebär ”att forska”, riskerar man att förlora initiativet att leda den egna verksamheten. När man sätter sin tillit till externa processer eller till och med de automatiserade verktyg som indikatormodellerna erbjuder så tvingas man att underställa sig detta verktygs agens och betrakta detta som styrande för de egna kvalitetsgranskningssystemen. Slutligen är detta kortsiktigt, då såväl indexets tekniska funktion som politikens inriktning och nationella modell är i ständig omvandling. Vad som gynnar lärosätet och dess forskare vid en tidpunkt kan mycket väl vara negligerbart, eller i värsta fall verka negativt i den ekonomiska fördelningen fyra till fem år senare när utfallet av prestationer mäts och värderas.” (Nelhans och Eklund, 2015, s 51-52)

En mycket glädjande uppmaning är att OECD-rapporten föreslår att Sverige skall satsa mer på foresight och andra övningar för att bättre identifiera strategiska områden värda att satsa på. Mindre glädjande är avsaknaden av humaniora och samhällsvetenskaperna med sin kritiska förmåga att granska och ställa den implicita teknikdeterminismen i “innovationssystem” i strålkastarljuset. Det behövs mer än tekniskt “know-how” för att nå framgång i forskning och innovation; det krävs reflexiv förmåga att relatera kortsiktiga lösningar till långsiktiga samhälleliga och ekologiska problem. Informationsteknologins snabba utveckling reser många frågor om övervakning och kontroll. Och att mänsklig integritet kommer i skymundan är mer regel än undantag. För vem kan förvägra reglering eller underrättelsetjänsters möjlighet att lyssna av krypterade elektroniska nätverk som Skype, WhatsApp och Kik, när det avslöjas att terroristerna bakom de avskyvärda attackerna i Paris verkar ha begagnat sig av dessa kommunikationsmedel för att undvika att bli upptäckta? Teknologi är blott politik med andra medel.

Referenser:

Nelhans, G. & Eklund, P. (2015). Resursfördelningsmodeller på bibliometrisk grund vid ett urval svenska lärosäten. Vetenskap för profession Nr. 30, ISSN 1654-6520. Borås: Högskolan i Borås (1).

OECD Reviews of Innovation Policy: Sweden 2015. Overall Assessment and Recommendations Preliminary Version (1).

* Här är en kort förkortningsordlista: TPF: Third Party Funding = externa anslag; GUF: General University Funds = basanslag, om jag förstår rapporten rätt.

Goofing around med JIF och brain scanning

Idag blev jag uppmärksammad av en kollega om en ny studie, publicerad i PloS ONE, som utges för att beskriva sambandet mellan uppfattad prestige i vetenskapliga journaler och belöningscentra i forskares hjärnor.

Goofy olympics - javelin throw

(CC Tom Simpson: https://www.flickr.com/photos/randar/)

Nu står det klart att Journal Impact Factor står i direkt kontakt med centra för belöningsförväntan i forskarhes hjärnor. Betyder det att ‘homo academicus bibliometrica’ som art äntligen har uppkommit?

http://journals.plos.org/plosone/article?id=10.1371%2Fjournal.pone.0142537

Att bibliometri fungerar som ett incitament på forskares publicerings- och refereringspraktiker är något som jag länge hävdat, men mer anekdotiskt och även om det börjat komma en del studier som påvisar samband, så finns det fortfarande många ser förändrade och likriktade traditioner som något oproblematiskt och/eller som ett steg mot en mer vetenskaplig forskarpraktik, eftersom det implicerar att forskare publicerar sig i sakkunniggranskade publiceringkanaler. I ett sådant ljus framhåller forskarna (som arbetar vid det Socialneurovetenskapliga labbet(!) vid instituionen för psykiatri och psykoterapi vid Lübecks universitet) följande:

”Thus, the JIF as a novel and powerful paradigm in academia has already shaped the neural architecture of reward processing in science.”

Säkert, men här påstås vi få vi en sällsynt inblick i hur processen ser ut ner på neuronnivå. Reduktionism in absurdum, skulle man kunna säga. Här är ett axplock av reonemang som forskarna framhåller som analys av de erhållna resultaten:

“Incorporation of the JIF into the reward system thus seems to be related to goal-directed behavior during the publication process. However, we are unable to decide whether publication in higher-impact journals is the cause or consequence of the reward signal in the NAcc.”

”On the one hand, it is possible that past experiences with publication in higher-impact journals shaped the sensitivity of the reward circuits to this measure. On the other hand, it might be the case that greater reward signaling of the NAcc, as a motivational force, led to more effort and persistence in order to achieve a higher JIF for one’s findings.”

”The results of this study show how scientists have adapted to the predominant reward structure in the environment and have incorporated the currently prevailing paradigm of the scientific community to ’publish [in high-impact journals] or perish’ in order to guider behavior.”

Det är klart att det är ett skämt, men det finns en allvarlig underton, inte minst i min tillspetsade tolkning att forskarhjärnor faktiskt har utvecklats evolutionsmässigt till att triggas av skillnader i JIF. Men man skall samtidigt beakta att studien är publicerad i PloS ONE och att den uppenbarligen håller för deras publiceringsstandarder. Så även om det är ett skämt, så kan man fundera över relevansen och vad som faktiskt är avsikten. Är det ett försök till en variant av Sokals uttjatade ”hoax’? I så fall undrar jag vem man vill dra ner byxorna på. Skämtet fastnar ju lite i vrångstrupen när man beaktar att studien skall vara utförd vid ett tyskt labb och att forskarna tydligen har scannat sina försökspersoner i en avancerad MRI-apparat i tiomiljonersklassen. De har sedan gjort sig omaket att skriva ihop artikeln med uppenbara jönserier:

”One participant was excluded from further analyses due to excessive sleepiness during the whole task. Notably, this was the only neuroscientist with a permanent position”

…och så vidare.

Sedan har de betalat PloS $1,495 USD för att få publicera den.

Ärligt talat, är inte skämtet på deras egen bekostnad (i dubbel bemärkelse)?

 

 

Peer Review!

I dag kl 14:30 kommer Björklund presentera den nya forskningsproppen och varken “prestationsbaserad” bibliometri via citeringsanalys eller en variant av den norska “resultatbaserade” modellen verkar finnas med som huvudsaklig modell för det konkurensutsatta anslaget. Även anslag baserade på erhållna medel verkar försvinna ur modellen. I stället kommer en fördubblad andel (20% av anslagen) fördelas baserat på en peer reviewbaserad modell som Vetenskapsrådet kommer att få i uppdrag att ta fram. Den nya modellen anges vara baserad på “kvalitetskriterier”.

En livesändning kommer att finnas på regeringens hemsida och förhandsmaterialet kom i morse i form av en debattartikel i DN.

Således verkar regeringen ha gått på VR:s modell som de presenterade i sitt remissvar till Anders Flodströms utredning från i vintras. En indikation på att så skulle bli fallet kom redan i budgeten där Flodström utredning inte ens nämndes vid namn.

 

Det var en intressant utveckling.

 

Uppdatering to em:

Men det är viktigt att notera att detta handlar om fem år fram i tiden. Den nuvarande modellen ligger kvar åtminstone fram till ingången av 2018:

En utgångspunkt för kollegial bedömning bör vara att all forskning regelbundet utvärderas med områdesvisa utvärderingar under en cykel som varar fyra till sex år. En fördelning av resurser utifrån sådan bedömning av forskningens kvalitet kan dock inte vara aktuell att införa förrän tidigast 2018.

http://www.regeringen.se/content/1/c6/20/13/68/ab3950ad.pdf s 63

DN debatt om forskningspolitik och citeringsräkning

Det har varit en ganska intressant forskningspolitisk debatt i DN där bland annat jag gått i svaromål mot ett inlägg av Bo Rothstein som hävdar att svensk humanistisk och samhällsvetenskaplig forskning är provinsiell, åtminstone vad gäller citeringstal i Google Scholar.

Det kan vara svårt att göra reda för debatten genom att endast söka efter den, varför jag gjort en liten översikt över debatten här:
Originalartikeln av Bo finns här:
http://www.dn.se/debatt/svensk-samhallsforskning-ar-alldeles-for-provinsiell (2012-08-15).

Replikerna företräds först av ett inlägg av Arne Jarrick på Vetenskapsrådet:
http://www.dn.se/debatt/ofta-citerad-forskning-ingen-garanti-for-kvalitet (2012-08-15).

Därefter publicerade såväl Björn Hammarfelt, nydisputerad vid institutionen för ABM i Uppsala som undertecknad var sin replik till Rothsteins utspel:

http://www.dn.se/debatt/forskning-ar-inget-100-meterslopp (Björns) (2012-08-16).

http://www.dn.se/debatt/citeringar-inget-matt-pa-kvalitet (mitt) (2012-08-16).

Sist kan man notera två redaktionella kommentarer, dels en från DN:s ledarredaktion som enligt mitt tycke är riktigt välbalanserad: http://www.dn.se/ledare/signerat/forskning-lite-provinsialism-skadar-inte (2012-08-16), samt en på GP:s ledarsida som i stort sett återger den förra:
http://www.gp.se/nyheter/ledare/1.1039746-hur-mater-vi-bra-forskning-?ref=fb (2012-08-19).

Nu har också Rothstein fått in sin slutreplik där han fört in en liten slutkläm om att historikerprofessorer i genomsnitt endast publicerar en artikel var 25 år och att där finns en forskningskultur där internationell publicering inte värderas alls:

http://www.dn.se/debatt/en-forskningskultur-dar-internationell-publicering-inte-alls-varderas (2012-08-20).

Inte nog med det, ett par dagar senare kommer i stort sett samma replik in i GP (2012-08-22), riktad mot den ovan nämnda ledaren i den tidningen, men inte på redaktionell plats utan under Fria Ord, en plats som vanligtvis tar in läsarnas inlägg.

Efterbörd

Debatten är därmed avslutad, men som den databasoholic jag är ville jag pröva dessa påståenden i en datakälla som uppenbarligen inte använts av Bo. Jag prövade vad jag skulle finna om jag sökte jag ut alla poster över refereegranskade tidskriftsartiklar som listats under HSV-klassificeringen “Historia” (notera att det inte nödvändigtvis innebär att författaren är historiker) i de svenska lärosätenas egna publikationsdatabaser. Av 518 artiklar var 304 (58,6 %) på engelska, 156 (30,1 %) på svenska och resten på 9 andra språk eller oklassificerade. Huruvida det är få eller många artiklar har inte undersökts men det motsvarar (till antalet) ganska väl siffran som erhålls vid motsvarande sökning på statsvetenskapliga refereegranskade tidskriftsartiklar (inkl offentlig förvaltning och globaliseringsstudier) (566 st), men här är andelen engelskspråkiga publikationer betydligt högre: 87 %. Siffrorna är inte representativa eftersom jag varken begränsat analysen till ett specifikt tidsintervall eller kontrollerat för antalet forskare i respektive ämne, eller ens till om alla artiklar faktiskt publicerats av företrädarna för respektive ämne.

Vad vill jag då visa med denna trubbiga redogörelse? Jo, att det plakatspråk som används för att helt desavouera ett godtyckligt ämnes trovärdighet främst tilltalar meningsfränder med redan förutfattade föreställningar om sakernas tillstånd (det räcker med att läsa kommentarerna på Rothsteins inlägg för att se vilka antiintellektuella krafter som uppbådas) döljer en mycket mer nyanserad empiri. Det är improduktivt för debatten och leder endast till kontroverser mellan företrädare för ämnen som hellre gräver ner sig i skyttegravar än att konstruktivt söka möten och kanske till och med samarbeten mellan ämnena. Historieämnet liksom andra humanistiska och samhällsvetenskapliga ämnen skulle säkert må bra av att öka sin internationella exponering, men det uppmuntras inte av denna typ av argumentation.

 

(redigerat 2012-08-23, språkliga korrigeringar)

Bibliometrics at the crossroads- Follow up

There has been some buzz after the Chalmers Library / University of Borås co-hosted event “Bibliometrics at the cross roads”.

 

First, a couple of blogs have mentioned the event: Bibliometrics at the Crossroads at the Chalmers Library Biblogg and Bibliometri i vår och höst from the Masters program Digitala tjänster – kultur, information & kommunikation at University of Borås.

There is also a Flickr stream with photos from the event Bibliometrics at the Crossroads from the Chalmers Library’s photostream:

 

 

The Twitter hash tag #bibcross was also very active a couple of days around the event!

Bibliometrics at the Crossroads seminar

Yesterday I gave a seminar at the Bibliometrics at the crossroads half day seminar hosted by Chalmers Library and Borås University (#bibcross). First keynote speaker was Blaise Cronin, who gave a marvelously imaginative talk about his visions on scholarly publishing and bibliometric analysis in what could be described as a post academic setting where collaboration does not necessarily mean professor – to professor work, but a shared authorship roles between people both within and outside academia. He especially noted the quick changes and the fast uptake of research today and the demands it creates for publishers.

 

My own humble contribution was called: Inscribed and circumscribed by citations – Indicators, impact and quality in the humanities and social sciences. If anyone wants to summarize it, I would be most grateful…

 

När nätet är lite för snabbt…

Insåg att jag nog hade gjort något galet när jag i stället för bekräftelse på anmälan som prenumerant av en amerikansk statlig listserv för Science Policy-folk erhöll följande svarsmeddelande:

“Your message dated Thu, 12 Jan 2012 09:42:04 +0100 with subject “SCISIP” has been successfully distributed to the SCISIP list (843 recipients).”

Ok lätt hänt, men problemet var bara att jag sänt mailet i form av en tom mötesinbjudan med uppmaningen “needs action”.

Eftermiddagen präglades av artiga avböjanden till mötet utan innehåll som redan hade “ägt rum” från några av USA:s science policy-höjdare…

Nog om mig: hur har Er dag varit idag???