Forskargruppers storlek och skilda typer av citeringsgenomslag

En studie i Nature diskuterar forskargruppsstorlek och drar slutsatser om vilken typ av forskning dn genererar på basis av bibliometriska data. Den lyfts i en Curieartikel här, som jag var inbjuden att kommentera, men då artikeln mer lade fokus på gruppstorlek och mina kommentarer snarare handlade om studiens upplägg och vilka slutsatser man kan dra på basis av jättemycket data så kom de inte med. Det ger mig dock möjlighet att utveckla mina resonemang lite mer. Texten nedan utgår från mina svar på journalistens frågor som var om disruptiveness är ett vettigt mått och om jag hade några synpunkter på författarnas metod och slutsatser.

Jag har inga speciella åsikter om forskarnas resultat men vill samtidigt lyfta några kritiska kommentarer gällande hur långt man kan dra statistiska data och hur man med en suggestiv benämning konstruerar fangtasieggande tolkningar. Författarna använder distinktionen ’disruptive research’ som står i kontrast ’developmental, eller mer kumulativt betonad forskning. Vem vill inte vara omvälvande? Mönstret går igen från Kuhns vetenskapsteori, han talar om revolutionerande gentemot pusselläggande forskning.

Den här artikeln är uttryck för en ny form av bibliometrisk studier som för enkelhets skull kan gå under beteckningen Science of Science efter en av sina utmärkande artiklar av Santo Fortunato et al, eller komplexa system, som använder numeriska modeller med enorma dataset för att identifiera statistiskt hållbara lagbundenheter om de fenomen de studerar. I den här studien: 24 miljoner artiklar och 38 miljoner forskare och deras publikationer under mer än ett halvt decennium. Det är å ena sidan bibliometrikerns våta dröm, men å andra sidan skulle jag vilja påstå att det finns risk att alla data döljer minst lika mycket som de plockar fram.

För lika mycket som lagbundenheter och statistiska samband kan beskrivas i termer av centralmått och korrelation mellan variabler, lika lite kan de säga om det faktiska innehållet i forskningen och vad det faktiskt är som gör att viss forskning får stort genomslag.

Själva måttet i sig är ganska intressant, att det går att skilja mellan artiklar som blir refererade av en litteratur som delar ursprungsartikelns referenser och artiklar för vilka de refererande artiklarna hänvisar till en helt annan litteratur, men frågan är exakt vad det visar.

I korthet kan man säga att vad som identifierats är ett slags gränsgångarnatur där en studie får stort genomslag i ett annat ämne än i vilket det är publicerat inom. Det är inte ovanligt när det gäller exempelvis metavetenskaplige discipliner som filosofi eller sociologi som får genomslag i exempelvis ekonomiområdet eller hälsoforskning. Jag har sett det i geografi, där GIS-teoretiska papers fått genomslag i epidemiologi eller entomologi(!) och därmed fått ett uppsving pga ett mycket större upptagningsområde i det refererande forskningsområdet.

Men problemet är att forskarna i mindre grad verkar kunna besvara varför det ser ut på ett visst sätt eller hur mekanismen för disruptiveness fungerar, istället att de med relativt stor säkerhet kan identifiera dessa mönster där de förekommer.

Som förklaring skulle man kunna resonera kring att ett stort team svårligen kan vara gränsgångare på det sätt som lyfts fram här, eftersom de av sin natur tenderar att vara mer mång- eller tvärvetenskaplig. Ett stort team av likasinnade monovetenskapliga forskare skulle antagligen vara redundant. Men något som jag alltså tycker att studien verkar sakna är förmågan att söka förstå den nya indikatorns funktion eller betydelse. Disruptiveness har ingen specifik definition utan blir en etikett på ett statistiskt samband som uppstår i modellen.

Så ja, det är ett intressant mått som är relativt distinkt och som kanske till och med kommer att införlivas i citeringsindexen tillsammans med råa citeringstal och aggregerade mått som h-index och Scopus nya ”prominence score”, men frågan är vad det kan säga om enskilda artiklar. När väl disruption har kunnat uppmätas har så lång tid gått att artikeln i sig antagligen redan har fått sitt genomslag i sitt eget fält eller slagit i ett annat fält.

En nyhetsartikel i Nature drar lite längre slutsatser än författarna själva. Dess slutsatser är intressanta, men jag är lite frågande till hur författaren menar att måttet på disruptiveness kan påverka utvärdering av forskning eller påverka finansieringsmekanismer annat än att säga att större storlek kanske inte har så stor betydelse, statistiskt sett. Men det är däremot intressant att artikeln visar att citeringsdata kan användas till mer än att bara mäta frekvens och att citeringsmönster snarare än deras frekvens kan vara användbara för att identifiera spännande fenomen.

Men 20, 40 eller 60 miljoner uppmätta datapunkter är inte imponerande annat än att det påvisar tillgång till mycket data och jag är övertygad om att man kan påvisa samma typ av mönster med ett dataset som är tre ordningar mindre (10.000-100.000 datapunkter). Men för en tidskrift som Nature är nog ”miljoner” ett måste.

Sammantaget, det har gått åt en enorm mängd data för att visa att stora och små forskargrupper statistiskt sett har skilda former av impact, men att det inte går att identifiera vilken typ av impact en specifik forskargrupp kommer att få. För som det anges i artikeln: Mindre forskargrupper tenderar att vara få genomslag längre fram i tiden – om de över huvud taget får något genomslag.

Forskningspropositionen öppnar för fler frågor om prestationsbaserad resurstilldelning

Så var det klart: Ingen omfördelning baserad på prestation (publicering och citering) för 2017 men däremot avisering om ett införande (när?) av en modell för samhällsimpact som VINNOVA tagit fram. Sedan en ny utredning som skall ta fram en modell för resurstilldelning som skall presenteras i budgetpropositionen 2018.

Cat picture borrowed from https://twitter.com/AcademiaObscura

Den aviserade ökningen av miniminivån från 8k till 12k (SEK) per student som i DN-debattartikeln endast angavs gälla högskolorna var förstås en otydlig formulering och innebär även en generell ökning även för universiteten. Synd, för annars hade det kunnat leda till att det faktiskt blev en reell ”utsmetning” av anslagen som de stora jättarna ofta beklagat sig så över, men som knappast skett i praktiken. Under 2009-2016 har endast 10 % av anslagen tilldelats till högskolorna och de nya universiteten (s.56).

Det hela är lite förvirrande, särskilt som det innebär att ryckigheten i hur resursfördelningen skall gå till fortsätter. Till exempel förklaras förra årets modell där alla lärosäten fick minst 5 miljoner, oavsett hur de presterade i kvalitetssnurran med att det skett vid flera tillfällen och att det hade som syfte att fler lärosäten skulle få ”möjligheter att utveckla sin forskning och utbildning på forskarnivå” (s.57). Men var det inte konstigt att Stockholms universitet var en sådan vinnare i den omfördelningen då de tilldelades över 22Mkr för att täcka upp för brister i fördelningsmodellen?

Så trots att regeringen fortsatt ställer sig bakom en prestationsbaserad tilldelningsmodell, så väljer den alltså att justera den med egna kriterier (eller för nästa år ingen omfördelning alls!) vilket innebär att det i praktiken är väldigt svårt för lärosätena att relatera till dess väntade utfall.

Hela propositionen finns tillgänglig här: http://www.regeringen.se/rattsdokument/proposition/2016/11/prop.-20161750/

Det finns massor av andra intressanta aspekter gällande öppen tillgång till data och SwePub, men det får vänta tills jag är tillbaks från veckans begivenhet, workshopen: Accelerated Academy i Leiden. Mitt bidrag heter The performativity of the citation (länk till ppt och abstract kommer efter presentationen).

Teknologi är blott politik med andra medel

Övergripande evalueringar av det svenska forskningspolitiska systemet saknas nästan helt. Detta är lite förvånande, med tanke på alla inspel till regeringens kommande forskningsproposition som just nu duggar tätt. Några tidningar reproducerar idag en TT-nyhet (1, 2, 3) om en aktuell OECD-rapport som i brist på källhänvisning eller ens avgivande av titeln på rapporten kunde ha gått mig förbi (Insert: Rapporten är en uppföljning av en tidigare utförd evaluering från 2012 (1)). På högskoleläckan gavs dock en länk till ett Vinnovaseminarium Cameldär rapporten hade diskuterats idag. Jag har endast hunnit skumma rapporten, och förutom att den verkar vederhäftig och faktaspäckad i sin analys (trots att den helt saknar referenser till empiriska källdata eller till och med referenser!) så ger den flera ganska kritiska kommentarer till svensk forskningspolitik av idag. I TT-nyheten framställs kritiken vara riktad mot den tidigare Alliansregeringen och även om pekpinnar riktas i den riktningen, så står det klart att även det akademiska ledarskapet vid de svenska lärosätena förtjänar granskning.

Det är notabelt att rapporten genomgående lyfter fram Vinnovas roll i den svenska forskningspolitiken: De skall ansvara för att samhälleliga utmaningar möts, de prisas för sina satsningar på EU-initiativ och att VINNOVA skulle kunna erbjuda ett korrelat mot dominansen av akademiker bland forskningsrådens ledamöter[!] (s 22)

Till rapportens mer specifika bidrag vill jag lyfta följande:

Resonemanget om kraven på ökade basanslag, som nästan enhälligt lyfts av akademin idag är särskilt viktigt att skärskåda och reflektera över:

“While Swedish universities have for some decades made it clear that they want to receive a higher proportion of their research income in the form of institutional funding or GUF*, evidence from international experience or statistics does not show any clear way to connect the proportion of university income from this source with overall performance” (s 13),

och lite längre ner verkar rapporten snarare lägga ansvaret på lärosätenas ledningar:

“it appears that Sweden’s “good but not sufficiently excellent” scientific performance points to a failure by university management to be selective combined with sub-optimal mechanisms affecting the allocation of funds (whether from TPF with its medium-sized instruments or from the way the universities allocate GUF Internally).” (ibid.)

Kan det månne vara att de flesta lärosätena har försökt kopiera den nationella resurstilldelningsprincipen (bibliometri och externa anslag) ner på fakultets-, institutions- eller till och med individnivå? Detta utan evidens att sådana modeller fungerar på dessa lägre nivåer. Ytterligare en aspekt är att lärosätenas ledningar riskerar att frånsäga sig möjligheten till strategiska satsningar när de bakbinds av de mekanistiska systemen?

Så här skriver jag och Pieta Eklund i ett längre utdrag ur vår rapport om resurstilldelningsmodeller vid svenska lärosäten:

“(L)ärosätenas ledningar riskerar att förlora möjligheten att bedriva ett aktivt kvalitetsgrundande arbete när till synes neutrala och förment sakliga data tillåts utöva direkt avräkning mot forskarnas prestationer i en resursfördelningsmodell. För att utveckla detta resonemang vill vi argumentera för att en tilltro till en alltför standardiserad, och en för vetenskapen generellt utvecklad bibliometrisk indikatormodell riskerar att bli en hämsko för den ledning som aktivt vill styra forskningen mot att utveckla egna profilområden och satsningar på vad som vid lärosätet uppfattas som starka miljöer. Det är exempelvis tveksamt om en indikatormodell som endast ger incitament att publicera i specifika kanaler kan gynna forskningens kvalitet annat än att stärka lärosätets prestation i den nationella tilldelningen. En sådan instrumentell syn på det vetenskapliga publicerandet är problematisk av flera skäl. Förutom att det helt missar publicerandets aktiva roll i den vetenskapliga praktiken som en integrerad del av vad det innebär ”att forska”, riskerar man att förlora initiativet att leda den egna verksamheten. När man sätter sin tillit till externa processer eller till och med de automatiserade verktyg som indikatormodellerna erbjuder så tvingas man att underställa sig detta verktygs agens och betrakta detta som styrande för de egna kvalitetsgranskningssystemen. Slutligen är detta kortsiktigt, då såväl indexets tekniska funktion som politikens inriktning och nationella modell är i ständig omvandling. Vad som gynnar lärosätet och dess forskare vid en tidpunkt kan mycket väl vara negligerbart, eller i värsta fall verka negativt i den ekonomiska fördelningen fyra till fem år senare när utfallet av prestationer mäts och värderas.” (Nelhans och Eklund, 2015, s 51-52)

En mycket glädjande uppmaning är att OECD-rapporten föreslår att Sverige skall satsa mer på foresight och andra övningar för att bättre identifiera strategiska områden värda att satsa på. Mindre glädjande är avsaknaden av humaniora och samhällsvetenskaperna med sin kritiska förmåga att granska och ställa den implicita teknikdeterminismen i “innovationssystem” i strålkastarljuset. Det behövs mer än tekniskt “know-how” för att nå framgång i forskning och innovation; det krävs reflexiv förmåga att relatera kortsiktiga lösningar till långsiktiga samhälleliga och ekologiska problem. Informationsteknologins snabba utveckling reser många frågor om övervakning och kontroll. Och att mänsklig integritet kommer i skymundan är mer regel än undantag. För vem kan förvägra reglering eller underrättelsetjänsters möjlighet att lyssna av krypterade elektroniska nätverk som Skype, WhatsApp och Kik, när det avslöjas att terroristerna bakom de avskyvärda attackerna i Paris verkar ha begagnat sig av dessa kommunikationsmedel för att undvika att bli upptäckta? Teknologi är blott politik med andra medel.

Referenser:

Nelhans, G. & Eklund, P. (2015). Resursfördelningsmodeller på bibliometrisk grund vid ett urval svenska lärosäten. Vetenskap för profession Nr. 30, ISSN 1654-6520. Borås: Högskolan i Borås (1).

OECD Reviews of Innovation Policy: Sweden 2015. Overall Assessment and Recommendations Preliminary Version (1).

* Här är en kort förkortningsordlista: TPF: Third Party Funding = externa anslag; GUF: General University Funds = basanslag, om jag förstår rapporten rätt.

Goofing around med JIF och brain scanning

Idag blev jag uppmärksammad av en kollega om en ny studie, publicerad i PloS ONE, som utges för att beskriva sambandet mellan uppfattad prestige i vetenskapliga journaler och belöningscentra i forskares hjärnor.

Goofy olympics - javelin throw

(CC Tom Simpson: https://www.flickr.com/photos/randar/)

Nu står det klart att Journal Impact Factor står i direkt kontakt med centra för belöningsförväntan i forskarhes hjärnor. Betyder det att ‘homo academicus bibliometrica’ som art äntligen har uppkommit?

http://journals.plos.org/plosone/article?id=10.1371%2Fjournal.pone.0142537

Att bibliometri fungerar som ett incitament på forskares publicerings- och refereringspraktiker är något som jag länge hävdat, men mer anekdotiskt och även om det börjat komma en del studier som påvisar samband, så finns det fortfarande många ser förändrade och likriktade traditioner som något oproblematiskt och/eller som ett steg mot en mer vetenskaplig forskarpraktik, eftersom det implicerar att forskare publicerar sig i sakkunniggranskade publiceringkanaler. I ett sådant ljus framhåller forskarna (som arbetar vid det Socialneurovetenskapliga labbet(!) vid instituionen för psykiatri och psykoterapi vid Lübecks universitet) följande:

”Thus, the JIF as a novel and powerful paradigm in academia has already shaped the neural architecture of reward processing in science.”

Säkert, men här påstås vi få vi en sällsynt inblick i hur processen ser ut ner på neuronnivå. Reduktionism in absurdum, skulle man kunna säga. Här är ett axplock av reonemang som forskarna framhåller som analys av de erhållna resultaten:

“Incorporation of the JIF into the reward system thus seems to be related to goal-directed behavior during the publication process. However, we are unable to decide whether publication in higher-impact journals is the cause or consequence of the reward signal in the NAcc.”

”On the one hand, it is possible that past experiences with publication in higher-impact journals shaped the sensitivity of the reward circuits to this measure. On the other hand, it might be the case that greater reward signaling of the NAcc, as a motivational force, led to more effort and persistence in order to achieve a higher JIF for one’s findings.”

”The results of this study show how scientists have adapted to the predominant reward structure in the environment and have incorporated the currently prevailing paradigm of the scientific community to ’publish [in high-impact journals] or perish’ in order to guider behavior.”

Det är klart att det är ett skämt, men det finns en allvarlig underton, inte minst i min tillspetsade tolkning att forskarhjärnor faktiskt har utvecklats evolutionsmässigt till att triggas av skillnader i JIF. Men man skall samtidigt beakta att studien är publicerad i PloS ONE och att den uppenbarligen håller för deras publiceringsstandarder. Så även om det är ett skämt, så kan man fundera över relevansen och vad som faktiskt är avsikten. Är det ett försök till en variant av Sokals uttjatade ”hoax’? I så fall undrar jag vem man vill dra ner byxorna på. Skämtet fastnar ju lite i vrångstrupen när man beaktar att studien skall vara utförd vid ett tyskt labb och att forskarna tydligen har scannat sina försökspersoner i en avancerad MRI-apparat i tiomiljonersklassen. De har sedan gjort sig omaket att skriva ihop artikeln med uppenbara jönserier:

”One participant was excluded from further analyses due to excessive sleepiness during the whole task. Notably, this was the only neuroscientist with a permanent position”

…och så vidare.

Sedan har de betalat PloS $1,495 USD för att få publicera den.

Ärligt talat, är inte skämtet på deras egen bekostnad (i dubbel bemärkelse)?

 

 

Peer Review!

I dag kl 14:30 kommer Björklund presentera den nya forskningsproppen och varken “prestationsbaserad” bibliometri via citeringsanalys eller en variant av den norska “resultatbaserade” modellen verkar finnas med som huvudsaklig modell för det konkurensutsatta anslaget. Även anslag baserade på erhållna medel verkar försvinna ur modellen. I stället kommer en fördubblad andel (20% av anslagen) fördelas baserat på en peer reviewbaserad modell som Vetenskapsrådet kommer att få i uppdrag att ta fram. Den nya modellen anges vara baserad på “kvalitetskriterier”.

En livesändning kommer att finnas på regeringens hemsida och förhandsmaterialet kom i morse i form av en debattartikel i DN.

Således verkar regeringen ha gått på VR:s modell som de presenterade i sitt remissvar till Anders Flodströms utredning från i vintras. En indikation på att så skulle bli fallet kom redan i budgeten där Flodström utredning inte ens nämndes vid namn.

 

Det var en intressant utveckling.

 

Uppdatering to em:

Men det är viktigt att notera att detta handlar om fem år fram i tiden. Den nuvarande modellen ligger kvar åtminstone fram till ingången av 2018:

En utgångspunkt för kollegial bedömning bör vara att all forskning regelbundet utvärderas med områdesvisa utvärderingar under en cykel som varar fyra till sex år. En fördelning av resurser utifrån sådan bedömning av forskningens kvalitet kan dock inte vara aktuell att införa förrän tidigast 2018.

http://www.regeringen.se/content/1/c6/20/13/68/ab3950ad.pdf s 63

DN debatt om forskningspolitik och citeringsräkning

Det har varit en ganska intressant forskningspolitisk debatt i DN där bland annat jag gått i svaromål mot ett inlägg av Bo Rothstein som hävdar att svensk humanistisk och samhällsvetenskaplig forskning är provinsiell, åtminstone vad gäller citeringstal i Google Scholar.

Det kan vara svårt att göra reda för debatten genom att endast söka efter den, varför jag gjort en liten översikt över debatten här:
Originalartikeln av Bo finns här:
http://www.dn.se/debatt/svensk-samhallsforskning-ar-alldeles-for-provinsiell (2012-08-15).

Replikerna företräds först av ett inlägg av Arne Jarrick på Vetenskapsrådet:
http://www.dn.se/debatt/ofta-citerad-forskning-ingen-garanti-for-kvalitet (2012-08-15).

Därefter publicerade såväl Björn Hammarfelt, nydisputerad vid institutionen för ABM i Uppsala som undertecknad var sin replik till Rothsteins utspel:

http://www.dn.se/debatt/forskning-ar-inget-100-meterslopp (Björns) (2012-08-16).

http://www.dn.se/debatt/citeringar-inget-matt-pa-kvalitet (mitt) (2012-08-16).

Sist kan man notera två redaktionella kommentarer, dels en från DN:s ledarredaktion som enligt mitt tycke är riktigt välbalanserad: http://www.dn.se/ledare/signerat/forskning-lite-provinsialism-skadar-inte (2012-08-16), samt en på GP:s ledarsida som i stort sett återger den förra:
http://www.gp.se/nyheter/ledare/1.1039746-hur-mater-vi-bra-forskning-?ref=fb (2012-08-19).

Nu har också Rothstein fått in sin slutreplik där han fört in en liten slutkläm om att historikerprofessorer i genomsnitt endast publicerar en artikel var 25 år och att där finns en forskningskultur där internationell publicering inte värderas alls:

http://www.dn.se/debatt/en-forskningskultur-dar-internationell-publicering-inte-alls-varderas (2012-08-20).

Inte nog med det, ett par dagar senare kommer i stort sett samma replik in i GP (2012-08-22), riktad mot den ovan nämnda ledaren i den tidningen, men inte på redaktionell plats utan under Fria Ord, en plats som vanligtvis tar in läsarnas inlägg.

Efterbörd

Debatten är därmed avslutad, men som den databasoholic jag är ville jag pröva dessa påståenden i en datakälla som uppenbarligen inte använts av Bo. Jag prövade vad jag skulle finna om jag sökte jag ut alla poster över refereegranskade tidskriftsartiklar som listats under HSV-klassificeringen “Historia” (notera att det inte nödvändigtvis innebär att författaren är historiker) i de svenska lärosätenas egna publikationsdatabaser. Av 518 artiklar var 304 (58,6 %) på engelska, 156 (30,1 %) på svenska och resten på 9 andra språk eller oklassificerade. Huruvida det är få eller många artiklar har inte undersökts men det motsvarar (till antalet) ganska väl siffran som erhålls vid motsvarande sökning på statsvetenskapliga refereegranskade tidskriftsartiklar (inkl offentlig förvaltning och globaliseringsstudier) (566 st), men här är andelen engelskspråkiga publikationer betydligt högre: 87 %. Siffrorna är inte representativa eftersom jag varken begränsat analysen till ett specifikt tidsintervall eller kontrollerat för antalet forskare i respektive ämne, eller ens till om alla artiklar faktiskt publicerats av företrädarna för respektive ämne.

Vad vill jag då visa med denna trubbiga redogörelse? Jo, att det plakatspråk som används för att helt desavouera ett godtyckligt ämnes trovärdighet främst tilltalar meningsfränder med redan förutfattade föreställningar om sakernas tillstånd (det räcker med att läsa kommentarerna på Rothsteins inlägg för att se vilka antiintellektuella krafter som uppbådas) döljer en mycket mer nyanserad empiri. Det är improduktivt för debatten och leder endast till kontroverser mellan företrädare för ämnen som hellre gräver ner sig i skyttegravar än att konstruktivt söka möten och kanske till och med samarbeten mellan ämnena. Historieämnet liksom andra humanistiska och samhällsvetenskapliga ämnen skulle säkert må bra av att öka sin internationella exponering, men det uppmuntras inte av denna typ av argumentation.

 

(redigerat 2012-08-23, språkliga korrigeringar)

Bibliometrics at the crossroads- Follow up

There has been some buzz after the Chalmers Library / University of Borås co-hosted event “Bibliometrics at the cross roads”.

 

First, a couple of blogs have mentioned the event: Bibliometrics at the Crossroads at the Chalmers Library Biblogg and Bibliometri i vår och höst from the Masters program Digitala tjänster – kultur, information & kommunikation at University of Borås.

There is also a Flickr stream with photos from the event Bibliometrics at the Crossroads from the Chalmers Library’s photostream:

 

 

The Twitter hash tag #bibcross was also very active a couple of days around the event!

Bibliometrics at the Crossroads seminar

Yesterday I gave a seminar at the Bibliometrics at the crossroads half day seminar hosted by Chalmers Library and Borås University (#bibcross). First keynote speaker was Blaise Cronin, who gave a marvelously imaginative talk about his visions on scholarly publishing and bibliometric analysis in what could be described as a post academic setting where collaboration does not necessarily mean professor – to professor work, but a shared authorship roles between people both within and outside academia. He especially noted the quick changes and the fast uptake of research today and the demands it creates for publishers.

 

My own humble contribution was called: Inscribed and circumscribed by citations – Indicators, impact and quality in the humanities and social sciences. If anyone wants to summarize it, I would be most grateful…

 

När nätet är lite för snabbt…

Insåg att jag nog hade gjort något galet när jag i stället för bekräftelse på anmälan som prenumerant av en amerikansk statlig listserv för Science Policy-folk erhöll följande svarsmeddelande:

“Your message dated Thu, 12 Jan 2012 09:42:04 +0100 with subject “SCISIP” has been successfully distributed to the SCISIP list (843 recipients).”

Ok lätt hänt, men problemet var bara att jag sänt mailet i form av en tom mötesinbjudan med uppmaningen “needs action”.

Eftermiddagen präglades av artiga avböjanden till mötet utan innehåll som redan hade “ägt rum” från några av USA:s science policy-höjdare…

Nog om mig: hur har Er dag varit idag???