SOUorter animering 1922-1979

Efter att ha följt Christophers och Sverkers övningar i SOUniversum vill jag dra mitt strå till stacken. Nedan en film som visar omnämnanden av orter i SOU:er som publicerats mellan 1922 och 1979. Originaldata har skapats av Christopher (rulla ner till rubriken Datamängder, filen heter SOU1922-1996artal-ort-filtered.csv.zip).

Jag har valt ut de ca 400 mest frekvent förekommande ortsnamnen (baserat på filen Platserfrekvens.txt) och georefererade dessa via http://www.findlatitudeandlongitude.com/batch-geocode/.

En del konstigheter inträffade (bland annat återfanns en del svenska orter plötsligt i södra Spanien eller i USA), så jag begränsade utsnittet till koordinater inom Europa. Av ursprungliga 771180 datapunkter reducerades materialet till 538356 st. Dessa presenteras i nedanstående animering. Den startar 1922 och slutar 1979. Avklingningen är ett år, så det finns ingen kumulativitet i materialet, något som enkelt går att justera i bakgrundsdata.

Verktyget som använts är World Wide Telescope av Curtis Wong, Microsoft Research. Det har fördelen at det kan integreras med Excel och att man förutom att visualisera data kan göra “åkningar” över datamaterialet, något som jag prövar i slutet av filmen (från ca 1:15).

Bakgrundsarbetet utfördes i Excel, matchningen av ortsamn till frekvenslistan med funktionen VLOOKUP. Det finns mycket att förbättra, t ex skulle det vara bra med en tidsskala och skalan på bubblornas storlek skulle kunna vara lite bredare så att man tydligare ser skillnader i frekvens mellan orterna. Slutligen glömde jag slå på “smoothing” så att åkningarna skulle bli lite mjukare.

Originaldata: WWT-filen finns 1922-1979.wtt

Peer Review!

I dag kl 14:30 kommer Björklund presentera den nya forskningsproppen och varken “prestationsbaserad” bibliometri via citeringsanalys eller en variant av den norska “resultatbaserade” modellen verkar finnas med som huvudsaklig modell för det konkurensutsatta anslaget. Även anslag baserade på erhållna medel verkar försvinna ur modellen. I stället kommer en fördubblad andel (20% av anslagen) fördelas baserat på en peer reviewbaserad modell som Vetenskapsrådet kommer att få i uppdrag att ta fram. Den nya modellen anges vara baserad på “kvalitetskriterier”.

En livesändning kommer att finnas på regeringens hemsida och förhandsmaterialet kom i morse i form av en debattartikel i DN.

Således verkar regeringen ha gått på VR:s modell som de presenterade i sitt remissvar till Anders Flodströms utredning från i vintras. En indikation på att så skulle bli fallet kom redan i budgeten där Flodström utredning inte ens nämndes vid namn.

 

Det var en intressant utveckling.

 

Uppdatering to em:

Men det är viktigt att notera att detta handlar om fem år fram i tiden. Den nuvarande modellen ligger kvar åtminstone fram till ingången av 2018:

En utgångspunkt för kollegial bedömning bör vara att all forskning regelbundet utvärderas med områdesvisa utvärderingar under en cykel som varar fyra till sex år. En fördelning av resurser utifrån sådan bedömning av forskningens kvalitet kan dock inte vara aktuell att införa förrän tidigast 2018.

http://www.regeringen.se/content/1/c6/20/13/68/ab3950ad.pdf s 63

DN debatt om forskningspolitik och citeringsräkning

Det har varit en ganska intressant forskningspolitisk debatt i DN där bland annat jag gått i svaromål mot ett inlägg av Bo Rothstein som hävdar att svensk humanistisk och samhällsvetenskaplig forskning är provinsiell, åtminstone vad gäller citeringstal i Google Scholar.

Det kan vara svårt att göra reda för debatten genom att endast söka efter den, varför jag gjort en liten översikt över debatten här:
Originalartikeln av Bo finns här:
http://www.dn.se/debatt/svensk-samhallsforskning-ar-alldeles-for-provinsiell (2012-08-15).

Replikerna företräds först av ett inlägg av Arne Jarrick på Vetenskapsrådet:
http://www.dn.se/debatt/ofta-citerad-forskning-ingen-garanti-for-kvalitet (2012-08-15).

Därefter publicerade såväl Björn Hammarfelt, nydisputerad vid institutionen för ABM i Uppsala som undertecknad var sin replik till Rothsteins utspel:

http://www.dn.se/debatt/forskning-ar-inget-100-meterslopp (Björns) (2012-08-16).

http://www.dn.se/debatt/citeringar-inget-matt-pa-kvalitet (mitt) (2012-08-16).

Sist kan man notera två redaktionella kommentarer, dels en från DN:s ledarredaktion som enligt mitt tycke är riktigt välbalanserad: http://www.dn.se/ledare/signerat/forskning-lite-provinsialism-skadar-inte (2012-08-16), samt en på GP:s ledarsida som i stort sett återger den förra:
http://www.gp.se/nyheter/ledare/1.1039746-hur-mater-vi-bra-forskning-?ref=fb (2012-08-19).

Nu har också Rothstein fått in sin slutreplik där han fört in en liten slutkläm om att historikerprofessorer i genomsnitt endast publicerar en artikel var 25 år och att där finns en forskningskultur där internationell publicering inte värderas alls:

http://www.dn.se/debatt/en-forskningskultur-dar-internationell-publicering-inte-alls-varderas (2012-08-20).

Inte nog med det, ett par dagar senare kommer i stort sett samma replik in i GP (2012-08-22), riktad mot den ovan nämnda ledaren i den tidningen, men inte på redaktionell plats utan under Fria Ord, en plats som vanligtvis tar in läsarnas inlägg.

Efterbörd

Debatten är därmed avslutad, men som den databasoholic jag är ville jag pröva dessa påståenden i en datakälla som uppenbarligen inte använts av Bo. Jag prövade vad jag skulle finna om jag sökte jag ut alla poster över refereegranskade tidskriftsartiklar som listats under HSV-klassificeringen “Historia” (notera att det inte nödvändigtvis innebär att författaren är historiker) i de svenska lärosätenas egna publikationsdatabaser. Av 518 artiklar var 304 (58,6 %) på engelska, 156 (30,1 %) på svenska och resten på 9 andra språk eller oklassificerade. Huruvida det är få eller många artiklar har inte undersökts men det motsvarar (till antalet) ganska väl siffran som erhålls vid motsvarande sökning på statsvetenskapliga refereegranskade tidskriftsartiklar (inkl offentlig förvaltning och globaliseringsstudier) (566 st), men här är andelen engelskspråkiga publikationer betydligt högre: 87 %. Siffrorna är inte representativa eftersom jag varken begränsat analysen till ett specifikt tidsintervall eller kontrollerat för antalet forskare i respektive ämne, eller ens till om alla artiklar faktiskt publicerats av företrädarna för respektive ämne.

Vad vill jag då visa med denna trubbiga redogörelse? Jo, att det plakatspråk som används för att helt desavouera ett godtyckligt ämnes trovärdighet främst tilltalar meningsfränder med redan förutfattade föreställningar om sakernas tillstånd (det räcker med att läsa kommentarerna på Rothsteins inlägg för att se vilka antiintellektuella krafter som uppbådas) döljer en mycket mer nyanserad empiri. Det är improduktivt för debatten och leder endast till kontroverser mellan företrädare för ämnen som hellre gräver ner sig i skyttegravar än att konstruktivt söka möten och kanske till och med samarbeten mellan ämnena. Historieämnet liksom andra humanistiska och samhällsvetenskapliga ämnen skulle säkert må bra av att öka sin internationella exponering, men det uppmuntras inte av denna typ av argumentation.

 

(redigerat 2012-08-23, språkliga korrigeringar)

Självreferenser: missbruk av självcitering eller erkänd praktik att göra forskningsresultat kända

© Gustaf Nelhans 2012

Jag har gett mig in i en debatt om självrefererandets vara och inte vara, som förts på ett antal platser på internet. Då den skett på många ställen och ibland under refuserade former eller i direkt konversation med andra debattörer och kommentatorer, erbjuder jag mina inlägg, samt referat och länkar till andra författares bidrag i denna bloggpost.

Först skrev Phil Davis ett inlägg på bloggen Scholarly Kitchen i februari betitlat ”When Journal Editors Coerce Authors to Self-Cite”: http://scholarlykitchen.sspnet.org/2012/02/02/when-journal-editors-coerce-authors-to-self-cite/ där han diskuterade data från en studie där forskare hade tillfrågats om hur de såg på tidskriftsredaktörers näst intill praxisförfarande att föreslå eller till och med byta ut referenser i inskickade manuskript till referenser i den egna tidskriften. I kommentarsfältet framkom åsikter att detta var en ohederlig verksamhet, men också, från en redaktör kommentaren att det kanske finns ohederliga tidskrifter, men inte i ”våra tidskrifter”, författat av en redaktör för ett mellanstort förlag som utpekats i studien.

Kommentarerna innehöll alltså dels åsikten att det främst fanns anekdotiska indicier på att redaktörer tvingade författare att ta med självreferenser till tidskriften i sina manuskript och dels, att om det händer, så händer det åtminstone någon annan stans.

Då jag hade uppgifter som faktiskt motsade dessa båda ståndpunkter, publicerade jag följande kommentar:

”This is more than anecdotal! I have found an example were an editor-in-chief of an ISI-indexed journal in “health sciences” urges reviewers to make sure submitted manuscripts include self references to the same journal. In the instructions for reviewers, there is a numbered list describing requirements about the length of the manuscript, number of words in the title (a maximum of 12), number of keywords (max 10), and a comment that the keywords should reflect the words in the title and appear in the abstract. But what stands out in the list was the following passage:

“5. Manuscript should refer to at least one article published in ‘*** Journal of *** Sciences’ [the title of the same journal]”

One could assume that this is expected to be a reference to an article that has some bearing on the manuscript at hand, but it is not stated. On this issue, it seems like the question of self citations has been around for a long while and to me, the biggest concern seems to be how to distinguish whether a specific instance of journal self citation is a valid one or not. The question “What is appropriate self referencing” is not as clear cut as it could seem. Given that there could be a variety of reasons for citing a specific reference, it could very well be a grey zone here, where no clear answers could be given.

Nelhans, G, 2012-02-03 kommentar till bloggposten http://scholarlykitchen.sspnet.org/2012/02/02/when-journal-editors-coerce-authors-to-self-cite/

Till svar fick jag en fråga av Professor Barbara Fister (ibid.) varför jag hade valt att anonymisera tidskriften samt chefredaktörens namn då det ju ledde till att det både var omöjligt att kontrollera mina uppgifter och att sätta press på tidskriften att sluta med denna praktik.

När jag i min tur besvarade henne bredde jag ut texten om att jag var av uppfattningen att krav på självcitering inte alls var någon ovanlig praktik och att jag därför inte ansåg att det var viktigt att utsätta just denna tidskrift för press, då den knappast var ensam om sitt förfarande. Tyvrr refuserades detta inlägg av Scholarly Kitchens redaktörer, varför Fisters kommentar fick stå obemött. Dock svarade jag i ett e-postmeddelande som jag delger här:

“Thanks for your response, the reason is that I see no reason naming “one bad apple” not recognizing that this is part of what seems to be a larger issue in the “impact turn” within scholarly authorship judging by the study referred to above. One could argue that this is a pretty predictable response from researchers/editors/publishers wanting to maximize their impact (if stating it in common science policy terms) or maximizing the reach of the contribution to your peers (taking into account that most readers will have back issues of the same journal readily available while a reference to an obscure journal that is not electronically available (worst case scenario) will be harder to get by to). I think it is better to discuss this issue at a general level and my contribution was thought of as a specific example of how it could look that might interest someone.”

Nelhans, G, E-mail till Barbara Fister, 2012-02-04

I april togs frågan om självciteringar upp på bordet av Scholarly Kitchen igen: I bloggposten ”Emergence of a Citation Cartel”: http://scholarlykitchen.sspnet.org/2012/04/10/emergence-of-a-citation-cartel/ återgav Phil Davis hur han hade identifierat en tidskrift som på fyra år hade dubblerat sitt värde på Journal Impact Factor från ca 3 till 6 under väldigt speciella omständigheter. Det visade sig nämligen att två andra tidskrifter inom det medicinska området stod för en extremt hög andel av referenserna till den första. I ett fall rörde det sig om en artikel med 450 referenser till den specifika tidskriften, för vilken författarna till artikeln dessutom var chefredaktör, respektive medlemmar av den misstänkt olämpligt uppträdande tidskriftens vetenskapliga redaktionsråd. Således fanns det nu inte bara fakta som kunde bevisa att redaktörer faktiskt tvingade författare att referera den egna tidskriften, utan till och med fall där redaktörerna själva, var involverade i vad som brukar benämnas ”gaming the impact factor”!

I kommentarsfältet framstod åter igen kommentarer om att detta var ”outrageous”, tacksamhet över att detta fall hade blivit ”hunted down”, ”amazing” och andra kraftfulla uttryck. Men det framkommer också kommentarer från företrädare för Thomson Reuters som beskriver hur företaget utvecklar metoder att automatiskt identifiera denna typ av beteende, på såväl tidskriftsnivå gällande självciteringar eller kartellbeteenden.

(Senare har även en intressant diskussion utspelat sig där företrädare för en av de tidskrifter som stod för ett stort antal av de misstänkt olämpligt fabricerade referenserna har försökt bemöta kritiken efter att deras tidskrift avförts från Thomson Reuters Journal Citation Reports. Se även tidskriften  Medical Science Monitor i förteckning på följande länk: http://admin-apps.webofknowledge.com/JCR/static_html/notices/notices.htm.)

När denna bloggpost annonserades på e-postlistan SIGMETRICS-List, som är en ”Virtual Special Interest Group” of the American Society for Information Science and Technology kom den att diskuteras av Open Access Evangelisten Stevan Harnad i ett inlägg betitlat Online Academic Abuses and the Power of Openness: Naming & Shaming: http://listserv.utk.edu/cgi-bin/wa?A2=sigmetrics;aepqBA;20120410072602-0400

© Gustaf Nelhans 2012

Åter igen var diskussionen om att namnge och ställa syndare i skampålen i full gång, vilket kan utläsas i texten på länken ovan, men också att Open Access skulle vara lösningen på problemet. Om bara all publicerad forskning var tillänglig fritt för var och envar, skulle man kunna utveckla metoder att identifiera denna form av missbruk, men också att OA skulle vara ett medel för att exponera och straffa dem som utfört dem, var hans huvudsakliga argument.

Till detta anförde jag följande kommentar som postades till SIGMETRICS-List http://listserv.utk.edu/cgi-bin/wa?A2=sigmetrics;U8f76g;20120410144317%2B0000:

Dear Professor Harnad,

    I believe that it is not always easy to identify the motives behind specific instances of self references (although in the case at hand, the number of mutual citations identified seem to speak for themselves…). The practice of self citation is (as you acknowledge) not in itself a bad thing, but the problem is how to distinguish its legitimate use from its abuse. This is equally valid on the individual level as in editor-suggested references. I would like to draw into attention an exchange about these matters from 1997, where Eugene Garfield stated:

“Recognising the reality of the Matthew effect, I believe that an editor is justified in reminding authors to cite equivalent references from the same journal, if only because readers of that journal presumably have ready access to it. To call this “manipulation” seems excessive unless the references chosen are irrelevant or mere window dressing.” (Garfield, Eugene. 1997. Editors are justified in asking authors to cite equivalent references from same journal. BMJ 314 (7096):1765. http://www.bmj.com/content/314/7096/1765.2.short )

My question is if there could exist any method of identifying “bad apples” that does not account for the specific context in the article in which the reference is placed. In my understanding of the problem, the proposed way of using statistical methods for identifying baselines for self citations in various fields could be one important step, but I wonder if it would suffice to make the identification process complete?

Best regards,

Gustaf Nelhans

University of Gothenburg, University of Borås,

Sweden

Nelhans, G: E-mail till SIGMETRICS-List, 2012-04-10 http://listserv.utk.edu/cgi-bin/wa?A2=sigmetrics;U8f76g;20120410144317%2B0000

Av någon anledning valde Harnad att inte svara mig (med största sannolikhet missade han mitt inlägg) men nu, mitt i sommaren, när jag själv för första gången på flera veckor tog en titt i min e-postlistemapp innehållande över 1900 meddelanden, uppträdde plötsligt ett svar från Stevan Harnad. Re: Online Academic Abuses and the Power of Openness: Naming & Shaming: http://listserv.utk.edu/cgi-bin/wa?A2=sigmetrics;%2BOgAwQ;20120731100248-0400 Och så var diskussionen igång igen, nära fyra månader efter att jag skrivit min kommentar. Tydligen hade han blivit uppmärksammad på den nu och bestämt sig för att svara. I svaret, som till punkt och pricka följer på mina frågor och ståndpunkter erbjuder Harnad en intressant utblick över framtida möjligheter att med text analytiska, matematiska och statistiska metoder identifiera kandidater för missbruk som sedan kan analyseras manuellt genom mänsklig evaluering. Inte desto mindre fann jag följande uppsummering av Harnads ståndpunkt intressant:

Global OA not only provides the open database, but it provides the (continuous) open means of flagging anomalies in the population pattern, checking them, and naming and shaming the cases where there really has been willful misuse or abuse.

It’s yet another potential application for crowd-sourcing.

Harnad, E-mail till SIGMETRICS-List, 2012-07-31: http://listserv.utk.edu/cgi-bin/wa?A2=sigmetrics;%2BOgAwQ;20120731100248-0400

Roligt också att Eugene Garfield såg Harnads svar och (oturligt nog) felaktigt korrigerade honom för att ha gett en mindre lämplig länk till en kommentar som Garfield själv hade gett femton år tidigare och som jag hade använt som argument för att hävda att tidskriftsredaktörers förslag om referenser från den egna tidskriften inte per automatik måste betraktas som ett missbruk. Garfields uppfattning 2012 är därför intressant att referera här:

Unfortunately my comments have been distorted in some cases to justify deplorable excesses in the use of references to the same journal when I emphasized that such references should be relevant and not mere window dressing– a blatant attempt to increase the impact factor of the journal in question.

Garfield, E-mail till SIGMETRICS-List, 2012-07-31: http://listserv.utk.edu/cgi-bin/wa?A2=sigmetrics;S8L%2FlA;20120731214459%2B0000

Min slutkommentar, som jag valde att inte skicka till e-postlistan utan direkt till Harnad och Garfield innehöll följande text:

Dear Professors Garfield and Harnad, thank you both for commenting, (I decided to take my response off the Sigmetrics list so that it doesn’t get spammed with comments).

It was I who posted the link to the article back in April not checking if it was available outside the university networks. Thanks for sharing a more accessible way to get to it.

Its usage was simply to argue that individual self citations, as well as editor’s proposals of articles to cite within the same journal should not necessarily be seen as a bad thing per se. Instead, I argued that one would need to analyze the context (within the text) of the cited reference made to be able to judge its status, if indeed such a black-or-white scenario for judging self citations exists…

The question implied, to which Professor Harnad gave many interesting and valuable insights, was therefore if it would be possible to do this based on computations and statistics or if it would require skillful manual labor to make such evaluations. Maybe a combination is the best that could possibly be attained?

Gustaf Nelhans: E-mail till Eugene Garfield och Stevan Harnad,  2012-08-01.

Om detta är sista ordet eller om diskussionen kommer att fortsätta är oklart, men jag kommer att hålla bloggen uppdaterad.

Mer om utredningen om forskningsmedelstilldelning till lärosätena

Fortfarande finns mycket lite information om den rapport som var resultatet av den utvärdering som Anders Flodström arbetat med under det senaste året. I ett nummer av Universitetsläraren (18/2011) intervjuas dock Flodström, som meddelar att han avråder från den av Regeringen efterfrågade modellen att utnyttja peer review för fördelning av medel till lärosätena. Istället förordas att Kungliga Biblioteketes SwePub-databas utgöra grunden för ett system som skall kompletteras med ett system av “Impact Factor”. Hur exakt detta skall se ut framgår inte av svaren och vi får vänta på att rapporten publiceras för att ta del av de uppgifterna, men det lutar åt att de hittills utnyttjade systemet med fältnormerade publikations- och citeringsmått byts mot ett system som gissningsvis baseras på tidskrifters “Journal Impact Factor”. Flodström är noga med att framhålla att en bibliometrisk udd är nödvändig:

“– Till en sådan databas måste man också tillföra en ”impact factor”, (mängden citeringar) och där föreslår jag att Vetenskapsrådet ska stå för den informationen.” (Flodström i Universitetsläraren 18/2011)

Men “citeringar” eller “impact factor”, det är frågan…