måndag 4 mars 2013

Kroksmark ändrar resultatet i sin publicerade spelstudie

I samråd med Carl Heath har jag valt att inte ta debatten vidare kring professor Tomas Kroksmarks text ”Den sofistikerade instruktioneni Pedagogiska Magasinet. Istället bemöter jag den här på bloggen där den ursprungligen startade.

I Pedagogiska Magasinet väljer Kroksmark att inte bemöta innehållet i min och Carl Heaths kritik. Istället ifrågasätter Kroksmark vår läsning av hans text, vilken han menar har skett i affekt och därmed tappat den analytiska skärpa som forskningen kräver. För forskningskritik, menar Kroksmark, är det ett minimikrav: ”att den är rättvisande, lika öppen och ärlig som forskningen själv ska vara.” Om inte detta uppfylls, menar Kroksmark att det kan bli ”hur kul och galet som helst”.

Den här sortens metadebatt mellan forskare, vem som sa vad, blir lätt en prövande historia som ofta beskrivs med metaforer som ”sandlåda” eller ”pajkastning”. Det är synd att debatten urartar till detta, det omöjliggör en fortsatt innehållslig diskussion om spel och lärande. Den som är intresserad av att veta mer om utgångspunkterna för vår kritik hänvisar jag till denna artikel.

Jag beklagar att diskussionen tar denna form, emellertid innehåller just denna metadebatt ett par så besvärande fakta att man har svårt att tro det. Jag tar det i tre rubriker och en avslutande reflektion.

1. Missvisande kritik?

Huruvida vår kritik är missvisande står upp till var och en att bedöma. Texten finns än så länge att läsa i den version som diskuterats (som framgår av rubrik 3 nedan kan det dock bli problem i framtiden att utsätta texten för granskning).

Kroksmark skriver i Pedagogiska Magasinet att han aldrig hävdat att speldesign har pedagogiska kvalitéer som är överlägsen traditionell pedagogik:

Linderoth och Heath tycks ha fått det mesta om bakfoten. Jag har aldrig sagt att speldesigners skapar bättre förutsättningar än vad utbildade pedagoger åstadkommer.

I hans originaltext står det dock i slutsatserna:

”Datorspelens pedagogik är framgångsrik i att engagera, motivera och lära samtidigt som den leder till aktivitetsprioritering som är tidskrävande och frivillig. Skolans pedagogiska idéer och modeller kan på motsvarande sätt inte deklarera sådana pedagogiska kvaliteter.”

I Pedagogiska Magasinet skriver Kroksmark: ”Inte heller argumenterar jag för en spelifiering av skolan”. Spelifiering definieras (länk) som användandet av speltänkande eller spelmekanik i ett sammanhang som i sig inte är ett spel. Döm själva, så här står det i Kroksmarks originaltext:

En viktig slutsats för skolan lärarna och för lärarutbildningarna – bör vara att närma sig vad vi här kallat datorspelens pedagogik. I en sådan utvecklingsprocess skulle flera traditionstunga och analoga pedagogiska idéer ersatta [sic] förändringar som är grundade i de resultat som den här studien visat.

2. Kvalitetsgranskning av studien?

En hörnsten i allt forskningsarbete är extern kvalitetsgranskning. Manus till vetenskapliga artiklar skickas av tidskriftens redaktörer ut till ett antal sakkunniga som kontrollerar att studien är korrekt, relevant och avrapporterad på ett tillbörligt sätt, den genomgår en så kallad referee-granskning. Detta är ofta en lång process eftersom sakkunniga vanligen efterfrågar revideringar och förändringar. Innan en studie genomgått denna process är resultaten att betrakta som preliminära. Enligt vetenskapsrådets rapport om god forskningssed bör en forskare inte gå ut i medier med preliminära resultat även om dessa har ett nyhetsvärde.

Vad har då Kroksmarks studie i dagsläget för status? I oktober 2012 när resultaten skapade rubriker i rikstäckande medier, hette det i dagens eko att: ”Tomas Kroksmarks studie ska inom kort publiceras i någon amerikansk tidskrift.”

Det är oklart om detta betyder att studien skall skickas in till en tidskrift, om den väntar på besked eller om den ligger i tryck. I dagsläget, 5 månader senare finns inte någon sådan publikation att finna bland Kroksmarks artiklar.

Vad som finns är texten ”Den sofistikerade instruktionen” publicerad i Didaktisk Tidskrift. Det vanliga i en referee-granskad tidskrift är att redaktionen har flera redaktörer vanligen en huvudredaktör och ett antal biträdande redaktörer och därtill en ansvarig utgivare. Även om manus skickas ut till sakkunniga är det hos redaktörer och ansvarig utgivare som makten att besluta vad som publiceras ligger.

Didaktisk Tidskrift har en ensam redaktör som tillika är skriftens ansvariga utgivare. Tomas Kroksmark själv.  

3. Den kritiserade artikeln har ändrats efter publicering

Kroksmark avslutar sitt svar i Pedagogiska Magasinet genom att lyfta upp ett antal saker han säger sig påvisa i sin studie. En central slutpoäng är ett resonemang om att misslyckande utgör en framgångsfaktor i spelvärlden.  Det är bara det att något sådant resonemang inte finns i den version av ”Den sofistikerade instruktionen” som jag och Carl Heath kritiserar. Det finns däremot i en förändrad version av artikeln som lagts upp under det att debatten pågår. Kroksmark har alltså gjort förändringar i en artikel som redan är publicerad, efter det att den redovisats i media och efter att den utsatts för en första kritik här på bloggen.

I nedanstående film reder Carl Heath ut vad som har hänt.

[På önskemål av en person som inte är iblandad i debatten men som kan identifieras i filmen har jag för närvarande tagit ned den. En ny version läggs upp inom kort]



Efter vad jag kan se består förändringarna av att det gjorts tillägg i studiens resultatdel, där det tidigare var sex resultatkategorier är det nu åtta. Vidare har ett tillägg om just misslyckanden i datorspel skrivits in i slutsatserna. [1]

4. Reflektion

Kroksmark efterfrågar en debatt som ”är rättvisande, lika öppen och ärlig som forskningen själv ska vara.” annars blir det ”hur kul och galet som helst”.

Jag har aldrig hört talas om ett tidigare fall där en forskare genom att ha kontroll över en tidskrift ändrat i redan publicerade forskningsresultat. Detta är djupt problematiskt eftersom det helt förändrar innebörder hos de texter som refererat till denna forskning. Till skillnad från Kroksmark betraktar jag dock inte avsteg från god forskningssed som något ”kul” och ”galet”. Didaktisk Tidskrift tycks arbeta efter en helt egen forskningsetisk kodex som gör att dess vetenskapliga trovärdighet kan ifrågasättas. Något som är djupt beklämmande för alla de övriga författare som valt att publicera sig där. Man kan också ställa sig frågande till vad de personer som listas som sakkunniga säger om detta, jag har mycket svårt att tro att de känner till denna form av publiceringspolicy. Vidare undrar jag hur Högskolan för Lärande och Kommunikation i Jönköping, vilken anges som bas för Didaktisk Tidskrift, ställer sig till detta.

Enligt Kroksmarks egen publikationslista har han de senaste 10 åren producerat 9 artiklar i vetenskapliga tidskrifter. Fem av dessa är i Didaktisk Tidskrift. 

Jonas Linderoth





[1] Det är i sammanhanget viktigt att notera att debatten startade här den 1/10 samma dag som Ekots rapportering av studien. Jag och Carl Heath skickade vårt inlägg till Pedagogiska Magasinet dagen efter, 2/10 2012. Kroksmarks andra version av artikeln skapades enligt metadata i filen den 6 oktober 2012, det vill säga några dagar efter det att jag och Carl Heath skickade in vårt debattinlägg till Pedagogiska Magasinet, och efter den första kritiken här på bloggen. Den ursprungliga publicerade artikeln skapades den 8 augusti 2012. 




4 kommentarer:

  1. Kolla även den engelska versionen: http://hj.diva-portal.org/smash/get/diva2:558552/FULLTEXT02

    SvaraRadera
  2. Nu blir jag mer förvirrad. Den första versionen av texten (http://www.didaktisktidskrift.se/Densofistikerade.pdf innehåller sex kategorier i resultatet. Det är också den version som legat till grund för min och Jonas ursprungliga kritik. Den engelska versionen som Maj Asplund, professor i utbildningsvetenskap, hittade ( http://hj.diva-portal.org/smash/get/diva2:558552/FULLTEXT02 ) är enligt metadatafilen skapad 5 oktober, fyra dagar efter Jonas och jag skickade vår kritik till Pedagogiskt Magasin och en dag före den andra versionen av den svenska texten ( http://didaktisktidskrift.se/Instruktionen.pdf ). Det hade ju varit gott och väl om alla dessa versioner i allt väsentligt var identiska så när som på paginering eller korrektur, men så är inte fallet. Som vi tidigare sett är de två svenska texterna olika, framförallt i avsnittet resultat, som i den första texten "konstitueras via sex kvalitativt skilda beskrivningskategorier" och i den andra svenska texten "konstitueras via åtta kvalitativt skilda beskrivningskategorier." Den engelska textens resultat "is constituted via seven qualitatively different descriptive categories."

    Resultaten är alltså olika i samtliga tre artiklar. Eftersom det på den engelska versionen tydligt på första sidan framgår att den har varit föremål för peer review, och hänvisar referensmässigt till version 2 av den svenska texten (som har ett annat resultat), så uppstår frågan vilken av de tre versionerna som har varit föremål för peer review, samt hur denna har gått till.

    SvaraRadera
    Svar
    1. Detta är något att ta upp med doktoranderna under rubriken "god forskningssed". Tack professor Kroksmark för ett gott exempel.

      Radera
  3. Förtydligande: Med att "debatten pågår", avses här att mitt första blogginlägg i frågan publicerats vilket egentligen inte är en start på debatten, det borde stå "utsatts för kritik". Jag beklagar denna otydlighet.

    SvaraRadera