onsdag 27 februari 2019

Svagheten med peer-review, kvalitetssäkring av lärande och andra imponerande system

Det är ett trivialt påstående att säga att inget system eller kedja är starkare än sin svagaste länk, men det är ofta den typen av påståenden och liknade insikter som glöms bort eller trivialiseras, just för att det handlar om självklarheter. Man tror kanske att bara för att alla vet eller för att insikterna är gamla och uppenbara behöver man inte ta dem i beaktande. Ofta är det precis tvärtom. Man behöver inte och ska i många fall inte söka sig över ån för att hämta vatten. Det är lätt att bli förförd av utifrån kommande experter, men bara för att någon kommer utifrån och endast för att det okända utifrån är väldigt mycket större än det kända inifrån betyder inte att den eller det som kommer därifrån är annorlunda eller bättre. Det är heller inte detaljerna det kommer an på utan helheten och hur väl delarna som bygger upp den samverkar.

Det är lätt att imponeras och förföras av stora och allomfattande system där alla delar hakar i varandra och det finns standardiserade lösningar och rutiner för alla ingrepp. Inom skolan och den högre utbildningen växer det fram ett sådant system för kvalitetssäkring, målstyrning och kontroll. Ett gigantiskt maskineri är det som producerar mät- och jämförbara resultat och där man strävar efter att så lite som möjligt ska vara personbundet, unikt och tillfälligt. Det som är bra fångas upp, utvecklas och integreras i systemet och det som är dåligt identifieras och elimineras. Systemet växer och blir mer och mer imponerande för varje dag som går. Andelen administratörer ökar på bekostnad av lärare, eftersom det är systemets uppgift att arkivera och överföra kunskap från systemet till eleverna. Just eftersom SYSTEMET är så stort, perfekt och integrerat, så effektivt och allomfattande, glömmer man att eleverna fortfarande är människor och att det mänskliga genomet inte förändrats nämnvärt under de senaste 30000 åren. Eleverna i skolan och studenterna på universitetet är fortfarande människor, med allt vad det innebär. Människor kan möjligen och efter många år lära sig läsa lite snabbare och det går att skriva fortare när man är van, men den mänskliga processorkraften som behövs för att bearbeta insikterna som systemet förmedlar och för att LÄRA för livet är den samma hos dagens elever och studenter som den var på medeltiden. Det kan inga datorer eller utbildningssystem i världen ändra på. Det spelar ingen roll hur stort och imponerande utbildningssystem ett land har; först när förhållandena är de rätta och förutsättningarna för LÄRANDE är gynnsamma kan kunskap växa fram och utvecklas, vilket dels sker mellan människor, dels är en icke-linjär process.

Samma gäller inom forskningen där målet är ny och användbar kunskap. Alla vill ha kvalitet och pålitliga resultat, men det betyder inte att ett stort, kvalitetssäkrat SYSTEM ger oss vad vi önskar oss. Hur som helt blir inget system i världen, någonsin starkare än dess svagaste länk. Därför vill jag påminna om att det hyllade och högt aktade peer-review-systemet för granskning av vetenskapliga resultat bygger på anonym granskning av två eller tre anonyma granskare. Det är systemets svagaste länk och det spelar ingen roll hur stort och imponerande systemet är i övrigt, det står och faller med granskarnas noggrannhet och ansvarskänsla. Med tanke på dels hur stor tilliten är till systemet som sådant, dels på hur mycket pengar systemet för vetenskaplig publicering omsätter, för att inte tala om vetenskapens förtroendekapital som står och faller med granskarnas arbete, finner jag det anmärkningsvärt hur lite uppmärksamhet som riktas mot granskarnas arbete. Mig veterligen finns inget standardiserat system för granskning av granskarnas arbete. När utlåtandena lämnats in till redaktören och författaren redigerat artikeln publiceras den och resultaten upphöjs till vetenskaplig sanning. Ansvaret som vilar på granskarnas axlar är med andra ord ENORMT. Ändå är det en uppgift som utförs gratis och på tid som inte ingår i tjänstefördelningen, och arbetet anses heller inte vara särskilt meriterande. Granskarna ställs heller inte till svars om det visar sig att en artikel släpps igenom systemet som inte håller måttet, eller, vilket gud förbjude, resultaten är felaktiga och (som i fallet med Macchiarini) leder till risker för liv och hälsa. Eftersom hela systemet står och faller med GRANSKARNA borde deras insatser och ägnas mer uppmärksamhet kan man tycka. Ett minimikrav vore att det fanns tid avsatt för uppgiften i tjänsten och att granskning av vetenskapliga artiklar räknas som minst lika meriterande som att få en artikel publicerad.

Tänk på droppen som får bägaren att rinna över, eller halmstrået som knäcker packåsnans rygg. Inget system i världen är eller kan vara starkare än dess svagaste länk och det spelar ingen som helst roll om den länken i det stora hela utgör en detalj i sammanhanget. Det är närmast tvärtom så att ju större och mer imponerande ett system är, desto viktigaste är detaljerna; det är dit uppmärksamheten måste riktas. Systemen för kvalitetssäkring i forskning och utbildning fokuserar som jag ser det på helt fel saker: detaljer förringas och systemets styrkor och imponerande storlek och omfattning lyfts fram och stoltseras med, trots att alla vet att kunskap är en ömtålig kvalitet som inte går att standardisera och som därför svårligen låter sig mätas och kontrolleras.

Inga kommentarer: