Att MÄTA kvalitet är kontraproduktivt!

Den som kontrolleras tvingas lägga fokus på det momentet i sin verksamhet. Den som utvärderas och jämförs med andra blir underordnad. Och om kontrollen och utvärderingen dessutom är kopplad till resurstilldelningen för den verksamhet man ägnar sig åt kommer indikatorer nyckeltal, det vill säga det som kontrolleras och mäts, att i vardagen och i praktiken bli viktigare. Inte av illvilja eller inkompetens, utan för att människor och kultur fungerar så. Lägg därtill ett moment av konkurrens, att dina resultat jämförs med andras resultat, så får vi en komplett beskrivning av den akademiska världen av idag. Det är en värld där administratörer och controllers har makten och majoriteten av forskarna degraderats till utförare av tjänster.

Läser om ett nytt utvärderingssystem på DN-Debatt idag, lanserat av Vetenskapsrådet. Det förändrar inget av ovanstående. Tvärtom underblåser förslaget utvecklingen, vilket blir tydligt genom att artikeln illustreras med en bild av ESS i Lund. En bild säger mer än tusen ord, brukar man säga. Och detta är en bild av hur de med makt över akademin ser på framtiden, är en bild av deras visioner. Rubriken på artikeln är: "Konkurrens mellan lärosätena ger högre forskningskvalitet." Det har blivit en sanning att konkurrens driver kvalitet, överallt. Den som ifrågasätter den "sanningen" kommer inte att få gehör för något förslag, för så är det bestämt, så är det. Därför är jag kritisk till systemet även om det finns delar i det som låter bra, eller i alla fall bättre än det system som finns idag.

Låt oss redovisa sex styrkor med Fokus: 

1 Fokus främjar långsiktig planering på lärosätena och skapar incitament för universitet och högskolor att göra prioriteringar i sin verksamhet. Fokus ger, till skillnad från utvärderingar på enskilda lärosäten, ett underlag för nationell och ämnesmässig överblick och jämförelser. Det är endast en sådan jämförelse som skapar den konkurrenssituation som är kärnan i drivkraften mot ökad kvalitet. 

Långsiktighet är bra, men det återstår fortfarande att bevisa att kvalitet främjas av konkurrens. Det kan inte FÖRUTSÄTTAS, menar jag. Sund tävlan mellan forskare som inte arbetar med kniven mot strupen har visat sig driva kvalitet, det är jag medveten om och där finns incitament. Men eftersom ekonomin står i fokus idag på lärosätena och eftersom det är framtida ekonomiska medel man tävlar om kommer konkurrensen i praktiken att vara på liv och död, och då händer något med dem som tävlar (inget positivt). Om det istället var ära man tävlade om och om ett misslyckande inte fick några konsekvenser, tror jag att verklig kvalitet skulle kunna främjas i akademin. Som det ser ut idag och i förslaget från VR ser jag inget annat än retoriska skillnader. Vad är det för kvalitet man vill främja och vad menar man med kvalitet?

2 Fokus innebär att forskningens kvalitet granskas och utvärderas av sakkunniga forskare, s.k. peer review. Det är den internationellt vedertagna metoden för att värdera forskning och den som visat sig vara den bästa för att identifiera forskning av högsta vetenskapliga kvalitet. De sakkunniga samlas i bedömarpaneler med i huvudsak internationell sammansättning. Det ger också möjlighet till utvärdering och kvalitetssäkring ur ett internationellt perspektiv.

Okej, detta är svårt att invända mot. Forskare ska granska forskare, den principen är viktig. Men med skrivningar som: "högsta vetenskapliga kvalitet", blir jag ändå misstänksam. För inom mitt område, humaniora, talar man inte om kvalitet på det sättet. Här talar bilden av ESS sitt tydliga språk, för det är den typen av resultat man drömmer om och dregglar över. Det är politikernas våta dröm att Sverige ska få ett Nobelpris, för det är kvalitet. Och Nobelpris kräver anläggningar av ESS kaliber. Inom humaniora handlar det om att öka förståelsen för levt liv och för interaktion mellan människor, om oss och det vi gör med och mot varandra. Där sker inga genombrott och tävlas inte om banbrytande upptäckter. Det är en helt annan typ av forskning, som helt osynliggörs i den tankemodell som VR tar för given. I objektivitetens namn får humanisterna skylla sig själva.

3 Fokus inkluderar, till skillnad från dagens modell, alla forskningsområden. Utvärderingarna utgår från ett gemensamt ramverk, men anpassas utifrån vilken metod som är bäst lämpad för att utvärdera respektive område.

Detta tror jag på när jag ser det. Det låter så klart bra, men i ljuset av helheten finns ingen anledning för humaniora att känna sig lugn.

4 Genom Fokus kan god forskningskvalitet identifieras och premieras oavsett inriktning och volym. Till skillnad från dagens modell tar Fokus hänsyn till att lärosäten har olika förutsättningar och ger möjlighet för alla lärosäten att visa upp sina styrkor på ett bättre sätt.

Samma här, det låter onekligen bra, men hur kommer det att bli i praktiken?

5 Fokus innehåller en bedömning av hur forskningsresultaten påverkat samhället. Det kommer ske genom fallstudier där sociala, ekonomiska, miljömässiga eller kulturella effekter identifieras – något som vi menar är viktigt att utvärdera men svårt att visa eller bedöma med hjälp av enkla indikatorer.

Detta är en punkt som däremot öppnar upp för att även humaniora ska kunna leva vidare inom akademin. Men resultaten av att humanvetenskapliga insikter sprids i samhället är OERHÖRT svårt att MÄTA. Det tar lång tid innan påverkan syns i praktiken. Jag ser till exempel idag först att och hur den forskning jag bedrev kring genus och jämställdhet runt sekelskiftet nu får allt mer genomslag. Det är så klart inte min förtjänst, men det är ett resultat av det kollektiva arbete vi genusforskare bedrev. Och det arbetet utfördes i STARK motvind och vi hånades och fick finna oss i att ifrågasättas. Idag talar politiker med självklarhet om det som av samhället och den övriga forskarvärlden ansågs kontroversiellt, galet och helt ovetenskapligt. Det visar dels på hur svårt det är att uppskatta verklig kvalitet och på hur lång tid det tar att verkligen se konsekvenser och påverkan på samhället av forskningen som bedrivs inom det humanvetenskapliga området. Det finns ingen möjlighet att UTVÄRDERA detta på kort sikt, och följaktligen kommer humaniora att även i detta system att vara en förlorare (fast den största förloraren är samhället, alla vi tillsammans).

6 Fokus ska vara så resurseffektiv som möjligt för att minimera kostnader och arbetsbelastning för forskare. Till skillnad från till exempel Research Excellence Framework i Storbritannien, bygger datainsamlingen inom Fokus på att de data som används för panelernas bedömning i så hög grad som möjligt hämtas in från befintliga källor, till exempel underlag från den nationella publikationsdatabasen SwePub.
Vi menar att ett utvärderingssystem baserat på sakkunniggranskning har stor potential att undvika och motverka negativa effekter som kan finnas i dagens rent indikatorstyrda resurstilldelningssystem. I diskussionen om fördelning av resurser till forskning lyfts till exempel brister i hantering av tvärvetenskap, hur man undviker att systemet missgynnar nytänkande och risktagande och att forskningen inte premieras på bekostnad av forskarutbildning och grundutbildning. Dessa effekter är dock inte på något vis kopplade till just kvalitetsutvärdering med sakkunniggranskning, snarare tvärtom!

Detta låter bra. Och det är kanske så att detta system faktiskt är bättre, men det är fortfarande inte bra att UTVÄRDERA och KONKURRENSUTSÄTTA forskningen. Forskning är en helt annan typ av verksamhet. Det forskning går ut på är att sörja för samhället och mänsklighetens kunskapsförsörjning. Forskning är en komplex och ömtålig verksamhet som ofta gör framsteg genom misslyckanden, som nästan alltid finner kunskapen där man minst anar. Betänk att de största genombrotten i forskningens historia INTE skett enligt plan. Slump, misslyckanden och ovissheten, var finns insikten om detta i förslaget? Det som alla forskare känner igen från sin vardag, var finns förståelsen för detta. Det som alla forskare vet verkligen påverkar kvaliteten i arbetet och de resultat som forskningen resulterar i.

Var finns tilliten till forskarna. Forskare blir man inte av en slump, det ligger år av studier, av slit och hängivet sökande efter kunskap bakom varje doktorstitel. Än mer bakom varje docenttitel, för att inte tala om vad som krävs för att bli professor. Vad är det i vår kultur och vad är det för människosyn vi odlar när vi inte kan lita på att den som visat sig ha vad som krävs för att uppnå akademiska titlar? Vad säger det om oss och om samhället att vi är BESATTA av att kontrollera varandra? Varför gör vi det, vet vi ens det? Eller gör vi för att vi tror att man måste, vilket man inte behöver. Om det är därför visar ju det i sig att vi inte har en aning om vad verklig kvalitet är.

Kvalitet går inte att mäta. Det går bevisligen att MÄTA verksamheter, men KVALITET går inte att mäta, för det man mäter är något annat. Om det gick att mäta och målstyra kvalitet hade vi inte behövt oroa oss över kvaliteten som vi på olika sätt försöker mäta. Det är en paradox som inte går att komma förbi. Att mäta kvalitet är ett klassiskt exempel på människans ofullständiga intellektuella förmåga, för vi letar efter ett par borttappade nycklar i ljusen, fast vi vet att nycklarna ligger där ute i det oändliga mörkret. Vi letar där för att vi kan, inte för att det fungerar eller är meningsfullt utan för att det känns bättre. Men jag lovar, att lita på varandra och att känna tillit känns oändligt mycket bättre än att kontrollera och misstro varandra och ur en sådan mylla växer verkligt användbar kunskap och riktig kvalitet. Det som kommer ur kvalitetsutvärderingar är pseudokvalitet och mätbara resultat. Kvalitet går att känna igen, men det går inte att beställa fram eller specificera på förhand!

Varför kan jag säga detta så säkert, hur vet jag det utan att peka på evidens? Av det enkla och självklara skälet att alla vet att kvalitet, liksom hållbarhet och kunskap, är KOMPLEXA problem. Och komplexa problem kan man aldrig behärska, bara arbeta med och bli bättre på att FÖRSTÅ. Vad som krävs för att främja verklig kvalitet i forskning och utbildning är därför ödmjukhet inte den oundvikliga osäkerhet som utgör problemets och verksamhetens kärna. Det krävs tillit till forskarna och det krävs en kollektiv förståelse i samhället om att det enda vi kan göra är att vänta och hoppas. Kunskap och kvalitet, liknar på många sätt Heinz ketchup, som kommer ur flaskan när den är redo, inte när vi konsumenter vill eller önskar. Eftersom förslaget uppvisar total brist för detta och ignorans för problemets verkliga kärna kommer detta system liksom alla system som det är tänkt att ersätta att leda till besvikelse och det kommer säkert att följas av fler, nya, bättre och revolutionerande utvärderingssystem som till skillnad från de tidigare kommer att ge oss det vi så hett åtrår.

Längtan efter kvalitet är som längtan efter kärlek, ett evigt sökande fyllt av besvikelser!