Får man inte misslyckas, kan man inte lyckas

Kombinationer av olika metoder är alltid att föredra. Fokus på och utgångspunkt i helheten, sammanhanget. Bara så kan hållbarhet uppnås. Exceptionell, men kortvarig framgång kan helt klart nås genom att lägga alla ägg i en och samma korg, men till priset av stora risker. Jämför en försiktig insats på rött, vid roulettebordet, med att satsa allt på nummer 23. Allt beror på vad man vill uppnå och vilket tidsperspektiv man siktar på. Brist på insikt om detta är en del av problemet i samhället.

Hållbarhet är tråkigt, kan man säga. Lite som att satsa fem kronor på rött. Inte alls lika spektakulärt och flärdfullt som att satsa allt man har på något med högre utdelning. Ingen vill uppfattas som trist, det är inte svårt att inse. Men vill man känna trygghet, vill man ha en vårdapparat och en skola som fungerar, ett vägnät och en infrastruktur som inte skapar fler problem än de löser, ja då måste man satsa på underhåll och drift. Och det må vara långt ifrån lika roligt och inte alls lika uppmärksahetsskapande som att inviga en ny motorväg, men det är nödvändigt. Tråkighet är en förutsättning för att kunna ha roligt, både i privatlivet och i samhället. Alla vet att det är så, ändå tas ofta beslut som går på tvärs mot kunskapen.

Forskning som visar på det vettiga i att satsa mer på underhåll och som riktar in sig på utveckling av strategier för hållbarhet är inte sexigt. I förhållande till rymdforskning, partikelacceleratororer och genteknik är kultur- och samhällsforskning grått och tråkigt. Tågurspårningar, flygplansolyckor och annat som kommer som brev på posten när underhållet eftersätts är dock lika spektakulärt som oönskat. Det trista budskapet är att det inte går att få det ena utan det andra. Om ingen vill ta på sig uppgiften att vara tråkig och om ingen vill satsa på det som inte är spektakulärt, ja då blir det svårt att uppnå målet om hållbarhet.

Det som får mig att än en gång tänka i dessa banor är gårdagens Under Strecket, som handlar om konsekvenserna av New Public Management (NPM) och det utvärderingssamhälle som växer fram som en följd av att dessa tankar implementeras och görs till norm och vardag i snart sagt alla verksamheter. Det är tragiskt, för alla med ögon att se med inser att samhället befinner sig i kris. Alla som lever i Sverige idag förstår och får känslan inristad på bara skinnet, att något är allvarligt fel. Mätresultaten visar dock något annat och det är dessa som gäller. För sådana är reglerna. Det går bra på börsen, där vädrar man morgonluft. Aktieägarna ser med förväntan fram mot höjda utdelningar. På arbetsmarknaden är det emellertid nattsvart och för den som är arbetslös handlar vardagen om att kämpa för överlevnaden. Inkomstklyftorna växer, närmast exponentiellt. Det är enkelt att se och förstå att detta handlar om att ingen vill se sig som förlorare och att få identifierar sig med den som inte lyckats. För det smetar på och gör något med individens chanser att lyckas. Allt går naturligtvis inte att skylla på NPM. Inget är någonsin så enkelt. Samtidigt håller samhället att förändras i grunden och i vår nya sköna värld är NPM en realitet, som ger konsekvenser.

Vi lever i ett utvärderingssamhälle. Allt ska utvärderas. Undan för undan har det gamla svenska utredningsväsendet anpassats till det anglosaxiska utvärderingssamhället. En gång i tiden förutsatte vi att reformer skulle vila på en gedigen utredning innan de genomfördes. Numera görs radikala förändringar av viktiga samhällsfunktioner – kommunalisering av skolan, bantning av arbetsmarknadsutbildningarna, avreglering av olika monopol och så vidare – utan särskilt mycket utredande. Legitimiteten i reformerna förväntas istället uppnås med hjälp av utvärdering. Även polisen, skolan och sjukvården vill ansvariga politiker och administratörer styra och effektivisera med hjälp av detaljerad fortlöpande utvärdering i linje med idéer hämtade från new public management (som inte är särskilt ny längre).

Vill se en återgång till ett utredningssamhälle, eller jag vill i alla fall se mer av det i framtiden. Det finns som sagt inte en metod, inget enda bästa sätt att organisera ett samhälle. Kombinationer är alltid att föredra. Det blir lite tråkigare, men det är det värt, för samhället blir mycket mer hållbart. Kanske kostar det lite mer, men det är väl investerade pengar, för kostnaden idag är liten i jämförelse med vad en (högst trolig) framtida katastrof skulle kosta. Om och när det är utvärderingarnas resultat som bestämmer läget i världen kommer dessa instrument att förvandlas till hårdvaluta. Den som har makten över det som utvärderas och som bestämmer hur utvärderingarna ska se ut har en enorm makt över oss alla. I ett samhälle där utvärdering är allt, där är det kartan som avgör, inte verkligheten och människors levda erfarenhet. I ett utredningssamhälle där tar man all förändring på största allvar och där satsar man på det man på goda grunder tror på och sedan står man kollektivt bakom beslutet. Där kan ingen komma undan med stöd av ett resultat i en utvärdering. Där tas det ett gemensamt ansvar för det som görs, för varandra och för framtiden. NPM leder till helt andra effekter.

Exemplen på missriktad utvärdering har mångfaldigats de senaste åren. Polisen gör, för att nå upp till de utvärderingsbara målen, mängder med alkoholtester, men på fel tidpunkter och på fel ställen. Skolan utvärderar eleverna i ett femtiotal dimensioner, utan att de grundläggande kunskaperna och bildningen förbättras, tvärtom. I sjukvården har det blivit viktigare att kunna visa förbättringar i statistiken än att hjälpa patienterna utifrån en professionell helhetsbedömning. Enskilda mätbara insatser och aktiviteter prioriteras med stöd av utvärderingskriterierna framför styrning mot långsiktiga effekter och övergripande mål.  

Ett helt utvärderingsmaskineri för rationell styrning har vuxit fram. Det har lett till en diskussion om hur överdriven uppföljning och enögd användning av idéer från new public management leder till oönskade eller till och med skadliga bieffekter. I Sverige saknas forskning om detta snart allenarådande styrmedel. Utvärderingsforskning är ingen egen disciplin utan återfinns som undergrupp i nationalekonomi, sociologi, statsvetenskap och pedagogik. I vårt grannland Danmark har professorn i utvärderingsforskning Peter Dahler-Larsen kommit med en kritisk uppgörelse med utvärderingsamhället, ”The evaluation society” (Stanford University Press 2012).

Hur ser det ut i den svenska skolan? Om man ser till betyg och till resultatet av de utvärderingar som görs, i enlighet med NPM är allt frid och fröjd. Men så var det det här med PISA. Där faller Sverige som en sten, när man jämför elevernas resultat med resultaten från elever i andra länder. Mycket kan sägas om hur mätningen gått till och vad som mäts. Jag är kritisk till PISA, av många skäl. Men det är ett viktigt resultat för det visar på en uppenbar risk med NPM, som konsekvent premierar kartan framför människors levda erfarenhet. Detta är ohållbart och förenat med enorma risker. Fler utredningar är kanske inte riktigt lika riskfyllt, men som enda väg är det också djupt problematiskt. En kombination av metoder och tankesätt, mer fokus på helheten och ett lite mer försiktigt sätt att röra sig mot och föra samhället in i framtiden är det enda hållbara. Det är inte spektakulärt och det leder inte till exceptionella framgångar, men det är hållbart och inte lika riskfyllt. 

Dahler-Larssen visar att all utvärdering har sina värderingsmässiga och kunskapsteoretiska premisser. Utvärdering är socialt bestämt, utvärdering är en form av maktutövning. Det finns ingen objektiv utvärdering. Det finns ingen magic bullet att skicka iväg som utan värdepremisser kan förklara om en intervention eller verksamhet är mer eller mindre bra.

Det finns ingen objektiv metod att utvärdera, det vet alla. Ändå väljer vi den vägen. För att den lovar evig lycka och framgång åt alla? Det är inte bara korkat, det är ovetenskapligt, ignorant och farligt att tänka så. Det vore dock inte första gången människor förförs av enkla lösningar, men just därför borde vi dra lärdom. Idag är riskerna större än någonsin. Människan har verktyg att förgöra sig själv och aktar vi oss inte kan jorden, ed geologiska mått mätt, snart vara förödd. Om vi inte tänker om och om vi inte tänker mer kritiskt, vill säga.

Enligt Dahler-Larssen ser vi allt för mycket rituell, endimensionell och slentrianmässig utvärdering som sätter särskilt stora spår. Men, menar han, undan för undan anpassar sig verksamheterna efter utvärderingsuppläggen, de blir styrande för verksamheterna och snedvrider dem. Målen för verksamheterna suddas ut för att ersättas av utvärderingsbara kriterier för framgång. Indikatorer, som ska spegla hur man förmår styra mot de övergripande målen, blir mål i sig. Politiska insatser utformas för att vara utvärderingsbara. Professionernas auktoritet och status urholkas. Deras främsta uppgift blir att anpassa sig efter utvärderingsuppläggen och se till att leverera i linje med kriterierna för framgång i dessa upplägg, inte att göra egna professionella bedömningar.

På senare tid har vi kunnat ta del av förskräckande exempel på hur rätt Dahler-Larssen har. Även de stora företagen anpassar sig till utvärderingssamhället. Så kallad kontrafaktisk evidensbaserad utvärdering som bygger på experiment med hjälp av slumpmässigt urval och kontrollgrupper missbrukas. Det amerikanska läkemedelsverket, FDA, kräver att nya läkemedel ska visa sig mer effektiva än placebo i minst två tester. Detta tolkar bolagen som att de har rätt att göra nya test ända tills de får fram två test i rad där medicinen visar sig bättre än placebo.

Kritiskt tänkande är också vad författarna till artikeln, Göran Brulin och Lennart Svensson, visar prov på. Och det är viktigt. Man måste vara kritisk, även till sina egna premisser. Även till den man tror på och omhuldar. Utvärderingar är inte bara av ondo, det är tron på och förväntningarna på dem som är problemet och den okritiska användningen av dem.

Samtidigt kan vi inte bortse från att medborgarna och skattebetalarna har rätt att veta om olika insatser gör skillnad, om förvaltningar och myndigheter sköter sina verksamheter effektivt och om politiska interventioner har effekter. Vi får inte kasta ut barnet med badvattnet, vilket Dahler-Larssen riskerar att göra med sin akademiskt distanserade analys av utvärderingssamhället. Det handlar om hur man ser på utvärdering och evidenssäkring.

Evidenssäkrad utvärdering av hur insatser och verksamheter bidrar till samhällspolitiska mål ger vägledning om insatserna är meningsfulla eller om de bör styras om. Den är inte bevis i sig, men evidenssäkrad utvärdering lägger grunden för en rationell och saklig diskussion om hur olika insatser fungerar och verksamheter sköts. Det är denna diskussion vi ska vara rädda om.

En stor utmaning i utvärderingssammanhang är EU:s program och fonder, som har varit ifrågasatta för meningslösa projekt och insatser, överadministration och korruption. Programperioden 2014–2020 anvisar EU-kommissionen därför en evidenssäkrad utvärdering som ligger nära hur en domstolsprövning går till. EU:s sammanhållningspolitik handlar om insatser i EU:s 28 medlemsstater, under en sjuårsperiod, på sammantaget cirka 800 miljarder euro. I Sverige ska det göras regionala tillväxt- och sysselsättningsskapande insatser för över 30 miljarder svenska kronor. Dessa insatser för att hålla samman EU är – vid sidan av den inre marknaden – EU:s viktigaste för att få Europa att börja växa.

Även om det är stora insatser så är det inte insatserna i sig utan sekundäreffekterna, lärandet mellan Europas regioner och medlemsstater, som ska få igång förändring och omvandling. Därmed blir också evidenssäkrad utvärdering avgörande för att de sammanhållningspolitiska målen (om smart och hållbar tillväxt för alla) ska nås. Det handlar om att få medborgarna i Europa att förstå hur alla dessa olika insatser i över två miljoner projekt verkar och fungerar. De tillväxt- och sysselsättningsskapande mekanismerna ska analyseras och bedömas. Har ett pussel lagts där olika insatser främjar varandra, eller sker genomförandet i stuprör som avsevärt minskar förutsättningarna att nå institutionell påverkan och omvandling? För EU handlar det om att kunna visa för Europas medborgare att gemensamma insatser kan vända uppgivenhet och nationell splittring till sammanhållning och demokratisk utveckling.

Håller med om detta, att det finns positiva sekundäreffekter som är eftersträvansvärda. Det finns potential till kollektivt lärande, på samhällsnivå och uppåt. Integration och kunskapsutveckling är den grund som ett hållbart samhälle vilar på. Och jag ser att det finns vägar runt utvärderingens fängelse i det EU-projekt som jag jobbar i för närvarandet. På andra sidan, när systemet har fått det systemet vill ha, då finns det möjligheter att tänka högt, fritt och kritiskt. Då finns det tid och möjlighet att skriva texter som verkligen betyder något, där innehållet är viktigare än formen och forumet för publikation. Det gäller som sagt att vara kritisk, även mot sina egna premisser. Tyvärr är en olyckligt och på sikt hotande konsekvens av NPM att utbildningar som ger denna kompetens läggs ner, för de visar inte förväntat resultat. De passar inte in i mallen. Men vad är viktigast, mallen, målen, eller den levda erfarenheten? Samhället som som medborgarna möter det i sin vardag? Retoriska frågor, men lika fullt viktiga. Det spelar roll vad vi svarar och hur vi gör, kanske inte idag, men i framtiden, för våra barn.

Evidenssäkrad utvärdering har därmed blivit en strategisk fråga som finansiärer och projektägare måste ta ansvar för om EU långsiktigt ska överleva. En kritiskt granskande utvärdering ska genomsyra hela processen. Interventioner som inte bygger på en grundad analys, med realistiska förutsättningar att lyckas, får inte tillåtas, däremot djärva experiment som har rätt att misslyckas. Det gäller att lära av tidigare erfarenheter, förstå hur en effekt uppstår, sätta in en lokal förändring i ett större sammanhang. En kombination av metoder och angreppssätt är att föredra, evidenssäkring är inte först och främst något vetenskapligt utan bygger lika mycket på professionella grupper och praktikers bedömningar. Framför allt måste evidenssäkrad utvärdering vara en öppen och lärande process som bygger på hög delaktighet med alla berörda, en nödvändighet om EU ska återupprätta något av sin legitimitet. Med andra ord, det gäller att man inte låter utvärderingsmaskineriet ta över.

Som sagt, en kombination av metoder är alltid att föredra. För det är det enda hållbara. Lite tråkigt, men på sikt finns inget annat alternativ. På samma sätt är det i skolan, det bästa sättet att utveckla kunskap är att kombinera olika metoder, ämnen och vägar att gå. Ingen kan på förhand avgöra vad som är bäst, för ingen vet hur framtiden ser ut. Och inte minst resultatet av PISA visar vad en allt för stor och okritisk tillit till utvärderingar kan leda till. Det går inte bara att satsa på spektakulära projekt, det krävs underhåll också. Tillit till individer och medborgare, stöd och hjälp. Om samhället blir lite tråkigare blir det lättare för ensklilda att ha roligt, idag och framöver, även i en oviss framtid.