torsdag 21 februari 2019

Bibliometri och vetenskaplig kvalitet

Vänersborg. Vid Göta älv. På internat med jobbet. Igår lyssnade vi på Gustav Nelhans som talade utifrån följande rubrik: Vetenskaplig kvalitet och bibliometri -- en paradox? Väldigt intressant och mycket lärorikt. Det är detta som akademin kommit att handla om, MÄTANDE av kunskap, kvalitet och så vidare. Nelhans är bibliometriker, och det viktigaste jag tar med mig från dagens föreläsningar och diskussionsövningar är hans ord att även om mycket går att mäta kommer man ändå inte undan den kvalitativa bedömningen, det vill säga den mänskliga förmågan att avgöra vad som är bra. Det finns inga helt igenom objektiva mått, och framförallt, alla bibliometriska data kan manipuleras.

Impact factor och H-värde talades det om. Är det lämpligt att sätta ut det i sitt CV? Värdet får man fram om man dividerar antalet citeringar under två år med antalet artiklar man skrivit under samma tid. Fast olika databaser räknar med olika typer av artiklar så vilket värde man får beror på vart man vänder sig. Även om vetenskapssamhället under rådande mätregim försöker finna en standard som ska gälla alla så är det inte så det ser ut. Nelhans pekade på en rad kritiska frågor man kan och bör ställa sig för att få fram ett rättvisande värde: Ska man ta bort citeringar som är kritiska, egna citeringar och referenser som finns där för att redaktörer och vetenskapliga förlag som är måna om tidskriftens impact factor kräver det av den som vill få sin artikel publicerad? Det finns fler frågor: Vad mäter man? En tankes spridning i kunskapssamhället, eller en människas förmåga att skapa uppmärksamhet för sin egen person? Det är den avgörande frågan, menar jag är följande: Utvecklas kunskapen genom mätning? Och är det kunskap man efterfrågar i mätningarna? Efter att lyssnat på Nelhans stärks jag i min uppfattning att mätandet handlar om något annat, om människans eviga strävan efter framgång i det sociala spelet; det handlar om makt, inte om kunskap.

I kölvattnet av att bibliometri och mätande blir viktigare och viktigare har det på senare tid dykt upp så kallade Predator journals, som kan ses som ett slags rovdjur som riktar lystna blickar mot den kunskapskropp som äldre tiders forskare mödosamt byggt upp, och som idag, när pengar allt mer blir en faktor och ekonomi blir viktigare än kunskapskvalitet och innehåll, håller på att offras. Där och när mätandet blir viktigare än kunskapen som mäts och det dessutom finns pengar dyker det självklart upp lycksökare, på den akademiska marknaden liksom alla andra marknader. Forskare är lika lite idealister som andra och är det publicerade artiklar och citeringar som räknas är det vad som kommer att produceras.

Vetenskapens normsystem, talade Nelhans om, uppstår i kontinumet mellan: Robert Mertons tankar om: Communalism, Universalism, Disinterested, Organized Scepticism som är ledord i den vetenskapliga etiken. Och följande ord, som är resultatet av studier av hur det faktiskt ser ut på många håll: Proprietary, Local, Authoritarian, Commissioned, Expert. Teori och praktik skiljer sig åt inom vetenskapen likväl som på andra områden. Det är därför jag är kritisk till MÄTANDET, för det riktar fokus mot annat än kunskapen. Det finns inga genvägar till verkligt, viktigt vetande, bidning och vishet! Kunskapen måste vara i centrum för att systemen för mätning ska vara ändamålsenliga, det vill säga driva kunskapsutvecklingen framåt och inte leda till att skapa karriärvägar för förslagna individer som knäcker koden och spelar spelet. Olika kunskapsmål kräver olika typer av kanaler att sprida resultaten i och tidskrifter används på olika sätt inom olika områden. One size fits all kan aldrig vara vägen fram, inte om det är kunskap vi söker.

Varför citerar man? Alla som skrivit en vetenskaplig text vet att det görs på en lång rad olika sätt och av olika skäl. Ett system som inte tar hänsyn till olika sätt att citera och olika avsikter med citeringen kan aldrig bli kunskaps- och kvalitetsdrivande. Bilbliometri ska vara ett verktyg för forskare och kunskapsintresserade, inte för administration och ledning av universitetens verksamhet. Att sätta upp mål för citering och efterfråga strategier för publicering fokuserar på fel saker och skapar förutsättningar för den som vill hacka systemet. Nelhans var tydlig genom hela sin föreläsnig. Han påpekade till exempel att redan Eugene Garfield som skapade det metriska system som används idag varnade för att systemet kunde leda till risker och problem. Han lär ha sagt att: Impact is not the same as importance and sigificance!

Fast nu har vi trots allt det system vi har, och det finns även fördelar med mätande. Det är heller inte bibliometrin och mätandet i sig jag är kritisk till. Jag pekar på och värjer mig mot farorna jag ser och aningslösheten som driver förändringen av akademin. Systemet för mätning kan aldrig bli mer kvalitetsdrivande och kunskapsutvecklande än vi människor tillåter det vara. Och utan hänsyn till och förståelse för svårigheten med och komplexiteten i kvalitativa analyser som bygger på människans förmåga att bedöma, riskerar systemet att leda till utarmning av kunskapen. Det finns INGA genvägar till verkligt, användbart och viktigt vetande samt kunskapskvalitet.

Nelhans presenterar resultatet av en undersökning han gjort, där han analyserade sätten att citera i tidskrifter inom naturvetenskap, samhällsvetenskap och humaniora. Naturvetenskapens kunskapsbyggande är kumulativ och man bygger vidare på andras forskning. Därför följs i princip alla meningar av citeringar som visar vem man hämtar stöd från. Samhällsvetenskapens kunskapsmål är ett annat. Här handlar det ofta om analyser av kunskapens mångfald. Här citerar man delvis för att visa att man lutar sig mot andra forskares resultat, delvis citerar man för att kritisera andras forskning, delvis för att visa att det finns olika sätt att tänka kring och forska om ämnet man undersöker. Humaniora slutligen. Här citerar man inte als lika mycket. Och ofta citerar man för att diskutera andras tankar och resultat. Här bygger resultaten mycket mer på argument. Vetenskap är med andra ord ett allt annat än entydigt begrepp.

En annan sak Nelhans tar upp är referensspannet: Hur länge är en artikel aktuell och anses vara relevant att citera till; det avgör så klart hur många citeringar artikeln får. Här skiljer det sig också stort mellan områdena. Samhällsvetenskap har kortats spann, medan humaniora och naturvetenskap har längre, beroende på olika kunskapssyn. Naturen förändras långsamt och det påverkar kunskapen, och kulturella mönster går djupare än samhällsförändring. Den bilbliometriska analysen handlar alltså inte bara om mätningsmetoder, den handlar också om akademisk kultur.

Människor har i alla tider varit upptagna med att skapa idealiserade bilder av det perfekta (Gud, Sanningen och så vidare); det vill säga det som människan aldrig kan eller kommer att kunna mäta sig mot. Det fiktiva behovet av metrik accentuerar denna utveckling och eftersom datorer är överlägsna människorna på att ta fram relevanta data, snabbt och kostnadseffektivt, finns en uppenbar risk att digitaliseringen leder till datorerna upphör att vara ett hjälpmedel och förvandlas till normen som människor och kunskap mäts mot. När det sägs att vi måste mäta mer är därför den naturliga följdfrågan: Vad händer med människorna, med våra mänskliga värden och den MÄNSKLIGA kompetensen att göra bedömningar? Vad händer med kunskapens kvalitet?

Inga kommentarer: