Leidenmanifestet

När jag lyssnade på Gustav Nelhans här för några veckor sedan gjordes jag uppmärksam på något jag inte hört talas om förut: Leidenmanifestet. Och när jag idag äntligen har lite mer tid att spela på tänkte jag fördjupa mig i ämnet. Manifestet handlar om är utgörs av en lista på tio punkter där principerna för hur bedömning av vetenskaplig kvalitet bör utföras.

När jag googlar dyker det upp en artikel publicerad i Nature där punkterna beskrivs och den får bilda utgångspunkt för mina tankar här.

Ten principles

1) Quantitative evaluation should support qualitative, expert assessment. Quantitative metrics can challenge bias tendencies in peer review and facilitate deliberation. This should strengthen peer review, because making judgements about colleagues is difficult without a range of relevant information. However, assessors must not be tempted to cede decision-making to the numbers. Indicators must not substitute for informed judgement. Everyone retains responsibility for their assessments.

Den kvalitativa bedömningen anses alltså viktig, eller som jag tolkar den första punkten; helt avgörande för den vetenskapliga kvaliteten. Bibliometriska data ska stödja den kritiska bedömningen, aldrig ersätta den. Siffror talar aldrig för sig själva. Vetenskaplig kvalitet är en tolkningsfråga som bara kan bygga på bedömning.

2) Measure performance against the research missions of the institution, group or researcher. Programme goals should be stated at the start, and the indicators used to evaluate performance should relate clearly to those goals. The choice of indicators, and the ways in which they are used, should take into account the wider socio-economic and cultural contexts. Scientists have diverse research missions. Research that advances the frontiers of academic knowledge differs from research that is focused on delivering solutions to societal problems. Review may be based on merits relevant to policy, industry or the public rather than on academic ideas of excellence. No single evaluation model applies to all contexts.

Det borde vara självklart, men är det inte; bedömning av vetenskaplig kvalitet ska utgå från kunskapsmålet och beror alltid på sammanhanget. Dessutom ska målen som sätts upp dels vara formulerade innan forskningen inleds, dels vara kopplade till forskargruppens eller det enskilda projektets syfte och karaktären på resultatet man söker. Allt annat är ovetenskapligt och tar fokus från forskningen och går ut över kunskapens kvalitet.

3) Protect excellence in locally relevant research. In many parts of the world, research excellence is equated with English-language publication. Spanish law, for example, states the desirability of Spanish scholars publishing in high-impact journals. The impact factor is calculated for journals indexed in the US-based and still mostly English-language Web of Science. These biases are particularly problematic in the social sciences and humanities, in which research is more regionally and nationally engaged. Many other fields have a national or regional dimension — for instance, HIV epidemiology in sub-Saharan Africa. 

Kommen så här långt sprider det sig en varm känsla i kroppen. Det är som att komma hem. Äntligen en text som uttrycker det jag kämpat för så länge, dessutom är artikeln där manifestet beskrivs publicerad i en av världens mest ansedda vetenskapliga tidskrift Nature. Om jag skriver om svensk bondekultur på 1800-talet eller om spridningen av ordet bamba i Västsverige; vad är då poängen att skriva på engelska? Mina böcker i serien Förslag till kunskapsteori för ett hållbart samhälle skulle kunna publiceras på engelska, och det kanske jag kommer att göra med tiden. Jag ser dock en viktig poäng att först testa tankarna i ett mindre sammanhang. Om alla forskare i hela världen publicerar allt på engelska är risken stor att vetenskapssamhället drabbas av information overload.

This pluralism and societal relevance tends to be suppressed to create papers of interest to the gatekeepers of high impact: English-language journals. The Spanish sociologists that are highly cited in the Web of Science have worked on abstract models or study US data. Lost is the specificity of sociologists in high-impact Spanish-language papers: topics such as local labour law, family health care for the elderly or immigrant employment 5. Metrics built on high-quality non-English literature would serve to identify and reward excellence in locally relevant research. 

När jag läser vad som står i manifestet är det å ena sidan självklarheter. Det var detta jag lärde mig när jag utbildades till forskare, innan den akademiska världen drabbades av bibliometrisk hets och förlorade sig i mätbarhetsdjungeln. VAR och HUR man publicerar sina resultat kan och får aldrig vara viktigare än VAD man publicerar. Jag valde boken som medium och open access som kanal, inte för att det var enklare eller för att jag inte kunde göra på något anat sätt utan för att det sättet passade kunskapen jag förmedlar. Jag behövde utrymme att förklara både på djupet och bredden och att detta mitt val inte räknas som vetenskapligt meriterande, alldeles oavsett kvaliteten på innehållet säger för mig allt om dagens akademi och kunskapssyn.

4) Keep data collection and analytical processes open, transparent and simple. The construction of the databases required for evaluation should follow clearly stated rules, set before the research has been completed. This was common practice among the academic and commercial groups that built bibliometric evaluation methodology over several decades. Those groups referenced protocols published in the peer-reviewed literature. This transparency enabled scrutiny. For example, in 2010, public debate on the technical properties of an important indicator used by one of our groups (the Centre for Science and Technology Studies at Leiden University in the Netherlands) led to a revision in the calculation of this indicator 6. Recent commercial entrants should be held to the same standards; no one should accept a black-box evaluation machine.
Simplicity is a virtue in an indicator because it enhances transparency. But simplistic metrics can distort the record (see principle 7). Evaluators must strive for balance — simple indicators true to the complexity of the research process. “Simplicity is a virtue in an indicator because it enhances transparency.”

Transparens och enkla, tydliga regler för hur forskningen utförts är en förutsättning, både för högkvalitativ forskning och utvärdering av resultaten. Det handlar aldrig endast om målet, det vill säga vad man kommer fram till. Vägen dit är lika viktig, liksom bedömningen av resultaten.

Än så länge kan jag skriva under på allt och har jag kunnat pricka av samtliga punkter på listan i manifestet. Det är jag tacksam för. Jag ser mig som forskare. Det var för kunskapen jag sökte mig till akademin, för att få möjlighet att söka ny kunskap om angelägna ämnen. Det vad detta jag utbildades för och det är detta jag vill fortsätta med. Bara så kan ett kunskapssamhälle byggas, från grunden och med utgångspunkt i principer som anpassats efter kunskapen och inte efter ekonomin, politiken eller kulturen.

5) Allow those evaluated to verify data and analysis. To ensure data quality, all researchers included in bibliometric studies should be able to check that their outputs have been correctly identified. Everyone directing and managing evaluation processes should assure data accuracy, through self-verification or third-party audit. Universities could implement this in their research information systems and it should be a guiding principle in the selection of providers of these systems. Accurate, high-quality data take time and money to collate and process. Budget for it.

Jag har länge efterlyst eller i alla fall tänkt på hur viktigt det är att tala om kvaliteten på den data som samlas in och som analysen bygger på. Det går inte att enbart rikta fokus mot resultaten och analysen. När jag tillfrågas om att vara med i enkäter eller intervjuer vägar jag ibland svara eftersom frågorna är så undermåliga. Första gången jag upptäckte att alla inte är lika noga med vilket material man analyserar var när jag lyssnade på en föreläsning på temat; hur man blir publicerad i peer-review-journals. Där fick jag till min förvåning höra att man kan skriva artiklar på nästan vilket underlag som helst. Det viktiga, fick jag höra, var resultatet och hur det förpackats. Den synen på forskning kan och kommer jag aldrig att acceptera och jag är tacksam över att inte vara ensam om att känna så. Fast när det enda som räknas är hur många publiceringar man har kommer annat än kunskapskvalitet att hamna i fokus.

6) Account for variation by field in publication and citation practices. Best practice is to select a suite of possible indicators and allow fields to choose among them. A few years ago, a European group of historians received a relatively low rating in a national peer-review assessment because they wrote books rather than articles in journals indexed by the Web of Science. The historians had the misfortune to be part of a psychology department. Historians and social scientists require books and national-language literature to be included in their publication counts; computer scientists require conference papers be counted.

Att det ens behöver påpekas säger allt om vart vi är på väg och hur långt bort från kunskapen i centrum vi hamnat. Där och när formen anses viktigare än innehållet och kvaliteten på kunskapen har forskning förvandlats till något annat än vad som ursprungligen avsågs.

Citation rates vary by field: top-ranked journals in mathematics have impact factors of around 3; top-ranked journals in cell biology have impact factors of about 30. Normalized indicators are required, and the most robust normalization method is based on percentiles: each paper is weighted on the basis of the percentile to which it belongs in the citation distribution of its field (the top 1%, 10% or 20%, for example). A single highly cited publication slightly improves the position of a university in a ranking that is based on percentile indicators, but may propel the university from the middle to the top of a ranking built on citation averages 7.

Bara genom att kombinera bibliometri med kvalitativ bedömning, inte bara av texten som läggs fram för granskning utan även av det material som analyserats och vägen fram till resultaten, kan verklig kunskapskvalitet uppnås. Hur många ämnen ska lösas upp och försvinna innan vi inser att vägen vi slagit in på leder oss helt fel? När forskarna som verkar i ämnena som inte kan hävda sig i den snedvridna konkurrensen, ger upp försvinner även deras kunskap och kompetens. Ingen vet om eller när den kan komma att behövas. Nuvarande forskningspolitik och förvaltning av högskolesektorn behöver ses över, det är uppenbart.

7) Base assessment of individual researchers on a qualitative judgement of their portfolio. The older you are, the higher your h-index, even in the absence of new papers. The h-index varies by field: life scientists top out at 200; physicists at 100 and social scientists at 20–30 (ref. 8). It is database dependent: there are researchers in computer science who have an h-index of around 10 in the Web of Science but of 20–30 in Google Scholar 9. Reading and judging a researcher's work is much more appropriate than relying on one number. Even when comparing large numbers of researchers, an approach that considers more information about an individual's expertise, experience, activities and influence is best.

Genom att läsa och bedöma enskilda forskares arbeten, snarare än jämföra deras h-index, blir bedömningen av kvaliteten på forskningen och dess resultat mer relevant än om man endast går på bibliometriska data. Det borde vara en självklarhet, men är det inte i dagens prestationsinriktade akademi. Det är tragiskt att det blivit så.

8) Avoid misplaced concreteness and false precision. Science and technology indicators are prone to conceptual ambiguity and uncertainty and require strong assumptions that are not universally accepted. The meaning of citation counts, for example, has long been debated. Thus, best practice uses multiple indicators to provide a more robust and pluralistic picture. If uncertainty and error can be quantified, for instance using error bars, this information should accompany published indicator values. If this is not possible, indicator producers should at least avoid false precision. For example, the journal impact factor is published to three decimal places to avoid ties. However, given the conceptual ambiguity and random variability of citation counts, it makes no sense to distinguish between journals on the basis of very small impact factor differences. Avoid false precision: only one decimal is warranted.

Bara genom att utgå från en uppsättning OLIKA utgångspunkter och underlag för bedömning går det att närma sig något som liknar kunskapskvalitet. Dagens system för bedömning av vetenskaplig kvalitet är som synes pseudovetenskapligt, vilket borde få varningsklockorna att ringa hos alla som bryr sig om kunskap och kvalitet. Mot bättre vetande fortsätter vi ändå på den inslagna vägen, vilket för mig som kulturvetare i och för sig än intressant att lägga märke till, om det nu inte vore så att det påverkade mina möjligheter att bedriva forskning.

9) Recognize the systemic effects of assessment and indicators. Indicators change the system through the incentives they establish. These effects should be anticipated. This means that a suite of indicators is always preferable — a single one will invite gaming and goal displacement (in which the measurement becomes the goal). For example, in the 1990s, Australia funded university research using a formula based largely on the number of papers published by an institute. Universities could calculate the 'value' of a paper in a refereed journal; in 2000, it was Aus$ 800 (around US$ 480 in 2000) in research funding. Predictably, the number of papers published by Australian researchers went up, but they were in less-cited journals, suggesting that article quality fell 10.

Jag hörde för länge sedan talas om ett engelskt lärosäte som sjönk i rankingen och som under ett helt år åt satsade allt på att återta sin position, eftersom det innebar mer PENGAR till universitetet. Så fort man ser att systemen för utvärdering får den effekten borde det finnas spärrar i systemet som slår till. I alla system som sätter KUNSKAPEN och den vetenskapliga kvaliteten i centrum finns det sådana spärrar och gör det inte det handlar systemet om något annat, oklart vad. Vi får den kunskap och kvalitet vi skapar förutsättningar för, inte de resultat vi önskar oss.

10) Scrutinize indicators regularly and update them. Research missions and the goals of assessment shift and the research system itself co-evolves. Once-useful metrics become inadequate; new ones emerge. Indicator systems have to be reviewed and perhaps modified. Realizing the effects of its simplistic formula, Australia in 2010 introduced its more complex Excellence in Research for Australia initiative, which emphasizes quality.

Jag brukar säga att om jag bara fick använda en enda synonym för kulturen jag studerar vore det FÖRÄNDRING så även den sista punkten i Leidenmanifestet skriver jag under på. Om det var med utgångspunkt i dessa 10 principer som min forskning bedömdes skulle jag kunna fokusera på det jag utbildats för och vill arbeta med, istället för som nu allt mer tvingas ut i marginalen. Även om det finns poänger för mig som kulturvetare att vara och verka där är det inte så som man skapar förutsättningar för kunskaps- och kvalitetsinriktad forskning.

Next steps

Abiding by these ten principles, research evaluation can play an important part in the development of science and its interactions with society. Research metrics can provide crucial information that would be difficult to gather or understand by means of individual expertise. But this quantitative information must not be allowed to morph from an instrument into the goal.

Den vetenskapliga bedömningen ska driva kvalitet, inte som idag vara ett led i högskolans strävan efter att göra ekonomisk vinst. Universitet är inte företag utan en samhällsinstitution med anor, som skapats för att utveckla ny och viktig kunskap. Den enda vägen leder alltid fel brukar jag säga, och Leidenmanifestet visa tydligt hur och varför det är så.

The best decisions are taken by combining robust statistics with sensitivity to the aim and nature of the research that is evaluated. Both quantitative and qualitative evidence are needed; each is objective in its own way. Decision-making about science must be based on high-quality processes that are informed by the highest quality data.

Både och, inte antingen eller är en annan tanke jag ofta upprepar. Även den tanken är integrerad i manifestet vars mål är att skapa förutsättningar för forskning som ger oss verkligt, viktig och högkvalitativ forskning. Ska samhället investera i forskning och ska pengarna användas effektivt är ovanstående tankar viktiga att ta i beaktande, annars riskerar pengarna som pumpas in i akademin att vara bortkastade.