Vi må tenke nytt om forskningsvurdering

Jeg har i noen år vært norsk representant i European University Associations ekspertgruppe «Science 2.0/Open Science». Der har vi blant annet diskutert utviklingen av en felles-europeisk standard for vurdering av forskning og forskere. I en artikkel i Khrono argumenterer jeg for at dette vil være et sentralt virkemiddel for å få til en omstilling til åpen forskning.

Overgangen til Åpen forskning

Åpen forskning er på alles lepper om dagen. Det har vært mest fokus på en overgang til åpent tilgjengelige publikasjoner, men minst like viktig er det å legge til rette for åpenhet rundt forskningsprosessen, metodene som benyttes, dataene som samles inn, og analysene som utføres. I en stresset hverdag er det mange som tyr til slike enkle, kvantitative tellekanter, til tross for at disse målene aldri var ment for å brukes på individnivå.

En slik omstilling dreier seg ikke bare om utvikling av nye teknologiske hjelpemidler eller forlagsavtaler. Det er også viktig å se på hvordan ulike insentiver og belønningssystemer kan være med på å skape mer åpenhet. For mange koker dette ned til hvordan vi definerer forskningskvalitet, og hvordan forskning og forskere vurderes. Dette er ikke en lett oppgave. Det dreier seg tross alt om grunnlaget for en forskers væren eller ikke væren. Hvem får prosjektmidler, hvem får stillinger og hvem får opprykk?

Forskningskvalitet

De fleste forskningsinstitusjoner og forskningsfinansiører har kriterier for hvordan man vurderer forskningskvalitet. Noen av disse er kvalitative, ofte basert på komité- eller fagfellevurdering. Andre er mer kvantitative, f.eks. basert på antall publiserte artikler, hvilken Journal Impact Factor (JIF) som gjelder for tidsskriftet man publiserer i, eller en forskers siteringstall (h-index).

I en stresset hverdag er det mange som tyr til slike enkle, kvantitative tellekanter, til tross for at disse målene aldri var ment for å brukes på individnivå. Dette er også hovedpoenget i Dora-erklæringen, som tar til orde for at forskning skal vurderes med utgangspunkt i forskningen selv, og ikke hvor den har blitt publisert.

Uheldig telling av artikler synliggjør en kanskje større utfordring i dagens forskningslandskap: det sterke fokuset på tidsskriftsartikler som det eneste som har «verdi» i belønningssystemet. Når hovedmålet er en bestemt type publikasjoner, nedtones de andre «pilarene» i en Åpen forskning-modell, slik som tilgjengeliggjøring av data, kode, utdanningsmateriale, osv. Det argumenteres for at det er vanskelig å «telle» slike aktiviteter, og at det er mye enklere å forholde seg til publiserte artikler som en kvantitativ størrelse. Men selv om noe er vanskelig å telle, er det ikke sikkert at det ikke har verdi. Tvert imot er noe av motivasjonen for en overgang til Åpen forskning, at en åpenhet og deling av de andre delene av forskningsprosessen er viktig for å styrke forskningskvaliteten generelt.

Epler og pærer

Som forsker, forskningsleder, tidligere instituttleder, og nåværende senternestleder, har jeg vært involvert i en rekke komiteer for å vurdere både forskere og forskningsprosjekter. Min erfaring fra dette arbeidet, både nasjonalt og internasjonalt, er at det er stor variasjon i hva som vurderes og hvordan det vektlegges. Dette skaper ofte forvirring i komiteene, som må forholde seg til ulike retningslinjer for hver institusjon eller forskningsfinansiør de rapporterer til. Det er like fortvilende for forskerne som må tilpasse søknader og CV-er til ulike kriterier for hver stilling eller prosjekt de søker.

Tiden er overmoden for å tenke nytt om hvordan vi vurderer forskningskvalitet. Ikke minst er det viktig å se dette i sammenheng med omstillingen til Åpen forskning. I Norge har UHR og Forskningsrådet allerede startet opp arbeidet på nasjonalt nivå, og gjennom European University Association og Science Europe er vi med på diskusjoner også på europeisk nivå.

Forskningsvurdering og Åpen forskning er temaet for en workshop i Brüssel 14. mai, organisert av nettopp EUA og Science Europe. Til sammen dekker disse to paraplyorganisasjonene de fleste universitetene og forskningsfinansiørene i Europa, og er derfor nøkkelspillere i den videre utviklingen.

Litt forenklet kan man si at forskningsrådene vurderer forskning, primært i form av forskningsprosjektsøknader, mens universitetene vurderer forskere, i forbindelse med tilsetting og merittering. Selv om oppgavene er forskjellige, er det viktig å bli enige om felles strategier for hvordan vi vurderer forskningskvalitet. Målet er ikke at alle skal bli like, men det er et ønske om å utarbeide noen felles kriterier, og en felles forståelse av hvordan disse kriteriene skal brukes.

OS-CAM

Inspirasjon til arbeidet med felles kriterier for forskningsvurdering kommer fra EU-arbeidsgruppen Working Group on Rewards, som foreslo en «Open Science Career Evaluation Matrix» (OS-CAM) i 2017. OS-CAM består av totalt 23 kriterier som er delt inn i seks hovedkategorier:

  1. Forskningsresultater
  2. Forskningsprosess
  3. Organisasjon og ledelse
  4. Samfunnsnytte (impact)
  5. Undervisning og veiledning
  6. Realkompetanse

Mange av kriteriene er gjenkjennbare for de som har søkt på stillinger eller prosjekter. Det er også meningen. Hjulet skal ikke finnes opp på nytt, men tilpasses til en internasjonal forskerverden.

En av de nye tingene med OS-CAM er flere underkriterier som spesifikt dreier seg om åpen forskning. Ikke bare antall åpent tilgjengelig publikasjoner, men også deling av data og kode. OS-CAM er bare et utgangspunkt for diskusjonen, og vil helt sikkert måtte justeres og tilpasses en kompleks virkelighet hvis den skal implementeres bredt. Målet er uansett å se på hvordan vi kan utvikle en felles-europeisk standard for vurdering av forskning og forskere.

Det vil i tilfelle være en stor forenkling for både de som søker og de som vurderer. Det vil også kunne vise seg å være et helt sentralt virkemiddel for å få til en omstilling til Åpen forskning.