Utformning, genomförande och resultat

Sammanvägd bedömning av bedömningsområdet

Inte tillfredsställande

Lärosätet har utvecklat ett kvalitetssystem för forskning som delvis fungerar tillfredsställande. Bedömargruppen kan utifrån självvärderingen och övrig inskickad dokumentation samt vad som framkommit vid intervjuerna konstatera att lärosätets forskningsverksamhet regelbundet följs upp internt och att rekommendationer som kommer ut av uppföljningar tas om hand i berörda verksamheter och bidrar till att utveckla dem. Inslagen av oberoende kollegial granskning är dock bristfälligt i det nuvarande systemet. Den föreslagna formen av utvärderingar är principiellt adekvat men berör inte samtliga forskningsmiljöer vid lärosätet. Eftersom systemet inte är infört går det inte heller att utvärdera det på ett tillfredsställande sätt.

Lärosätet är på god väg att etablera tillfredsställande rutiner för intern kommunikation av resultaten från uppföljning och kollegial granskning av forskning men har ännu inte etablerat motsvarande rutiner för extern kommunikation. Vilka rapportslag som regelbundet ska kommuniceras utåt och hur är inte fastställt. På ett övergripande plan brister lärosätets kvalitetssystem för forskning i tydlighet, transparens och effektivitet. Tre olika system tillämpas parallellt för olika organisatoriska entiteter, vilket bedömargruppen efter intervjuerna kan konstatera skapar merarbete och ger sämre förutsättningar för likvärdighet och transparens för olika verksamheter och för forskare inom olika miljöer.

Bedömargruppen har identifierat följande styrkor:

· Lärosätet genomför en uppföljning av vitala forskningsmiljöer och Primus varje år på ett tillfredsställande sätt genom väl genomarbetade självvärderingsrapporter. Styrkor, svagheter och utvecklingsmöjligheter identifieras och resultaten återkopplas till verksamheterna efter genomgång i FUN, eller vad gäller Primus av rektor.

· I Primus och vid flera institutioner används externa sakkunniga för att bedöma prioriteringen och fördelningen av interna projektanslag. Bedömargruppen ser utifrån intervjuerna positivt på det sätt som förfarandet tillämpas vid lärosätet och bedömer att det verkar kvalitetsdrivande.

· Resultaten från uppföljningen kommuniceras internt genom publicering på intranät och diarieföring samt diskuteras på olika nivåer i berörda verksamheter.

Bedömargruppen har identifierat följande utvecklingsområden:

· Den årliga uppföljningen av övrig forskning vid institutionerna har begränsad omfattning, och återkopplingen från FUN är mer summarisk än för vitala forskningsmiljöer. Eftersom övrig forskning även inbegriper mer omfattande forskningsmiljöer behöver detta ses över, så att forskningsverksamheterna vid lärosätet behandlas mer likvärdigt för uppföljning och utvärdering.

· Återkommande utvärderingar av lärosätets forskningsmiljöer med externa sakkunniga planeras för vitala forskningsmiljöer i det nuvarande kvalitetssystemet. Primus utvärderas på motsvarande sätt inom ramen för KK-stiftelsens kvalitetssystem. Lärosätet behöver säkerställa att även forskningsmiljöer som inte ingår i de vitala forskningsmiljöerna eller Primus genomgår återkommande utvärdering.

· Kvalitetssystemet är på ett övergripande plan ineffektivt och otydligt genom sin uppdelning i tre parallella system. Lärosätet behöver se över kvalitetssystemet för att skapa ett mer sammanhållet system och säkerställa att alla forskningsmiljöer vid lärosätet inkluderas på ett ändamålsenligt sätt. Bedömargruppen vill framhålla att många delar i ett sådant sammanhållet system redan är på plats inom ramen för det befintliga kvalitetssystemet, där den årliga uppföljningen och de planerade återkommande utvärderingarna av de vitala forskningsmiljöerna kan vara en bärande stomme för ett utvecklat och mer sammanhållet framtida system.

3.1. Lärosätet säkerställer att dess forskningsmiljöer/forskning återkommande genomgår granskningar ur nationellt och internationellt perspektiv med stöd av kollegial granskning för att identifiera styrkor, svagheter och utvecklingsmöjligheter. Lärosätet har system för att fånga upp och ta hand om de rekommendationer som sådana granskningar ger upphov till.

Inte uppfylld

Motivering: I självvärderingen beskrivs den modell som lärosätet tillämpar för återkommande granskningar. Lärosätet har under de senaste åren genomfört en hel del förändringar av kvalitetssystemet, och det är därför många delar av det aktuella systemet som ännu är oprövat. Kvalitetssystemet för forskning har tre olika spår, där lärosätet följer upp KK-miljön Primus, sina vitala forskningsmiljöer och institutionernas övriga forskning på tre olika sätt.

De återkommande granskningar som lärosätet tillämpar har huvudsakligen karaktären av årlig uppföljning genom rapporter från vitala forskningsmiljöer och institutioner som granskas av FUN. Primus granskas av rektorn. De vitala forskningsmiljöerna gör en fördjupad rapport varje år, medan institutionernas övriga forskning följs upp mer noggrant vart tredje år. Externa och internationella granskare engageras inte i årscykler för de vitala forskningsmiljöerna och institutionerna. För Primus involveras externa sakkunniga för bedömning av interna projektansökningar. Vid intervjuerna framkom att det även inom institutionerna tillämpas bedömningsprocesser som involverar externa sakkunniga när det gäller att prioritera stöd till forskningsprojekt med interna anslagsmedel.

När det gäller återkommande extern granskning har lärosätet lagt om sitt system (2019) och ännu inte genomfört någon av de utvärderingar som enligt systemet ska komma att genomföras vart fjärde till sjätte år för de vitala forskningsmiljöerna. Utvärderingarna ska bygga på en självvärderingsrapport inklusive en SWOT-analys som bedöms av två externa granskare som besöker miljön och ger en skriftlig återkoppling. Det system som beskrivs bör teoretiskt ha goda förutsättningar att svara mot bedömningsgrundens krav, men går inte i dagsläget att bedöma eftersom ingen sådan utvärdering har genomförts. En betydande svaghet är dock att detta system bara innefattar de vitala forskningsmiljöerna och därmed inte fångar upp den forskning och de forskningsmiljöer som befinner sig utanför dem. Forskningsverksamheten vid institutionen för hälsovetenskap ligger till exempel utanför de vitala miljöerna och ingår därför inte i det system för återkommande granskning av externa sakkunniga som planeras.

Självvärderingen betonar att kollegial granskning är en integrerad del av lärosätets forskningsmiljöer mot bakgrund av att det är en naturlig del av processerna för vetenskaplig publicering och tilldelning av forskningsanslag. Lärosätet beskriver också de interna systemen för årlig uppföljning som kollegiala granskningssystem med förklaringen att FUN är kollegialt tillsatt. Med kollegial granskning av vetenskaplig kvalitet avses dock normalt bedömning av ämnessakkunniga som är oberoende av lärosätet, eller forskningsmiljön, inte lärosätesgemensamma kollegiala forum. Även om inslag av kollegial granskning som ingår naturligt i vetenskaplig verksamhet i samband med publicering och anslagstilldelning med viss automatik säkerställer att den forskning vid lärosätet som publicerar sig och tilldelas anslag återkommande genomgår granskningar, bidrar detta inte i sig till att bedömningsgrunden kan anses uppfylld. Att externa sakkunniga återkommande involveras i interna anslagstilldelningsprocesser inom institutioner och forskningsmiljöer är positivt, och vid intervjuerna har man lyft fram betydelsen av de sakkunniga som kvalitetsdrivande processer. Bedömningsgrunden avser dock huvudsakligen lärosätets säkerställande av att återkommande granskningar av forskningsmiljöerna och den forskning som bedrivs vid lärosätet genomförs, där ämnessakkunniga får möjlighet att ur ett nationellt och internationellt perspektiv bedöma verksamheternas svagheter, styrkor och utvecklingsmöjligheter, samt återkoppla detta till lärosätet på ett systematiskt sätt.

Bedömargruppen rekommenderar lärosätet att se över sitt övergripande kvalitetssäkringssystem och inkludera all forskningsverksamhet på ett tydligare sätt i de fördjupade utvärderingar som inbegriper extern sakkunnig bedömning. Lärosätet har redan lagt en bra grund i de årliga processer som tillämpas för de vitala forskningsmiljöerna. Vid granskning av rapporter och protokoll från FUN för 2017 och 2018 framgår att systemet på ett tillfredsställande sätt fångar upp styrkor, svagheter och utvecklingsmöjligheter, och att detta återkopplas systematiskt till verksamheterna.

Bedömargruppen rekommenderar även lärosätet att samla de styrdokument som avser kvalitetssystemet i ett sammanhållet paket som bereds av FUN och beslutas av rektorn. Bedömargruppen föreslår att lärosätet utformar ett sammanhållet system som klarar av att följa upp kvaliteten i forskningsverksamheterna oavsett forskningsinriktning och tradition. Därigenom minskar behovet av lokala styrdokument för kvalitetssäkring vid institutioner och forskningsmiljöer, vilket ökar kvalitetssystemets överskådlighet, effektivitet och likvärdighet.

Sammanfattningsvis anser bedömargruppen att bedömningsgrunden inte är uppfylld i dagsläget, eftersom den del av kvalitetssäkringssystemet som fyller den funktionen ännu inte har tillämpats. Den planerade strukturen för utvärderingar av vitala forskningsmiljöer i 4–6-årscykler är dock principiellt tillfredsställande i sitt format. Däremot är systemet inte heltäckande, eftersom institutionernas övriga forskning inte ingår. Detta är en betydande brist. Det övergripande kvalitetssystemet för forskning har en betänklig svaghet i dess uppdelning på tre olika delsystem, vilket gör det svåröverskådligt och ineffektivt. Det är huvudsakligen de vitala forskningsmiljöerna som omfattas av den återkommande kollegiala granskning som åsyftas i den här bedömningsgrunden. KK-miljön har ett eget system som återkopplas separat liksom övrig forskning vid institutionerna.

3.2. Resultat som genereras genom uppföljning och kollegial granskning publiceras och kommuniceras på ett ändamålsenligt sätt inom och utanför organisationen.

Inte uppfylld

Motivering: Det framgår i självvärderingen att de centrala dokument som ingår i kvalitetssäkringssystemet kommuniceras internt inom lärosätet genom intranätet. Verksamhetsuppföljningar och rapporter publiceras öppet där, och protokoll från FUN görs tillgängliga genom diariet. Valda delar publiceras även internt i nyhetsbrev från FUN och respektive institutionsnämnd, samt muntligt till ledamöter under nämndmöten. På den externa webbplatsen publiceras i regel inte resultaten från det systematiska kvalitetssäkringsarbetet. Där publiceras snarast pågående verksamhet och resultat från pågående forskning, även om resultat från uppföljningar och utvärderingar kan inkluderas i externa nyhetsbrev. Lärosätet anger i självvärderingen en tillfredsställelse över det interna systemet för kommunikation om kvalitetssäkringsarbetet, men ser svagheter i det externa kommunikationsarbetet som bedöms vara ett viktigt utvecklingsområde. Lärosätet anser att den externa kommunikationen om forskningsverksamheten som sådan i stort är tillfredsställande.

Lärosätet har själv identifierat svagheter i den externa kommunikationen av resultat från uppföljning och kollegial granskning. I självvärderingen och vid intervjuerna framgår dock en viss sammanblandning mellan extern kommunikation av forskningsverksamheten i sig och av resultaten från den systematiska kvalitetssäkringen. Det framgår av dels självvärdering, dels kompletterande handlingar och från intervjuer att lärosätet har tillfredsställande rutiner för intern publicering av vitala dokument i systemet.

Bedömargruppen anser att lärosätet bör utveckla en kvalitetsuppföljningsdel på den externa webbplatsen samt ange i styrdokumenten vilka dokument som rutinmässigt ska publiceras där. Lärosätet behöver utveckla en systematisk intern kommunikation med anställda och studenter om resultaten och det kontinuerliga arbetet med kvalitetssäkring vid lärosätet. Bedömargruppen rekommenderar också att lärosätet säkerställer att viktig information om och resultat från det systematiska kvalitetssäkringsarbetet tillgängliggörs även på engelska.

Sammanfattningsvis bedömer bedömargruppen att bedömningsgrunden i dag inte är uppfylld mot bakgrund av brister i systematik och rutiner för kommunikation av resultat från uppföljning och kollegial granskning utanför den egna organisationen.