Utformning, genomförande och resultat

3. Utformning, genomförande och resultat

Bedömning med motivering: Sammanvägd bedömning av bedömningsområdet

Tillfredsställande

Bedömargruppens slutsats är att bedömningsområdet är tillfredsställande. Bedömargruppen ser att lärosätet till viss del har systematiska former för att följa upp, utvärdera och utveckla forskningen. I forskningsmiljöerna genomförs återkommande uppföljningar och oberoende kollegiala granskningar av den forskning som bedrivs. Resultaten från både de egna utvärderingarna och externa aktörers utvärderingar används för att identifiera utvecklingsbehov och kvalitetshöjande åtgärder för forskningsmiljöerna. Bedömningsgrunden är uppfylld trots att ett sammanhållet system för detta fortfarande är under utveckling. Det saknas en systematik för processer och rutiner som ska säkerställa att resultat av genomförda granskningar och kvalitetshöjande åtgärder publiceras och kommuniceras samt får en god spridning inom och utanför organisationen. Detta innebär att den bedömningsgrunden inte är uppfylld.

Styrkor:

· Lärosätet har genomfört en extern utvärdering av hela lärosätets forskning.

· Det finns omfattande indikatordata och interna bedömningar på individnivå.

· Fakulteterna har ett pågående kvalitetssäkringsarbete.

· Lärosätet har genomfört externa kollegiala granskningar.

· Det pågår ett utvecklingsarbete för att stärka forskningsmiljöerna.

Utvecklingsområden:

· Lärosätet behöver ett sammanhållet och transparent system för att följa upp, utvärdera och utveckla forskningen.

· Lärosätet behöver uppmärksamma att individfokus riskerar att försvåra arbetet med utvecklingen av forskningsmiljöerna.

· Lärosätet behöver uppmärksamma att fakulteterna gör på olika sätt, vilket kan försvåra överblick och strategiska val.

· Lärosätet behöver ta fram en tydlig kommunikationsplan och systematik i kommunikationen av resultaten från både interna och externa utvärderingar.

Bedömningar av bedömningsgrunder:

1. Lärosätet säkerställer att dess forskningsmiljöer/forskning återkommande genomgår granskningar ur nationellt och internationellt perspektiv med stöd av kollegial granskning för att identifiera styrkor, svagheter och utvecklingsmöjligheter. Lärosätet har system för att fånga upp och ta hand om de rekommendationer som sådana granskningar ger upphov till.

Uppfylld

Motivering:

I självvärderingen och vid intervjuerna framgår att lärosätet genomför externa granskningar av forskningen och till viss del av forskarmiljöerna samt att lärosätet tar hand om de rekommendationer som kommer från granskningarna. Bedömargruppen konstaterar att många delar i detta fungerar, även om en sammanhållande helhet och överblick till viss del saknas.

En extern utvärdering av hela lärosätets forskning, eller snarare lärosätets förutsättningar att bedriva forskning, genomfördes 2017. Utvärderingen var ett led i ett uppdrag till dåvarande prorektorn, nuvarande rektorn, att utveckla ett kvalitetssystem för forskning. Inför granskningen genomfördes självvärderingar. Utvärderingen resulterade i ett antal rekommendationer, bland annat att många forskningsmiljöer var för små. Rekommendationerna har bidragit till strategiska beslut om omfördelning av medel, starkare strategiskt fokus på rekrytering, anvisningar till fakulteterna vid fördelning av forskningsanslag samt arbete mer inriktat på samverkan (i stället för organisationsförändring), där inrättandet av kunskapsmiljöer och kunskapsplattformar spelar en central roll. Ytterligare åtgärder som genomförts är omstrukturering av forskarutbildningen och inrättande av ett universitetsgemensamt forskningsråd.

Bedömargruppen ser detta som ett exempel både på hur granskning sker och hur lärosätet fångar upp och tar hand om rekommendationerna. Lärosätet ger i självvärderingen och vid intervjuerna lite oklara budskap om och hur de i fortsättningen tänker arbeta med liknande övergripande externa granskningar. Det verkar finnas planer på något liknande, men kanske med andra metoder och annan systematik. Stora övergripande och återkommande externa granskningar av hela lärosätets forskning kan vara administrativt belastande. Bedömargruppen ser positivt på att lärosätet utvecklar en modell för att hitta lämpliga nivåer och verksamhetsanpassade arbetssätt, kanske genom strategiska urval och olika grader av fördjupning.

I sin självvärdering betonar lärosätet säkerställandet av de akademiska traditionerna med återkommande kollegiala och ofta externa granskningar av enskilda forskningsarbeten och resultat (t.ex. peer-review vid seminarier, konferenser, publicering, tjänstetillsättning, forskningsfinansiering och samarbeten) som en viktig del i deras kvalitetssäkring av forskningsprocesserna. Vid intervjuerna framkom att det finns en levande seminariekultur i många delar av lärosätet. I självvärderingen nämner lärosätet processen att ansöka om externa forskningsmedel som en särskilt viktig del i kvalitetssäkringen av forskningen i och med att ansökningarna blir externt granskade via forskningsråd och liknande. Det sker även interna granskningar på lärosätet innan ansökningarna skickas in i och med att beroende på sökbelopp prefekt, dekan eller rektor ska skriva på ansökningar. Bedömargruppen håller med om att de akademiska traditionerna med kollegiala granskningar är en fundamental del i säkringen av god kvalitet i forskningsprocessen, men inte nödvändigtvis tillräckligt för denna bedömningsgrund.

Lärosätet nämner även fakulteternas återkommande granskningar av forskarutbildningen som en viktig del av kvalitetssäkringen av forskningen. Lärosätet ger goda exempel på åtgärder via uppföljning av dessa granskningar. Sex forskarutbildningar har granskats av UKÄ och diskussioner förs om hur forskarutbildningen i framtiden kan komma att utvärderas genom Treklöversamarbetet.

I självvärderingen och vid intervjuerna framkom att en viktig grund i kvalitetssystemet för forskning är underlagen som tas fram för fördelningen av fakultetsmedel. Dessa underlag tas fram via regelbundna granskningar och genomförs framför allt via fakulteterna. Det som mäts är främst individuella forskares publikationer och storleken på externa medel. Förutom dessa kvantitativa indikatordata lämnar varje forskare in en individuell årsrapport (självvärdering) som bedöms av fakultetsledningen. I några fakulteter används även externa bedömare. Sammantaget är det mycket arbete som läggs ned på detta.

Bedömargruppen förstår dessa bedömningar av individuella forskare som grunden i lärosätets nuvarande system för kvalitetsgranskning av dess forskningsverksamhet. Granskningarna ligger framför allt till grund för fördelning av individuell forskningstid och resultaten kommuniceras och används även i medarbetarsamtalen. De olika fakulteterna har olika sätt att fördela fakultetsmedel. Vissa delar ut medel till individer (individuell forskningstid) baserat på prestation eller via äskande, andra till institutioner som delar ut till individer, andra ger ut schablontid (forskningstid) till alla och till strategiska satsningar medan ytterligare andra fördelar medel kollektivt till forskningsmiljöer och till de kunskapsmiljöer och centrumbildningar som fakulteten är värd för. Vid intervjuerna framkom att systemet för fördelning av fakultetsanslag är i en förändringsfas som troligen kommer att innebära att fokus flyttas från att premiera individer till att bygga starka miljöer. Vid intervjuerna noterade bedömargruppen att det fanns en pågående debatt om finansieringsmodellen och att förändringar har genomförts eller kommer att genomföras vid de olika fakulteterna. Bedömargruppen noterade även att det fanns en viss oklarhet i hur de olika systemen för fördelning av fakultetsmedlen hänger ihop med tankar om kvalitetssystem för forskningen.

Som framgår av ovan är fakulteternas kvalitetssäkringsarbete en viktig del i lärosätets kvalitetssystem. Rektorn har gett fakulteterna i uppdrag att minst vart tredje år genomföra kollegiala granskningar av forskningens kvalitet. Resultaten från detta ska diskuteras varje år i dialogerna mellan fakultetsledningarna och universitetsledningen. I självvärderingen beskrivs att fakulteterna tar stöd av externa oberoende kollegiala granskningar, varje år eller med några års mellanrum. Dessa externa granskningar ska granska forskningens kvalitet och omfattning och utgå från forskares individuella årliga självvärderingar, fakulteternas rapporter och statistiska underlag (exempelvis publikationer och externa medel). Det finns en pågående diskussion och utvecklingsarbete när det gäller att mäta och bedöma andra aspekter än publikationer och externa medel.

I självvärderingen och vid intervjuerna framkom att de olika fakulteterna inte bara har olika sätt att fördela fakultetsmedel utan även att genomföra granskningar (både de interna och de externa). Några fakulteter nöjer sig med de granskningar av indikatordata för individuella forskarskare som görs inför fördelningen av fakultetsmedel, medan andra gör ytterligare granskningar. Ett exempel är ekonomihögskolan som med start 2020 kommer att utvärdera forskningen inom de kunskapsplattformar som har bildats runt framgångsrika forskargrupper. Vid inrättande av kunskapsplattformarna togs beslut att de varje år ska rapportera till fakultetsledningen och vart tredje år genomgå en extern utvärdering. Underlag som används för utvärderingen är en självvärdering. Uppföljningen sker med nyckeltal (publikationer, externa medel, utbildningstimmar, samverkan och pedagogisk skicklighet). Ett annat exempel är fakulteten för konst och humaniora som har inrättat ett advisory board (fyra externa professorer) som ska stötta och utvärdera fakultetens forskningsmiljöer. Den första utvärderingen inleddes januari 2020 och omfattar fakultetens centrumbildningar. Därefter kommer forskningsmiljöerna vid fakultetens institutioner att utvärderas på liknande sätt. Ett tredje exempel är Fakulteten för teknik som 2019 tog beslut om en ny version av extern granskning av forskning. Det nya sättet att arbeta innebär granskning av miljöer istället för individer. Fakultetens 15 forskningsämnen delas in i tre grupper som utvärderas av externa granskare vart tredje år. Underlaget för utvärderingen är en självvärdering från varje ämne samt indikatordata om externa medel, publikationer och storlek på forskningsämnet. Resultaten kommer inte att ligga till grund för fördelning av forskningsmedel till individer, eftersom det är grupper och miljöer som utvärderas. Resultaten kommer i stället att användas som underlag för beslut om strategiska stöd till miljöerna. Sammanfattningsvis ser bedömargruppen det som positivt att lärosätet gör bedömningar av forskningsmiljöer. Mätningar av individers prestationer för att fördela forskningstid till individer och därmed stimulera forskning är ett rimligt transparent system som kan vara kvalitetsdrivande (åtminstone kvantitetsdrivande), men är troligen inte tillräckligt för att utvärdera forskningsmiljöerna och deras forskning.

Förutom fakulteterna och institutionerna har lärosätet sex "spetsforskningsmiljöer", så kallade Linneaus University Centra. De inrättades 2012-2014 och valdes ut efter extern bedömning. De finansieras under en femårsperiod. Före utgången av en finansieringsperiod görs en extern utvärdering (inkl. självvärdering och fakulteternas yttrande) som ligger till grund för rektorns beslut om ny finansiering i fem år eller beslut om avveckling. Det är en process som bedömargruppen tycker fungerar bra med tydligt beskriven extern granskning och uppföljning. Berörda fakulteter följer dessutom upp de sex spetsforskningsmiljöerna varje år och avstämning sker vid dialogerna. De årliga uppföljningarna och dialogerna ligger till grund för rekommendationer för utveckling av respektive spetsforskningsmiljö och för nästa utvärdering.

Under 2017 inrättades två "strategiska plattformar" för att länka samman forskning och utbildning. De ska utvärderas inför utgången av sista finansieringsåret, men det är inte bestämt hur utvärderingen ska ske. Som en vidareutveckling av satsningen etablerade lärosätet 2019-2020 tre "kunskapsmiljöer", som ska fungera som en sammanhållen miljö för forskning och utbildning inom några utvalda områden. Kunskapsmiljöerna ska vara tvärvetenskapliga och möta samhällsutmaningar. De valdes ut efter extern granskning och lärosätet anger att även de ska följas upp på central nivå och rapporteras till rektorn. Kunskapsmiljöerna var vid intervjuerna allt för nyetablerade för att bedömargruppen skulle kunna säga något om dem och deras funktion i lärosätets kvalitetssystem för forskning.

Det nuvarande generella och återkommande systemet (för hela lärosätets forskning) bygger på granskning av individuella forskare. Bedömargruppen ställer sig frågande till att ett sådant system på ett bra och effektivt sätt klarar av att granska forskningsmiljöer. Bedömargruppen fann det även svårt att utläsa hur systemet håller ihop och fungerar som helhet. Att fakulteterna, centrumbildningarna och kunskapsmiljöerna har olika arbetssätt och system riskerar att försvåra överblick och transparens internt vid lärosätet, vilket skulle kunna försvåra för strategiska val för att säkra kvalitetsutveckling av forskningsmiljöerna. Men olikheterna behöver inte tolkas som negativt. Bedömargruppen fann att respektive system hade acceptans och funktionalitet inom sina områden. Lärosätet lyfte fram vid intervjuerna samt i självvärderingen att olikheterna kan ses som en del i utvecklingen av en universitetsgemensam modell för kvalitetssäkring. Även bedömargruppen ser det som ett utvecklingsområde för lärosätet att utveckla en systematik för att använda oberoende kollegiala granskningar och resultatet från dem för att främja kvalitetsutveckling av forskningsmiljöerna utifrån de olika verksamhetsdelarnas förutsättningar och behov. Det behöver inte vara lika överallt, men lärosätet behöver ha en sammanhållande överblick samt säkerställa transparens och de viktigaste kvalitetsfaktorerna.

Sammanfattningsvis ser bedömargruppen att lärosätet genomför återkommande men olika typer av granskningar av dess forskning och till viss del även av några av dess forskningsmiljöer för att identifiera styrkor, svagheter och utvecklingsmöjligheter och tar i flera fall stöd av extern oberoende kollegial granskning. Lärosätet tar även hand om resultaten från genomförda utvärderingar i sitt strategiska förändringsarbete. För kunskapsmiljöerna är det på planeringsstadiet och därmed inte säkerställt. För spetsforskningsmiljöerna (Linneaus University Centra) finns dock ett fungerande system. Bedömargruppen anser att bedömningsgrunden är uppfylld.

2. Resultat som genereras genom uppföljning och kollegial granskning publiceras och kommuniceras på ett ändamålsenligt sätt inom och utanför organisationen.

Inte uppfylld

Motivering:

I självvärderingen saknas beskrivningar och exempel på hur information om resultat från granskningar publiceras. Det saknas en strategi, övergripande plan och uppföljning av hur de kommunicerar resultaten från de olika utvärderingarna.

Resultaten från lärosätets utvärderingar verkar främst publiceras via medarbetarwebben, exempelvis resultat från den stora externa granskningen 2017, resultat av en studentenkät samt resultat från Riksrevisionens rapport. Även om bedömargruppen efter visst sökande kunde hitta informationen finns fortfarande behov av förbättringar av rapportering av resultat. Utöver medarbetarwebben verkar resultatet från den stora lärosätesövergripande externa utvärderingen från 2017 inte ha spritts utanför lärosätet. Utvärderingarna av spetsforskningsmiljöerna var också svåra att hitta via lärosätets webbplatser, och lärosätet beskriver i självvärderingen att de inte har någon plan för hur resultaten från dessa granskningar ska kommuniceras. Bedömargruppen hade även svårt att få bild av fakulteternas och institutionernas externa granskningar. Rapporterna från dessa fanns inte lätt tillgängliga. Lärosätet nämner i självvärderingen att fakulteterna hanterar resultaten från granskningarna på olika sätt, där resultat ibland förmedlas på individnivå (forskare) och i andra fall på en högre gruppnivå (fakultetsledning).

Även om en flexibilitet i rapportering kan vara fördelaktig tänker bedömargruppen att det riskerar att göra det svårt för universitetsledningen att få en överblick över hur det går för forskningen vid de olika fakulteterna. Olika rapporteringssystem gör det också svårare att jämföra kvalitet och prestationer mellan fakulteter. Transparens är en viktig aspekt av kvalitetssystemet för att bygga tillit inom organisationen. Det verkar dock inte finnas någon övergripande plan för hur resultatet av granskningen och uppföljningen ska kommuniceras internt. När det gäller extern kommunikation ser bedömargruppen att det finns behov för lärosätet att arbeta med att identifiera externa intressenter och ta fram en plan för hur kommunikationen till dem ska ske. Detta tar lärosätet själv upp i sin självvärdering. Sammantaget är kommunikation av granskningsresultat, både internt och externt, ett utvecklingsområde för lärosätet. Det finns ingen tydlig kommunikationsplan och ingen systematik i kommunikationen.