Styrning, organisation och genomförande

Bedömningsområde: Styrning, organisation och genomförande

Bedömning med motivering: Sammanvägd bedömning av bedömningsområdet

Inte tillfredsställande

Lärosätets principer för kvalitetsarbete inom forskning finns beskrivna i ett sammanhållet kvalitetsledningssystem som är gemensamt för hela lärosätet. Bedömargruppen anser att lärosätets arbete för att utveckla ett sammanhållet kvalitetsledningssystem som relateras till lärosätets övergripande mål och strategi i sig är positivt, men att det återstår ett arbete med att på ett enhetligt vis beskriva uppbyggnaden av kvalitetsledningssystemets områden, modeller, processer och aktiviteter samt hur de är uppbyggda och sammanlänkade för att säkerställa kvaliteten i forskningen. Bedömargruppen ställer sig också tveksam till att lärosätets interna förbättringscykel är kvalitetsdrivande nog, för att säkerställa banbrytande forskning av hög kvalitet vid lärosätet.

Bedömargruppen vill särskilt peka på att de indikatorer som ligger till grund för analyser och åtgärder i varierande omfattning uppfattas som relevanta och kvalitetsdrivande inom alla forskningsområden. Bedömargruppen är tveksam till att de indikatorer som lärosätet använder fångar in väsentliga aspekter, som exempelvis forskningens relevans. Bedömargruppens uppfattning är också att det finns brister i systematiken i hur åtgärdsbehov som identifieras igenom kvalitetsledningssystemet tas tillvara enligt lärosätets cykliska modell för ständigt förbättringsarbete (PDSA-cykeln). Bristerna gäller både hur olika PDSA-cykler kopplar till varandra och balansen i cykelns olika steg, där stort fokus ligger på insamling av data och beskrivning av nuläge.

Bedömargruppen menar också att lärosätet bör analysera om kvalitetsledningssystemet i sin nuvarande form i första hand är stöd för högsta ledningens beslut i övergripande och strategiska frågor, exempelvis resursfördelning och beslut om avveckling av forskningsämnen, och i andra hand är stöd för verksamhetsnära utvecklingsarbete inom lärosätets alla forskningsämnen och forskningsområden.

Enligt lärosätets självvärdering ingår en enhetlig och systematisk uppföljning och utvärdering av lärosätets forskning genom fastställda riktlin­jer med kriterier, anvisningar och mallar, en modell för utvärdering av forskningsämnen som rektor har fastställt samt årliga uppföljningsmått inom ramen för lärosätets ordinarie uppföljningsprocess. Med utgångspunkt i självvärderingen, platsbesöken och stickproven menar bedömargruppen att lärosätet löpande följer upp, samlar in och analyserar information om lärosätets forskning samt har rutiner för att omsätta uppföljningsresultat i kvalitetsutveckling, strategiska beslut och prioriteringar, framför allt på lärosätesövergripande nivå.

Lärosätets styrdokument framhåller betydelsen av att säkerställa att lärosätets forskning och forskningsmiljöer återkommande genomgår genomlysningar ur ett nationellt och internationellt perspektiv, men i den praktiska tillämpningen är systematiken för arbetet otydlig och tillämpningen begränsad. Bedömargruppen anser att lärosätet behöver säkerställa en återkommande och systematisk extern granskning av all forskning vid lärosätet, vilket enligt bedömargruppen är i linje med de styrdokument som lärosätet fastställt för arbetet med extern granskning.

Bedömargruppen har identifierat följande styrkor inom bedömningsområdet:

• Fakultetsnämndernas uppföljningar och utvärderingar av forskning är integrerade i den interna styrmodellen för verksamhetsplanering, vilket kan ge förutsättningar för att utvärderingsresultat från dessa delar av kvalitetsledningssystemet omsätts i åtgärder i den strategiska styrningen.
• Lärosätet har en fastställd medarbetarpolicy och en kvalitetspolicy som betonar allas ansvar att driva och utveckla lärosätets kvalitetskultur.
• Lärosätets nyligen inrättade kvalitetsråd kan ge goda förutsättningar för att hålla samman och stödja fortsatt utveckling av lärosätets kvalitetsarbete.

Bedömargruppen har identifierat följande utvecklingsområde inom bedömningsområdet:

• Lärosätet behöver utveckla det samlade kvalitetsledningssystemet, så att dess modeller, processer och aktiviteter inom systemets fyra områden tydligt hänger samman. Lärosätet behöver också säkerställa att beskrivningar av modeller, komponenter, processer och former för uppföljning stämmer överens i olika styrdokument.
• Lärosätet behöver tydliggöra systematiken i hur åtgärdsbehov som identifieras igenom kvalitetsledningssystemet tas tillvara i den strategiska styrningen, kvalitetsarbetet och i utvecklingen av kvalitetssystemet med stöd av lärosätets cykliska modell för ständigt förbättringsarbete (PDSA-cykeln).
• Lärosätet behöver värdera indikatorernas inriktning och den betydelse utfallet ges liksom den mängd information som samlas in i täta intervall i relation till utfallets kvalitetsdrivande effekt för lärosätets forskning inom alla forskningsområden.
• Lärosätet behöver säkerställa en återkommande och systematisk extern granskning av all forskning vid lärosätet oavsett resultat i interna analyser.

Bedömningar av bedömningsgrunder:

1. Lärosätets principer för kvalitetsarbete, ansvars- och rollfördelning och konkreta arbetsformer för säkring och utveckling av kvalitet i forskningen är fastställda och allmänt tillgängliga. De är ändamålsenligt utformade för att understödja det strategiska arbetet på alla nivåer och för att engagera både ledning och medarbetare.

Inte uppfylld

Lärosätets principer för kvalitetsarbete inom forskning finns beskrivna i ett sammanhållet kvalitetsledningssystem som är gemensamt för hela lärosätet. Bedömargruppen anser att lärosätets arbete för att utveckla ett sammanhållet kvalitetsledningssystem som relateras till lärosätets övergripande mål och strategi i sig är positivt, men att det återstår ett arbete med att på ett enhetligt vis beskriva uppbyggnaden av kvalitetsledningssystemets områden, modeller, processer och aktiviteter samt hur de är uppbyggda och sammanlänkade för att säkerställa kvaliteten i forskningen. Bedömargruppen ställer sig också tveksam till att lärosätets interna förbättringscykel är kvalitetsdrivande nog för att säkerställa banbrytande forskning av hög kvalitet vid lärosätet.

Bedömargruppen vill särskilt peka på att de indikatorer som ligger till grund för analyser och åtgärder i varierande omfattning uppfattas som relevanta och kvalitetsdrivande inom alla forskningsområden. Bedömargruppen är tveksam till att de använda indikatorerna fångar in väsentliga aspekter, som exempelvis forskningens relevans. Bedömargruppens uppfattning är också att det finns brister i hur lärosätet tar tillvara åtgärdsbehov som identifieras igenom kvalitetsledningssystemet enligt lärosätets cykliska modell för ständigt förbättringsarbete (PDSA-cykeln). Bristerna gäller både hur olika PDSA-cykler kopplar till varandra och balansen i cykelns olika steg, där stort fokus ligger på insamling av data och beskrivning av nuläge.

Av självvärderingen framgår att principer och arbetsformer för lärosätets kvalitetsarbete finns beskrivna i styrdokumenten: Kvalitetspolicy för Luleå tekniska universitet och Beskrivning av Luleå tekniska universitets kvalitetsledningssystem. Båda dokumenten är uppdaterade 2020, bland annat med anledning av lärosätets nya vision. En förändring som infördes i beskrivningen av kvalitetsledningssystemet 2020 var enligt självvärderingen att integrera de då olika kvalitetssystemen för utbildning och forskningsämnen i ett större ledningssystem. Båda dokumenten är fastställda och allmänt tillgängliga.

Styrdokumenten beskriver principer och arbetsformer för hur lärosätet arbetar för att säkerställa kvalitet i olika delar av verksamheten och hur arbetet med ständiga förbättringar bedrivs. Där framgår att kvalitetsledningssystemet är uppdelat i områdena övergripande styrnings- och ledningsprocesser, utbildning, forskning samt verksamhetsstödjande processer, och att kvalitetsarbetet inom varje område styrs och stöds genom olika dokument, processer och aktiviteter. Syftet med kvalitetsledningssystemets aktiviteter, processer och rutiner är enligt självvärderingen att säkerställa och utveckla kvalitet i samtliga verksamheter utifrån lärosätets uppdrag, vision och mål.

Aktiviteter för kvalitetssäkring och kvalitetsutveckling av forskning består enligt Beskrivning av Luleå tekniska universitets kvalitetsledningssystem av en process för inrättande, omprövning och avveckling av forskningsämnen, en modell för utvärdering av forskningsämnen, extern granskning av forskning och forskningsmiljöer, stöd till forskare samt en process för utredning av misstänkta fall av oredlighet.

Självvärderingen beskriver att PDSA-cykeln tillämpas inom alla delar av verksamheten, och stödjer och driver därmed lärosätets kvalitetsarbete. Modellen är uppdelad i fyra sammanhängande faser: planera, genomföra, följa upp och förbättra, enligt Beskrivning av Luleå tekniska universitets kvalitetsledningssystem.

Bedömargruppen anser att arbetet mot ett sammanhållet kvalitetsledningssystem kan skapa förutsättningar för helhetsgrepp, synergieffekter och effektivitet i lärosätets kvalitetssäkringsarbete. Bedömargruppen menar dock att det återstår ett arbete innan kvalitetsledningssystemet och dess områden, modeller, processer och aktiviteter samt dess inbördes relationer är sammanhållna och införda, för att systemet som helhet kan säkerställa kvaliteten i forskningen. Exempelvis ser bedömargruppen behov av att förtydliga den praktiska tillämpningen av PDSA-cykeln i det ständiga förbättringsarbetet, inte minst hur olika PDSA-cykler kopplar till varandra inom och mellan kvalitetsledningssystemets fyra områden och organisationens olika nivåer och verksamheter.

Bedömargruppen har vid en jämförelse av styrdokumenten noterat en rad inkonsekvenser mellan dokumenten, men också mellan dokumenten och lärosätets självvärdering, vilket bedömargruppen menar försvårar förståelsen av kvalitetsledningssystemet och dess praktiska tillämpning. Ett utvecklingsområde är därför att se över och säkerställa en enhetlig beskrivning av kvalitetsledningssystemet och dess innehåll i samtliga styrdokument. En enhetlighet, tydlighet och konkretisering av systemets beskrivningar är enligt bedömargruppen också en avgörande förutsättning för interna och externa intressenters förståelse av hur systemet bidrar till att lärosätet identifierar utvecklingsområden och genomför relevanta åtgärder.

Bedömargruppen konstaterar att de olika bedömningsunderlagen och platsbesöken ger en varierad bild av vad som är beslutat och planerat samt eventuellt provat och infört. Likaså menar bedömargruppen att det är otydligt om alla de aktiviteter för kvalitetssäkring och kvalitetsutveckling som listas i Beskrivningen av Luleå tekniska universitets kvalitetsledningssystem är införda och används enligt den fastställda ordningen, till exempel extern granskning av forskning och forskningsmiljöer.

Bedömargruppen ser också några väsentliga utmaningar i lärosätets Modell för utvärdering av forskningsämnen. Modellen består av tre komponenter: kvantitativa mått, forskningsämnets självvärdering och en återföringsdialog. De kvantitativa måtten följs varje år upp, och under cykelns första år är det sedan 2020 års utvärdering även obligatoriskt för samtliga forskningsämnen att lämna in en självvärdering, enligt vad som framgår av den mall för självvärdering som ingår i stickprovsmaterialet. Återföringsdialogen genomförs självvärderingsår och innebär att fakultetsnämnderna i en muntlig dialog återkopplar sina rekommendationer till prefekterna och ibland även till ämnesföreträdarna.

Underlagen och platsbesöket visar att lärosätet ger analys av kvantitativa data en central betydelse i det praktiska arbetet utifrån Modell för utvärdering av forskningsämnen. Platsbesöket förstärkte bedömargruppens bild av att fakultetsnämndernas analyser i hög grad fokuseras mot att identifiera sådant som bedömts inte fungera väl enligt uppsatta kriterier ("röda siffror"), medan sådant som bedömts fungera väl enligt uppsatta kriterier ("gröna siffror") inte verkar få samma fokus i uppföljningen. Platsbesöket visar också att de valda indikatorerna i varierande omfattning uppfattas som relevanta och kvalitetsdrivande i olika forskningsområden. Bedömargruppen är tveksam till att indikatorerna fångar in väsentliga aspekter, som exempelvis forskningens relevans. Bedömargruppen saknar samverkan, genomslag samt samband mellan forskning och utbildning i indikatorerna.

Bedömargruppen anser att om lärosätets modell för utvärdering av forskningsämnen ska fungera kvalitetsdrivande, behöver de verksamhetsnära och kvalitativt analytiska inslagen öka för att ge konstruktiv återkoppling till forskningsämnena oavsett resultatet i den kvantitativa uppföljningen. Som exempel kan här nämnas forskningsämnet Energiteknik, som ingått i granskningens stickprov. Ämnet beskrivs som starkt, stabilt och produktivt med genomgående mycket god måluppfyllelse i fakultetsnämndens rapport. Ämnet nämns, bland några andra, som ett särskilt framgångsrikt exempel i institutionens verksamhetsplan, men utöver det finns inga noteringar om hur forskningsämnet ska stödjas för utvecklas vidare och bli ännu mer framgångsrikt.

Bedömargruppen anser att lärosätet behöver förtydliga den praktiska tillämpningen av PDSA-cykeln i det ständiga förbättringsarbetet, inte minst hur olika PDSA-cykler kopplar till varandra både inom och mellan kvalitetsledningssystemets fyra områden och organisationens olika nivåer och verksamheter. Det gäller inte minst kopplingen mellan fakultetsnämndernas uppföljning och forskningens operativa verksamhet, som enligt bedömargruppen framstår som otydlig. Bedömargruppen menar därför att det hade varit en fördel för det forskningsnära utvecklingsarbetet att på institutionsnivå på ett mer utvecklat sätt dokumentera och tydliggöra vilka utvecklingsområden som ska hanteras i relation till institutionens samtliga forskningsämnen med koppling till fakultetsnämndernas uppföljning, vilka åtgärder som planeras och hur de ska resurssättas.

Bedömargruppens granskning har visat att de åtgärder som genomförs baserat på kvalitetsledningssystemets processer och aktiviteter främst innebär strategiska beslut av universitetsövergripande karaktär, och mer sällan om forskningsnära utvecklingsarbete inom forskningsämne eller forskningsområde. Bedömargruppen menar därför att lärosätet bör analysera om kvalitetsledningssystemet i sin nuvarande form i första hand är stöd för högsta ledningens beslut i övergripande och strategiska frågor, exempelvis resursfördelning och beslut om avveckling av forskningsämnen, och i andra hand är stöd för verksamhetsnära utvecklingsarbete inom lärosätets alla forskningsämnen och forskningsområden.

Sammantaget konstaterar bedömargruppen att lärosätet lägger mycket resurser i kvalitetsarbetet på att beskriva nuläget (exempelvis i ämnesföreträdarnas och fakultetsnämndernas analys av indikatorer och självvärdering), men anser att lärosätets och forskningsämnenas arbete med planering, åtgärder och förbättring är mer otydligt. Bedömargruppen konstaterar också att tiden är knapp för att införa åtgärder innan det är dags för nästa uppföljning. Bedömargruppen anser att det är en stor utmaning att få till kvalitetsförbättring med så korta tidsintervall i en långsiktig verksamhet som forskning. Bedömargruppen menar därför att lärosätets förändring av uppföljningscyklernas längd kan ge bättre tidsmässiga förutsättningar att balansera arbetet inom uppföljningscykeln utifrån PDSA-cykelns fyra steg. Bedömargruppen menar dock också att förändringen till en treårig uppföljningscykeln samtidigt försvagar kopplingen till modellen för intern verksamhetsplanering som fortfarande följer en tvåårscykel. Vid platsbesöken framkom ingen beredskap hos lärosätet att möta en sådan eventuell försvagning och bedömargruppen rekommenderar därför lärosätet att bevaka utvecklingen.

Lärosätets organisation och ansvarsfördelning för kvalitetssäkring av forskning utgår enligt självvärderingen från lärosätets arbetsordning, Rektors besluts- och delegationsordning och Verksamhetsstödets besluts- och delegationsordning. Bedömargruppen anser att ansvarsfördelningen bland befattningshavarna är ändamålsenlig och framgår med tydlighet i de centrala styrdokumenten. Dessutom beskriver lärosätet vissa utgångspunkter för ansvar i relation till kvalitetsarbetet i Kvalitetspolicy för Luleå tekniska universitet och Beskrivning av LTU:s kvalitetsledningssystem. I dokumenten finns det oklarheter i ansvaret för några processer och aktiviteter. Bedömargruppen anser att det samlade bedömningsunderlagen inte tydliggör hur befattningen som ordförande för fakultetsnämnden avgränsas mot eller är densamma som befattningen som dekan. Platsbesöket klargjorde att rollen som ordföranden i fakultetsnämnden i princip överlappar dekanrollen. Det framgick även att det finns en ny arbetsordning, som inte ingår i bedömningsunderlagen, där det framgår att rektor kan delegera vissa beslut till dekanerna. Eftersom bedömargruppen har uppfattat dekanrollen som central i kvalitetsarbetet, är detta tydliggörande viktigt.

Av självvärderingen framgår att ett kvalitetsråd inrättades under hösten 2021. Kvalitetsrådet ansvarar för att identifiera och prioritera behov av förbättringar kopplat till de processer som ingår i kvalitetsledningssystem, samt tar fram rektors årliga kvalitetsrapport som bland annat beskriver förbättringar av systemet. Införandet av kvalitetsrådet anser bedömargruppen är positivt och kan bidra till att utveckla det systematiska kvalitetssäkringsarbetet. Kvalitetsrådets arbete har dock ännu inte införts i avsedd form, enligt bedömargruppen. Det framgår exempelvis i de första kvalitetsrapporterna som till sitt innehåll inte fullt ut omfattar det uppsatta syftet att sammanfatta resultatet från det årliga kvalitetsarbetet och presentera förslag på förbättringsåtgärder inför kommande verksamhetsår. Kvalitetsrådet bör på sikt kunna bidra till en universitetsövergripande samsyn och dokumentation av genomfört kvalitetsarbete och då vara ett viktigt forum för den strategiska styrningen, enligt bedömargruppen.

Enligt självvärderingen är lärosätets webbplats ett viktigt forum för att tillgängliggöra styrande dokument, arbetsrutiner och protokoll från beslutsmöten. Andra kanaler för att sprida forskningsinformation är interna dialogmöten, arbetsplatsträffar, nämnder, olika former av råd, informationsbrev och informationsmöten med externa parter, vilket också framkom vid platsbesöken. Bedömargruppens uppfattning är att det finns kanaler och förutsättningar för publicering och kommunikation både om kvalitetsledningssystemet som sådant samt de uppföljningar och åtgärder som genomförs, vilket kan vara en god grund för engagemang i kvalitetsfrågor.

2. Lärosätet säkerställer att de löpande följer upp och kontinuerligt samlar in, analyserar och använder ändamålsenlig information med bäring på forskningens kvalitet och relevans. Detta används som underlag för kvalitetsutveckling, strategiska beslut och prioriteringar.

Uppfylld

Enligt lärosätets självvärdering ingår en enhetlig och systematisk uppföljning och utvärdering av lärosätets forskning genom fastställda riktlin­jer med kriterier, anvisningar och mallar, en modell för utvärdering av forskningsämnen som rektor har fastställt samt årliga uppföljningsmått inom ramen för lärosätets ordinarie uppföljningsprocess. Med utgångspunkt i självvärderingen, platsbesöken och stickproven menar bedömargruppen att lärosätet löpande följer upp och samlar in, analyserar information om lärosätets forskning samt har rutiner för att omsätta uppföljningsresultat som underlag i kvalitetsutveckling, strategiska beslut och prioriteringar, framför allt på lärosätesövergripande nivå.

Rektor har fastställt Modell för utvärdering av forskningsämnen som enligt självvärderingen innebär en fördjupad kollegial granskning utifrån ett antal frågor och kvantitativa mått. Modellen har tillämpats och vidareutvecklats vid lärosätet sedan 2014. Modellen syftar till att stärka lärosätets forskningsämnen samt att ge ledningen en överskådlig överblick och genomlysning av forskningsportföljen genom att belysa framgång men också synliggöra de svårigheter som forskningsämnen brottas med, enligt Modell för utveckling av forskningsämnen. Det fastställda styrdokumentet framstår för bedömargruppen som gediget och genomarbetat. Av den dokumentation som ingått i stickproven framgår också en tydlig och väl dokumenterad process från fakultetsnämndernas uppföljning till exempelvis strategiska beslut som rektor har fattat.

Så här långt har fakultetsnämndernas uppföljningar genomförts i tvååriga cykler, men ett beslut från 2021 innebär, enligt självvärderingen, att cyklerna framöver kommer att vara treåriga. Under år ett i cykeln granskar nämnderna alla forskningsämnen utifrån tre komponenter: kvantitativa data, självvärdering och återföringsdialog. Under det andra året (och framöver även det tredje året) i cykeln genomförs en uppföljning utifrån kvantitativa data och, vid behov, extern granskning.

Modellens första komponent, de kvantitativa måtten, följer enligt självvärderingen och Modell för utvärdering av forskningsämnen upp antalet ersättningsberättigade artiklar och konstnärliga produktioner, andelen högkvalitativa artiklar och konstnärliga produktioner, andelen forskningsämnen med hög handledarkapacitet, andelen extern forskningsfinansiering samt antalet adjungerade professorer och gästprofessorer. Måtten följs upp per forskningsämne, institution och i den lärosätesövergripande uppföljningen samt är kopplade till lärosätets modell för resursfördelning.

Den andra komponenten, självvärderingen, blev obligatorisk för samtliga forskningsämnen från 2020 års utvärdering, enligt vad som framgår av den mall för självvärdering som ingår i stickprovsmaterialet. I självvärderingen ska ämnesföreträdaren kommentera resultatet av indikatordata samt kortfattat beskriva och värdera ämnets måluppfyllelse och kompetensförsörjning utifrån rubrikerna: externfinansiering, personalgruppens sammansättning, doktorandgruppens sammansättning och finansiering, ämnets betydelse för utbildning på grundnivå och avancerad nivå, forskningsämnets resultat (produktion av vetenskapliga artiklar eller konstnärliga produktioner, antal doktorsexamina), forskningsämnets relevans och betydelse i form av genomslag i akademin och samhället samt beskriva hur ämnet kan leva upp till lärosätets vision.

Den tredje komponenten, återföringsdialogen, innebär att fakultetsnämnden i en muntlig dialog återkopplar ämnesspecifika åtgärdsbehov som identifierats av fakultetsnämnden till de berörda prefekterna och ibland också till berörda ämnesföreträdare.

Resultaten från fakultetsnämndernas uppföljningar är inspel till den ordinarie planerings- och uppföljningsprocessen, för att säkerställa att identifierade åtgärdsbehov och förbättringsaktiviteter tas med i institutionernas verksamhetsplaner för kommande verksamhetsperiod. Resultaten kan också medföra särskilda strategiska satsningar på lärosätesövergripande nivå som fastställs av rektor, enligt självvärderingen.

Av instruktionerna i mallen för institutionernas verksamhetsplaner framgår att fakultetsnämndernas uppföljningar ska beaktas. I de verksamhetsplaner som ingått som underlag i granskningen har bedömargruppen funnit exempel på konkreta forskningsämnesspecifika åtgärder som beskrivs i fakultetsnämndernas rapporter genom att forskningsämnet Prospekteringsgeofysik har gjort en utredning som start inför omprövningen, med hjälp av en extern person. Utredningen föreslår en omstrukturering i form av en förändrad ämnesbeskrivning. I en annan verksamhetsplan för institutionen för hälsa, lärande och teknik anges åtgärder i relation till forskningsämnet pedagogik. Dessutom finns mer översiktliga formuleringar som anger att institutionen kommer att inkludera synpunkterna från fakultetsnämndernas rapporter i institutionens kommande utvecklingsarbeten.

Sammantaget anser bedömargruppen att även om verksamhetsplanerna har ett ambitiöst och välstrukturerat upplägg och innehåll, antar dokumenten av förklarliga skäl i första hand ett institutionsövergripande perspektiv. Den ämnesspecifika kopplingen till fakultetsnämndernas uppföljningar blir därmed, enligt bedömargruppen, inte tillräckligt specificerad för att ge belägg för att lärosätet faktiskt gör de åtgärder som krävs för att förbättra och utveckla lärosätets forskning oavsett resultatet i de kvantitativa måtten.

Att fakultetsnämndernas uppföljningar har en tydlig koppling till den interna styrmodellen för verksamhetsplanering (som genomförs i en tvåårscykel) kan enligt bedömargruppen ge förutsättningar för att resultat från de delarna av kvalitetsledningssystemet omsätts i åtgärder. Den beslutade förändringen av förbättringscykelns längd (från tvåårig till treårig) kan, som tidigare framförts, enligt bedömargruppen innebära att den styrkan i lärosätets kvalitetsarbete försvagas framöver. Vid platsbesöken framkom ingen beredskap hos lärosätet att möta en sådan eventuell försvagning och bedömargruppen rekommenderar därför lärosätet att bevaka utvecklingen.

Bedömargruppen anser sammantaget att lärosätet löpande följer upp och kontinuerligt samlar in, analyserar och använder ändamålsenlig information med bäring på forskningens kvalitet och relevans genom en gedigen och genomarbetad modell. Arbetsrutinerna föreföll också som väl etablerade och, i huvudsak, accepterade av lärosätets medarbetare vid platsbesöket. Det är en styrka att resultaten från fakultetsnämndernas uppföljningar och utvärderingar är inspel till den interna styrmodellen, för att säkerställa att institutionernas verksamhetsplaner för kommande verksamhetsperiod tar med identifierade åtgärdsbehov och förbättringsaktiviteter. Samtidigt är det inte helt klart för bedömargruppen hur det konkreta arbetet går till när institutionerna och forskningsämnena ska definiera åtgärder och omsätta dem i praktiskt utvecklingsarbete.

3. Lärosätet säkerställer att deras forskning/forskningsmiljöer återkommande genomgår granskningar ur nationellt och internationellt perspektiv med stöd av kollegial granskning. Granskningarna sker på ett ändamålsenligt vis för lärosätet. Lärosätet fångar systematiskt upp och tar hand om de rekommendationer som sådana granskningar ger upphov till.

Inte uppfylld

Lärosätets styrdokument Riktlinjer för extern granskning av forskning, forskarutbildning och forskningsmiljöer framhåller betydelsen av att säkerställa att lärosätets forskning och forskningsmiljöer återkommande genomgår genomlysningar i nationellt och internationellt perspektiv. Men bedömargruppen anser att systematiken för arbetet är otydlig i den praktiska tillämpningen och tillämpningen är begränsad. Bedömargruppen anser att lärosätet behöver säkerställa återkommande och systematisk extern granskning av all forskning vid lärosätet, vilket är i linje med de styrdokument som lärosätet fastställt för arbetet med extern granskning enligt bedömargruppen.

Kvalitetsarbetet inom forskning stödjs av de aktiviteter och processer som ingår i lärosätets kvalitetsledningssystem och syftar till både kvalitetsuppföljning och kvalitetsutveckling. I Modell för utvärdering av forskningsämnen ingår som tidigare nämnts tre komponenter: kvantitativa mått, en självvärdering som skrivs av ämnesföreträdaren samt en återföringsdialog mellan fakultetsnämnden och institutionen. Utifrån de tre komponenterna summerar och identifierar lärosätet behovet av åtgärder. Resultaten av fakultetsnämndernas uppföljningar ligger till grund för eventuellt beslut om extern granskning. Enligt det fastställda styrdokumentet Riktlinjer för extern granskning av forskning, forskarutbildning och forskningsmiljöer kan lärosätet göra extern granskning för att få en extern bedömning av kvaliteten på forskningen och rekommendationer för utveckling. Extern granskning kan också initieras i samband med omprövning eller avveckling av forskningsämnen, i relation till lärosätets forskningsstrategiska satsningar, för uppföljning av forskningsmiljöer och forskningsämnen vars kvalitet tidigare ifrågasatts av UKÄ samt för att hämta in råd om hur lärosätet bäst kan stödja utveckling av ett ämne eller ämnesområde. De kriterier som tillämpas är i bedömargruppens mening breda och otydliga och ger inte grund för systematik i urvalet.

Av Riktlinjer för extern granskning av forskning, forskarutbildning och forskningsmiljöer framgår också att extern granskning används för att ge underlag till beslut samt säkerställa att lärosätets forskning och forskningsmiljöer återkommande genomgår genomlysningar i nationellt och internationellt perspektiv. Lärosätet preciserar inte vad återkommande betyder och har ingen tidplan för när extern granskning av olika forskningsämnen ska göras. Det är därför otydligt för bedömargruppen på vilka grunder beslut om extern granskning fattas, liksom hur tidshorisonten för återkommande externa granskningar ser ut för respektive forskningsämne. Systematiken och regelbundenheten i när lärosätet gör externa granskningar är enligt granskningens skriftliga underlag därför oklar för bedömargruppen. Den bilden förstärktes ytterligare vid platsbesök två. Att kriterierna för extern granskning är otydliga och att den externa granskningen inte omfattar samtliga forskningsämnen medför att bedömargruppen inte kan säga att lärosätets forskning genom fastställt kvalitetsledningssystem återkommande genomgår granskningar ur ett nationellt och internationellt perspektiv med stöd av kollegial granskning.

Bedömargruppen har funnit att extern granskning används mycket sparsamt vid lärosätet. Sedan 2015 har extern granskning av forskning bara möjliggjorts för 3 av 65 forskningsämnen (Stålbyggnad och Konstruktionsteknik som genomfördes 2018 samt Prospekteringsgeofysik som fortfarande pågick våren 2022), enligt lärosätets lämnade uppgift i samband med det första platsbesöket. Vid det andra platsbesöket bekräftades att den begränsade användningen av extern granskning är ett aktivt val som lärosätets ledning har gjort. Vid platsbesöket uttryckte medarbetare på olika nivåer i organisationen också sitt stöd för att det interna uppföljningssystemet i hög grad är tillräckligt som uppföljningsinstrument, och att extern granskning därför inte behövs. Bedömargruppen instämmer inte i den hållningen och menar samtidigt att den inte är i linje med de styrdokument som lärosätet har fastställt för arbetet med extern granskning (Riktlinje för extern granskning av forskning, forskarutbildning och forskningsmiljöer).

Bedömargruppen har utifrån stickproven dock konstaterat att extern granskning har genomförts vid fler tillfällen än vad lärosätet lämnat uppgift om. Stickproven visar att forskningsämnena engelska med didaktisk inriktning, matematik och lärande, svenska med didaktisk inriktning och pedagogik genomgick extern granskning 2021. De underlag som ingår i granskningens stickprov för forskningsämnet pedagogik visar på en tydlig dokumentation och koppling mellan fakultetsnämndens uppföljning och rapport, fakultetsnämndens dialog med rektor, beslut om extern granskning för forskningsämnet pedagogik, en ny extern granskningsgrupp, granskningsgruppens yttrande (felaktigt rubricerad som granskning av forskarutbildning vid LTU och PSÄ) som innehåller en genomlysning och konstruktiva förslag på åtgärder för utveckling av forskningsämnet pedagogik, uppdrag om handlingsplan till prefekten, koppling till institutionens verksamhetsplan, rektors beslut om strategisk satsning i form av fördelning av särskilt anslag för lärar- och förskollärarutbildningar och en akademi för lärande. Det här är enligt bedömargruppen ett gott exempel som tydligt visar hur extern granskning har genomförts på ett ändamålsenligt vis för lärosätet och också bidragit i arbetet med kvalitetsutveckling, strategiska beslut och prioriteringar.

Bedömargruppen menar att en kvalitetsdrivande uppföljningsmodell har mycket att vinna på att återkommande låta verksamheten speglas i externa perspektiv, som exemplifierats ovan för forskningsämnet pedagogik. Bedömargruppen tycker sig också få stöd för uppfattningen om värdet av extern granskning av forskning i lärosätets ständiga förbättringsarbete i de styrdokument som är fastställda av lärosätet. Bedömargruppens anser därför att lärosätet behöver se till att all forskning återkommande och systematiskt genomgår extern kollegial granskning enligt den fastställda ordningen oavsett resultatet i lärosätets interna uppföljningar.