Utformning, genomförande och resultat

Inte tillfredsställande

Lärosätets kvalitetssystem är i sin linda och det saknas tillräckligt med belägg för att visa att förbättringscykelns alla delar fungerar. Det finns ännu ingen etablerad arbetsform när det gäller hur resultaten från de periodiska granskningarna – kollegiala granskningar och tematisk kvalitetsutveckling – kommer till användning praktiskt i exempelvis verksamhetsplanerna och bidrar till kvalitetsutveckling av utbildningarna, eftersom resultaten från de kollegiala granskningarna inarbetas i verksamhetsplanen först 2022. Bedömargruppen anser också att det är en svaghet i systemet att det finns flera exempel på bristande information till studenterna, till exempel gällande deras deltagande i råd och lärarnas återkoppling på kursvärderingar. Inte minst under coronapandemin har också ändringar av examinationsformer kort före examinationstillfället behövt ske, men bedömargruppen vill framhålla betydelsen av att studenterna informeras om alla slags förändringar i så god tid som möjligt.

Sammantaget anser bedömargruppen att lärosätet har följande styrkor inom bedömningsområdet Utformning, genomförande och resultat:

· Det finns en tydlig ansvarsfördelning samt ändamålsenliga rutiner och processer för utformning, utveckling, inrättande och nedläggning av utbildningar.

· Det är positivt att sambandet mellan forskning och utbildning är en kvalitetsaspekt som ingår i de kollegiala granskningarna, där det är fokus på att säkerställa att lärarna är forskningsaktiva och disputerade.

· Lärosätets modell för att mäta utbildningens forskningsanknytning är ett bra verktyg för att värdera utbildningens forskningsanknytning.

· Det är positivt att lärosätet arbetar aktivt med att säkra förutsättningarna för examinatorerna, bland annat genom att genomföra examinatorsutbildningar och seminarieserier.

Bedömargruppen har identifierat följande utvecklingsområden:

· Lärosätet bör säkerställa att rutiner där läraren presenterar resultaten från föregående kursvärdering för studenterna tillsammans med de förändringar som gjorts och övriga reflektioner som följt av resultaten från kursvärderingen genomförs på alla kurser, vilket inte är fallet i dag. Låg svarsprocent på kursvärderingarna gör att lärarna bör ha fokus på att berätta om vad kursvärderingarna används till, så att studenterna kan se vilka förändringar som utvärderingarna leder till.

· Lärosätet bör samla in kursvärderingar på forskarutbildningskurser systematiskt.

· Lärosätet bör säkerställa att information alltid når studenterna i god tid, bland annat om deras deltagande i råd och om ändringar av examinationsformer.

· Lärosätet bör säkerställa att sambandet mellan forskning och utbildning är tydligt för ämnesansvariga, kursansvariga och lärare.

· Lärosätet bör säkerställa att den tematiska kvalitetsutvecklingen blir en integrerad del av lärosätets budget- och verksamhetsplaneringsprocess.

3.1 Lärosätet har en tydlig ansvarsfördelning samt ändamålsenliga rutiner och processer för utformning, utveckling, inrättande samt nedläggning av utbildningar.

Uppfylld

Bedömargruppen anser att lärosätet har en tydlig ansvarsfördelning samt ändamålsenliga rutiner och processer för inrättande, utformning, utveckling och nedläggning av utbildningar.

Av självvärderingen framgår det att lärosätet har en rutin för inrättande och avveckling av utbildningsprogram. Arbetet inleds med att akademin som är värd för det blivande utbildningsprogrammet ansöker hos rektorsfunktionen om att få inrätta programmet. Syftet med detta är att lärosätets centrala ledning ska ta ställning till om programmet ligger i linje med lärosätets strategier och långsiktiga verksamhetsmål.

Lärosätet har en process där utbildningarnas utbildningsplan och kursplaner utvecklas lokalt i ämnesgrupperna på akademierna, varpå utbildnings- och forskningsnämnden bland annat värderar om programmet lever upp till den målmatris som lärosätet har för att säkerställa att programmets kurser och de tillhörande lärandemålen leder till att studenterna når sina examensmål.

Utbildnings- och forskningsnämndens (UFN) genomgång av ansökningar om att inrätta nya utbildningar genomförs som en kollegial granskning av nämndens ledningsmöten, där det också värderas om det finns behov av en ytterligare värdering av externa bedömare. Bedömargruppen anser att den processen är positiv. Det är också positivt att lärosätet gör en grundlig beskrivning av vad som ska redogöras för i ansökningen till rektorns ledningsgrupp samt utbildnings- och forskningsnämnden, vilket framgår av styrdokumentet Rutin för inrättade, revidering och avveckling av utbildningsprogram från april 2019. Bedömargruppen anser att det är en god rutin för att kvalitetssäkra nya utbildningar, genom att det säkerställer en lokal facklig förankring i ämnesgrupperna, samtidigt som det är en strategisk prioritering och värdering från rektors ledningsgrupp och utbildnings- och forskningsnämnden.

Av självvärderingen framgår att lärosätet har en liknande rutin för nedläggning av utbildningsprogram. Vid platsbesöket framkom att processerna för upprättande och nedläggning av utbildningar är välfungerande rutiner som lärosätet har haft en längre tid.

3.2 Lärosätet säkerställer att dess utbildningar utformas och genomförs på ett sätt som uppmuntrar studenterna till att ta en aktiv roll i lärandeprocesserna, vilket också återspeglas i examinationen.

Uppfylld

Bedömargruppen anser att lärosätet har en rutin som uppmuntrar studenterna till att ta en aktiv roll i inlärningsprocesserna. Lärosätet har fokus på att säkerställa att studenterna har en aktiv roll i utbildningsprogrammens utbildningsråd och uppföljningen av kursvärderingarna. Bedömargruppen anser att det är två områden där det är viktigt att studenterna har en central roll i kvalitetsarbetet.

Av självvärderingen framgår det att kursvärderingarna är ett instrument för kontinuerlig kvalitetsutveckling på kursnivå. Kursvärderingarna sammanställs, och sammanställningen skickas till de studenter som har gått kursen. I början av nästkommande tillfälle som kursen ges, presenterar också läraren resultaten från föregående kursvärdering för studenterna tillsammans med de förändringar som gjorts och övriga reflektioner som följt av resultaten från värderingen. Lärosätet skriver i självvärderingen: "Den här återkopplingen till studenterna är ett exempel på hur kvalitetssystemets resultat kommuniceras till studenter. Det ska emellertid nämnas att systematiken i hur ofta studenterna på nästkommande kurser faktiskt får denna återkoppling inte följs upp."

Bedömargruppen anser att lärosätets ambitioner att kursvärderingar ska vara ett instrument för kontinuerlig kvalitetsutveckling på kursnivå är riktig. Bedömargruppen anser att kursvärderingarna är ett utvecklingsområde mot bakgrund av självvärderingen och platsbesöken, vilket lärosätet också pekar på i självvärderingen. Det är fortsatt en uppgift att säkerställa att lärare på alla kurser följer upp kursvärderingarna med studenterna.

Vid platsbesöken framkom att lärosätet varje termin har värderingsmöten, där den kursansvariga, studenterna och utbildningsledaren träffas och diskuterar utvärderingarna. Utbildningsråden diskuterar också huvudresultatet från kursvärderingarna och konkreta åtgärder. Platsbesöken visade att delar av lärosätet har blivit bättre på att ha en dialog med studenterna om kursvärderingarna, men att det fungerar olika och på några ställen bättre än andra. Bristen på engagemang från studenterna har diskuterats i ledningsgruppen, som har tagit initiativ till en dialog med Gefle Studentkår om hur de kan arbeta vidare med detta. Det framgick inte av platsbesöken vad dialogen konkret har resulterat i.

Av kvalitetspolicyn framgår att lärosätets utbildningsmiljöer ska kännetecknas av ett studentperspektiv, där "studentcentrerat lärande" kommer till uttryck i utbildningens upplägg och genomförande. Detta ska ge studenterna förutsättningar att ta en aktiv roll i lärandeprocesserna, vilket ska återspeglas i bedömningen av studenterna. Av självvärderingen framgår att studentinflytandet och studentcentrerat lärande är två kvalitetskriterier för utbildning. Det manifesteras bland annat i genomförandet och omhändertagandet av kursvärderingar. Kvalitetskriterierna blir också föremål för en tematisk kvalitetsutveckling, när det årliga temat är studentperspektiv.

Bedömargruppen anser att det är ett utvecklingsområde för lärosätet att få fler studenter att besvara de elektroniska kursvärderingarna, eftersom det är låg svarsprocent på kursvärderingarna vid flera program. Det kommer att ge ett bättre underlag för att utvärdera om utbildningsmiljöerna kännetecknas av det önskade studentperspektivet. De kursvärderingar som bedömargruppen har tagit del av visar att dessa ger relevant kunskap om hur studenterna värderar kopplingen mellan kursens undervisning och examinationsformer, om lärarna är lyhörda för studenternas synpunkter på kursens utformning och innehåll samt studenternas egen arbetsprestation. Resultatet ger viktig kunskap om ifall undervisningen organiseras så att den stödjer studenterna att ta en aktiv roll i sina lärandeprocesser och att det avspeglar sig i examen.

Vid platsbesöken framkom goda exempel på att studenterna och doktoranderna är engagerade i utformningen av kvalitetssystemet och frågorna till kursvärderingarna genom att de deltar i utbildningsråden. Det finns ingen doktorandkår på lärosätet men tre doktorandkollegier, vilket betyder att lärosätet inte har något samlat organ för doktoranderna. Doktoranderna upplever dock att de är engagerade i uppbyggnaden av kvalitetssystemet. Ett exempel som studenterna gav var att de hade varit med om att ändra formatet på en zoom-examen under den period när studenterna studerade hemma på grund av coronapandemin.

Dialogen som förs mellan studenterna, ledningen och personalen i regi av UFN upplevs som god. Ett annat exempel som kom fram vid platsbesöken är att rektorn regelbundet har träffat ordföranden för studentkåren som ett led i att stärka studentinflytandet. Under träffarna har de diskuterat hur de kan arbeta med studentengagemanget.

3.3 Lärosätet säkerställer ett nära samband mellan forskning och utbildning i verksamheten.

Uppfylld

Bedömargruppen anser mot bakgrund av dokumentationen för de genomförda kollegiala granskningarna och intervjuerna under platsbesöken att lärosätet har rutiner som säkerställer att det finns en nära koppling mellan forskning och utbildning. Det är dock otydligt för bedömargruppen hur kopplingen mellan forskning och utbildning i det dagliga arbetet ska säkerställas och vem som ansvarar för det.

Av självvärderingen framgår att lärosätet har goda ambitioner att skapa en nära koppling mellan utbildning och forskning. Det är positivt att sambandet mellan forskning och utbildning ingår som en kvalitetsaspekt i de kollegiala granskningarna. Av mötesanteckningar från dialogmöten framgår att modellen för utbildningens forskningsanknytning används aktivt både i utbildningarnas självvärderingar och av bedömargruppen för kollegial granskning. Att lärosätet aktivt använder modellen för utbildningens forskningsanknytning anser bedömargruppen är ett positivt uttryck för att den är en del av en välfungerande rutin.

Av självvärderingen framgår det att "varje huvudområde/forskarutbildningsämne har en ämnesansvarig vars uppdrag det är att leda arbetet med huvudområdets/forskarutbildningsämnets ämnesutveckling". Bedömargruppen anser att de ämnesansvariga har en viktig roll för att säkerställa ett nära samband mellan forskning och utbildning. Platsbesöken visade att det är de som i första hand ansvarar för forskarutbildningskurserna. Men det var otydligt för bedömargruppen hur detta samband säkerställs i ett samarbete mellan utbildningsledare, kursansvariga och ämnesansvariga.

Bedömargruppen anser därmed att det är ett utvecklingsområde för lärosätet att förtydliga fördelningen av roller och ansvar för hur kopplingen mellan forskning och utbildning i det dagliga arbetet ska säkerställas och vem som ansvarar för det i det dagliga arbetet. Av de samlade underlagen framstår arbetsfördelningen mellan ämnesansvariga, kursansvariga och utbildningsledare som otydlig för bedömargruppen, när det handlar om att säkerställa kopplingen mellan forskning och utbildning.

3.4 Lärosätet säkerställer att dess utbildningar utformas och genomförs med tydlig koppling mellan nationella och lokala mål, lärandeaktiviteter och examinationer.

Uppfylld

Bedömargruppen anser att lärosätet har goda processer för att säkerställa att det finns en tydlig koppling mellan målen för utbildningsprogrammen, lärandeaktiviteterna och examinationerna samt ett gott stöd från examinatorerna. De exempel på kursvärderingar som ingått i underlaget visar att lärosätet får veta studenternas åsikter om ifall de tycker att de har uppnått kursens lärandemål och ifall det finns en röd tråd i kursen mellan lärandemålen, undervisningen och examinationen. Detta ser bedömargruppen positivt på.

Av självvärderingen framgår att lärosätet har en tydlig process och organisation av arbetet med att säkerställa kopplingen mellan nationella och lokala mål, lärandeaktiviteter och examinationer.

UFN och akademirådens beredningsgrupper har en viktig roll i arbetet med programrevideringar. När lärosätet gör omfattande revideringar av utbildningsplanen, som lärosätet jämställer med en ny utbildning, sätter man igång en granskning där också målmatrisen kommer till användning, enligt självvärderingen. Det anser bedömargruppen är en god organisatorisk struktur, eftersom det säkerställer en förankring i akademirådens beredningsgrupper samtidigt som det är en utvärdering från utbildnings- och forskningsnämnden.

Bedömargruppen anser att det är positivt att lärosätet arbetar aktivt med att säkerställa förutsättningarna för examinatorerna, bland annat genom att ha examinatorsutbildningar och seminarieserier, säkerställa tillräckligt med tid för examinatorerna i tjänsteplaneringarna och reglera hur lärosätet utser examinatorer på ett ändamålsenligt sätt. Av självvärderingen framgår det att examinatorerna utses av akademichefen. Det framgår också att examensmålen listas och systematiskt följs upp i den individuella studieplanen samt att det säkerställs att alla examensmål faktiskt blir uppfyllda när doktoranden avlägger examen. Akademiråden spelar här en viktig roll, eftersom de går igenom de individuella studieplanerna för att säkerställa kopplingen mellan läraktiviteter, prov och examensmål innan akademichefen slutligen godkänner dem. Detta framgår av självvärderingen och de exempel på individuella studieplaner som bedömargruppen har tagit del av. Doktoranderna och studierektorerna diskuterar lärandemålen för doktorsexamen en gång om året vid planerings- eller uppföljningssamtal, vilket bekräftades vid platsbesöken.

3.5 Utifrån kontinuerliga uppföljningar och periodiska granskningar vidtar lärosätet de åtgärder som krävs för att förbättra och utveckla utbildningarna.

Inte uppfylld

Bedömargruppen anser inte att kriteriet är uppfyllt, eftersom det ännu inte finns ett inarbetat tillvägagångssätt när det gäller hur resultaten från de periodiska granskningarna – kollegiala granskningar och tematisk kvalitetsutveckling – används praktiskt i exempelvis verksamhetsplanerna och bidrar till kvalitetsutveckling av utbildningarna. Kursvärderingarna används i arbetet med att utveckla utbildningarna, vilket är en tydlig rutin på grundnivå och avancerad nivå. Det är oklart för bedömargruppen om det sker systematiska insamlingar av kursvärderingar på forskarutbildningskurser. Av dokumentationen från fördjupningsspår framgår att vissa kursansvariga inte redovisar någon rapport, medan andra kursansvariga samlar in kursvärderingar. Bedömargruppen anser att även detta är ett utvecklingsområde för lärosätet.

Av självvärderingen framgår att kvalitetssystemet har två huvudprocesser med syftet att ständigt förbättra kvaliteten i utbildningarna (på grundnivå, avancerad nivå och forskarnivå) och i forskningen:

1. Kvalitetsutveckling genom kollegial granskning, med en bedömargrupp som består av lärare från olika akademier, en studentrepresentant och en doktorandrepresentant och en extern bedömare. Med utgångspunkt i en kortare självvärdering om det utbildningsprogram, huvudområde eller forskarutbildningsämne som är föremål för granskningen, är bedömargruppens huvudsakliga uppgift att genom dialog med arbetsgruppen identifiera kvalitetshöjande insatser och möjligheter till kvalitetsförbättringar.

2. Tematisk kvalitetsutveckling innebär att alla enheter, alltså både akademierna samt enheterna för verksamhets- och ledningsstöd, väljer samma tema för kvalitetsutveckling inför varje verksamhetsår. Valet står mellan följande teman:

· Infrastruktur och lärarkompetens (tema: Förutsättningar)

· Studentcentrerat lärande och studentinflytande (tema: Studentperspektiv)

· Samverkan, internationalisering, hållbarhet (tema: Samhällsrelevans/användbarhet)

· Jämställdhet, jämlikhet och brett deltagande (tema: Jämställdhet)

· Rättssäkerhet och akademisk integritet (tema: Redlighet).

Båda huvudprocesserna planeras, samordnas, målsätts och följs upp i lärosätets budget- och verksamhetsplaneringsprocess. Inför varje verksamhetsår väljer lärosätet ut ett antal utbildningsprogram, huvudområden eller forskarutbildningsämnen som blir föremål för kollegial granskning.

Bedömargruppen anser att kollegial granskning är ett starkt kvalitetsverktyg när det blir helt infört som rutin, eftersom de granskningsprotokoll som bedömargruppen har betraktat som dokumentation till fördjupningsspåren ser ut att lyckas fånga de viktiga aspekterna av utbildningskvaliteten. Vid platsbesöken fick bedömargruppen intrycket att processerna för den tematiska kvalitetsutvecklingen inte har en lika framträdande plats som den kollegiala granskningen. Det kom fram att det inte finns någon skriftlig avrapportering av den tematiska kvalitetsutvecklingen. Bedömargruppen fick intrycket att den tematiska kvalitetsutvecklingen kommer att genomföras som workshoppar utan någon plan för avrapportering. Det ger intryck av att den tematiska kvalitetsutvecklingen inte är en integrerad del av lärosätets budget- och verksamhetsplaneringsprocess som beskrevs i självvärderingen.

Platsbesöken visade att de två huvudprocesserna är nya i kvalitetssystemet. Kvalitetsutveckling genom kollegial granskning infördes som pilot 2019 och började genomföras 2020, vilket betyder att få utbildningar har granskats. Hur resultaten och problemformuleringarna hanteras blir klart först från och med 2022, eftersom de ännu inte är en del av den systematiska processen med verksamhetsplanerna, enligt dokumentationen från platsbesöken.

Vid lärosätet används kursvärderingar systematiskt på grundnivå och avancerad nivå, men bedömargruppens intryck är att kursvärderingar på forskarutbildningskurser inte har blivit i lika hög utsträckning etablerade som uppföljningsverktyg. Det är också bedömargruppens uppfattning utifrån underlaget att återkopplingen av kursvärderingsresultat kunde vara mer systematisk än vad som i dagsläget är fallet

3.6 Lärosätet säkerställer att granskningsresultat publiceras och att åtgärder som planeras eller genomförs för att förbättra och utveckla utbildningarna kommuniceras på ett ändamålsenligt sätt med relevanta intressenter.

Inte uppfylld

Bedömargruppen anser inte att kriteriet är uppfyllt, eftersom det ännu inte finns en etablerad praxis för hur resultaten från bland annat de periodiska granskningarna – kollegiala granskningar och tematisk kvalitetsutveckling – görs tillgängliga för den breda gruppen av medarbetare, studenter och andra intressenter. Bedömargruppen anser också att det är en svaghet i systemet att det finns brister i informationen till studenterna om deltagande i råd och annat, vilket är ett problem som framgår av studentinlagan och vid platsbesöken. Bedömargruppen anser att det är positivt att lärosätet har fokus på studentengagemang och kommunikation med studenterna i arbetet med att införa det nya kvalitetssystemet.

Av självvärderingen framgår att lärosätets kvalitetssystem genererar en mängd olika resultat som bland annat avrapporteras i lärosätets årsredovisning som är offentlig. Utbildnings- och forskningsnämnden formulerar en kvalitetsrapport baserad på resultatet av den kollegiala granskningen, och kommunicerar den till rektorns ledningsgrupp. Resultaten blir underlag för aktiviteter och mål i nästkommande verksamhetsplaner.

Av självvärderingen framgår att kursvärderingar återrapporteras till de studenter som gått kursen och diarieförs. Resultaten från tidigare kursutvärderingar ska också rapporteras till den nya grupp av studenter som läser kursen nästa gång den ges tillsammans med eventuella förändringar som har gjorts utifrån kursutvärderingarna. Av självvärderingen och platsbesöken framkom det dock att den här rutinen inte är välfungerande och systematisk på alla utbildningar.

Det är bedömargruppens intryck att det saknas ett system för publicering av data och rapporter som används i de kollegiala granskningarna, men också ett gemensamt system där relevanta nyckeltal eller resultat från kursvärderingar finns tillgängliga. På platsbesöken framkom det att det arbetas med en Power BI-lösning där utbildningarna kan få tillgång till data, men lösningen är ännu inte fullt ut genomförd.

Av studentinlagan framgår det att informationen till studenterna om deltagande i råd och annat har brister. Platsbesöken visade att studenterna ser det som ett aktuellt ämne, eftersom flera studentrepresentanter vid olika program menar att det saknas studentrepresentanter i flera organ som exempelvis utbildningsråden – något som har försämrats under coronapandemin 2020. Problemet togs upp på ett chefsmöte med akademicheferna. Situationen har påverkats av coronapandemin och bedömargruppen räknar med att lärosätet får ordning på den under mer normala förhållanden, eftersom bedömargruppen upplever att lärosätet vill involvera och ha en dialog med studenterna.

Vid platsbesöken kom det fram att lärosätets arbete med det nya kvalitetssystemet har fokuserat på att gå igenom systemet för att systematisera bland annat studentengagemang och processerna för kommunikation med studenterna. Platsbesöken visade att systemet är mycket nytt och studenterna är därför osäkra på hur resultaten kommuniceras, men de har stora förväntningar på det nya systemet.

Lärosätets styrelse är nöjd med det sätt på vilket information om relevanta nyckeltal sker, men framhöll även att kvalitetssystemet i dagsläget är förhållandevis nyinrättat.