Utformning, genomförande och resultat

Sammanvägd bedömning av bedömningsområdet

Inte tillfredsställande

Bedömargruppens slutsats är att bedömningsområdet är inte tillfredsställande. Det är positivt att lärosätet lägger vikt vid en rad olika former av utvärderingar av forskningens kvalitet, men genomförandet och uppföljningen av dessa kvalitetsutvärderingar kan förbättras och vidareutvecklas. Generellt verkar det som att resultat från de kontinuerliga kollegiala granskningarna, peer reviews, inte sammanfattas och används på ett systematiskt och samlat sätt i forskningsmiljöerna. Lärosätets planer för regelbundna utvärderingar av alla de sex prioriterade forskningsområdena representerar ett mer systematiskt upplägg för kvalitetsutvärderingar, även om detta inte omfattar forskning som faller utanför de profilerade områdena. Det är däremot för tidigt att utvärdera hur utvärderingarna kommer att fungera i praktiken, och hur systematiskt de kommer att följas upp. I såväl de tidigare, pågående som planerade utvärderingarna är också det internationella perspektivet bristfälligt eller frånvarande.

Det är även positivt att lärosätet har en kommunikationspolicy och kommunikationsstrategi, som beskriver ansvarsfördelning, kommunikationskanaler och målgrupper, och att lärosätet har många och olika former för kommunikation. Lärosätets policy och strategi för kommunikation är dock ganska generellt utformade och går inte specifikt in på hur resultaten från granskning och uppföljning av forskningens kvalitet ska kommuniceras. Bedömargruppens intryck är att resultaten av den kollegiala granskningen kommuniceras i mycket liten utsträckning. Att de anställda och studenterna har liten kännedom om kvalitetsutvärderingar tyder också på att kommunikationen kan förbättras.

Sammantaget vill bedömargruppen lyfta fram följande styrkor inom bedömningsområdet:

• Lärosätet lägger vikt vid en rad olika former av utvärderingar av forskningens kvalitet.
• Planerna för regelbundna utvärderingar av de sex prioriterade forskningsområdena representerar ett mer systematiskt upplägg för kvalitetsutvärderingar, även om det är för tidigt att bedöma hur detta kommer att fungera i praktiken.
• Lärosätet har en kommunikationspolicy och en kommunikationsstrategi, där ansvarsfördelning, kommunikationskanaler och målgrupper beskrivs.
• Lärosätet har många och olika kommunikationsformer, anpassade efter olika teman och målgrupper.

• Lärosätet behöver sammanställa och utnyttja resultaten från den kontinuerliga kollegiala granskningen mer systematiskt för att identifiera styrkor, svagheter och utvecklingsmöjligheter för forskningsmiljöerna som helhet.
• Lärosätet behöver inkludera det internationella perspektivet mer systematiskt i utvärderingarna av forskningens kvalitet.
• Lärosätet behöver tydliggöra sin policy och strategi för kommunikation med avseende på hur information om utvärderingar och uppföljningar av forskningens kvalitet ska kommuniceras.
• Lärosätet behöver utvärdera om kommunikationen om kvalitetsutvärderingar i högre grad kan kommuniceras på både engelska och svenska, och om den kommunikationen kan systematiseras genom till exempel regelbundna kvalitetskonferenser för alla grupper av anställda och studenter.

Bedömningar av bedömningsgrunder:

1. Lärosätet säkerställer att dess forskningsmiljöer/forskning återkommande genomgår granskningar ur nationellt och internationellt perspektiv med stöd av kollegial granskning för att identifiera styrkor, svagheter och utvecklingsmöjligheter. Lärosätet har system för att fånga upp och ta hand om de rekommendationer som sådana granskningar ger upphov till.

Inte uppfylld

Det är positivt att lärosätet lägger vikt vid en rad olika former av utvärderingar av forskningens kvalitet, men genomförandet och uppföljningen av dessa kvalitetsutvärderingar kan förbättras och vidareutvecklas. Kontinuerliga kollegiala granskningar bör sammanfattas och utnyttjas mer systematiskt för att identifiera styrkor, svagheter och utvecklingsmöjligheter för forskningsmiljöerna som helhet. Lärosätets planer på regelbundna utvärderingar av de sex prioriterade forskningsområdena representerar ett mer systematiskt upplägg för kvalitetsutvärderingar, men det är för tidigt att bedöma hur dessa utvärderingar kommer fungera i praktiken, och hur systematiskt de kommer att följas upp. I såväl tidigare, som pågående som planerade utvärderingar är det internationella perspektivet bristfälligt eller helt frånvarande.

Enligt självvärderingen lägger lärosätet vikt vid flera former av kvalitetssäkring och kvalitetsutveckling av forskningen. Detta gäller dels olika mekanismer för kvalitetsutvärderingar av forskning som är vanliga vid alla universitet och högskolor, dels en särskild modell för lärosätets utvärdering och uppföljning av forskningen. Lärosätets särskilda modell ska komplettera de mer generella kvalitetsutvärderingarna i forskningsprocessen.

De generella mekanismerna för kvalitetsutvärderingar av forskningen baseras i huvudsak på kollegial granskning med externa sakkunniga och relateras till rekrytering och meritering av forskare, bedömning av avhandlingar och disputationer, forskningsansökningar och publiceringar, samt seminarieverksamhet. Vid rekrytering och meritering används två externa sakkunniga, förutom vid rekrytering av postdoktorer där man använder interna sakkunniga. Bedömning av avhandlingar och disputationer görs av opponenter och betygsnämnder. Ansökningar om externa forskningsmedel kvalitetsbedöms av finansiärerna och publikationer bedöms av förlagen eller tidskrifterna. Andelen externa forskningsmedel och antalet publikationer är också kriterier för fördelning av interna forskningsmedel till akademierna. Seminarieverksamheten är i första hand för lärosätets egna forskare, men externa gästföreläsare bjuds också in regelbundet.

I självvärderingen redogör lärosätet för hur de under de senaste tio åren tillämpat olika former för utvärdering och uppföljning av forskningens kvalitet. Ett exempel är utvärdering av forskningen kopplat till ansökningar om tillstånd att utfärda examen på forskarnivå. Ett annat exempel är intern och extern utvärdering av forskarutbildningen som genomfördes 2014-2015, som också innebar utvärdering av forskningskvaliteten inom forskarutbildningen. Den utvärderingen omfattade både självvärderingar och intervjuer. Ett tredje exempel är intern och extern utvärdering av lärosätets forsknings- och innovationsfunktioner. Den interna utvärderingen fokuserade på forskningscentrumens verksamhet och deras relationer till akademiernas och lärosätets kärnverksamhet. Den externa bedömningen fokuserade på Science Park Borås (SPB) och genomfördes av Sweco med vikt på SPB:s relevans, effektivitet och resultat, samt samverkan med andra organisationer. Ett fjärde exempel är planerat, men ännu inte genomfört. Det handlar om en modell för regelbunden utvärdering av de sex prioriterade forskningsområdena under perioden 2020-2026. Planen är att genomföra självvärderingar och granskningar med externa sakkunniga (inklusive en arbetslivs- och samverkansrepresentant samt en doktorand) i en bedömargrupp. Utvärderingen ska resultera i en handlingsplan, som tas vidare in i akademiernas verksamhetsplaner och verksamhetsrapporter.

I självvärderingen påtalar lärosätet att det finns brister i uppföljningen av kvalitetsutvärderingarna och att bristerna har visat sig på alla nivåer inom lärosätet. Lärosätet lägger dock vikt vid att den planerade modellen för regelbunden utvärdering av de prioriterade forskningsområdena, tillsammans med andra åtgärder, kommer att innebära ett mer systematiskt upplägg för att följa upp resultaten. Behovet av mer systematisk och bättre uppföljning av kvalitetsutvärderingarna betonas också i student- och doktorandinlagan.

Bedömargruppen konstaterar att lärosätet lägger vikt vid flera olika former av utvärdering av forskningsmiljöerna och forskningen - dels kontinuerliga utvärderingar och kollegial granskning kopplat till rekrytering, meritering, bedömning av avhandlingar, publikationer och ansökningar, dels särskilda utvärderingar av forskningskvaliteten, särskilt av de profilerade områdena där det bedrivs forskarutbildning. I förhållande till bedömningsgrunden är detta positivt. Det är också positivt att lärosätet har planer på en mer systematisk, regelbunden kvalitetsutvärdering av de sex prioriterade forskningsområdena under de närmaste åren. Bedömargruppen ser dock en del förbättrings- och utvecklingsmöjligheter för genomförandet och uppföljningen av dessa granskningar.

Bedömargruppen kan inte se att kontinuerlig kollegial granskning på ett systematiskt sätt sammanfattas, tas tillvara och följs upp för att identifiera styrkor, svagheter och utvecklingsmöjligheter i forskningsmiljöerna. Publicering och extern finansiering är kriterier för fördelning av lärosätets interna forskningsmedel, men utöver detta verkar det inte som om dessa kvalitetsutvärderingar ingår i ett system för att fånga upp och ta hand om de rekommendationer som följer av utvärderingarna. Varje bedömning relateras oftast till enskilda projekt eller enskilda medarbetare. Bedömargruppens uppfattning är att lärosätet inte har ett systematiskt upplägg för att säkra att alla utvärderingarna ses i ett sammanhang och får konsekvenser för forskningsmiljöerna och forskningen som helhet. Lärosätet kan kanske pröva möjligheten att involvera nämnderna i detta arbete. Bedömargruppen hänvisar för övrigt till bedömningen i relation till bedömningsgrund 3 inom bedömningsområdet Styrning och organisation.

De utvärderingar som lärosätet själv har initierat fram tills nu har begränsats till centrumbildningar och Science Park Borås, och då huvudsakligen med ett regionalt perspektiv. Dessutom tycks utvärderingarna huvudsakligen fokusera på verksamhetens ekonomi, organisering och samarbetsrelationer, medan forskningens kvalitet får mindre uppmärksamhet. Dessa utvärderingar ser ut att ha haft liten betydelse för att utveckla forskningen i kärnmiljöerna vid akademierna.

Planerna på mer systematiska, regelbundna utvärderingar av forskningen i kärnmiljöerna har ännu inte genomförts. Bedömargruppen har därmed inte haft möjlighet att utvärdera hur utvärderingarna kommer att fungera i praktiken. Även om planerna beskriver ett mer systematiskt upplägg för både utvärdering av forskningens kvalitet och uppföljning av utvärderingsresultaten, återstår det att se hur de olika rekommendationerna kommer att hanteras.

En genomgripande iakttagelse är att det internationella perspektivet är bristfälligt eller helt frånvarande för de flesta utvärderingsformerna vid lärosätet. Utländska sakkunniga används i en mycket liten skala. Under intervjuerna framhölls det från lärosätets ledning att utländska sakkunniga "självklart" ska användas i framtida utvärderingar, men detta framgår inte av självvärderingen eller annan dokumentation som bedömargruppen har tagit del av. I de planerade, regelbundna utvärderingarna ska, enligt självvärderingen, minst två externa sakkunniga inkluderas, men ingen av dessa är nödvändigtvis utländska. Lärosätet har heller inte redogjort för andra upplägg för att säkra att internationella perspektiv ingår i utvärderingarna.

2. Resultat som genereras genom uppföljning och kollegial granskning publiceras och kommuniceras på ett ändamålsenligt sätt inom och utanför organisationen.

Inte uppfylld

Det är positivt att lärosätet har en kommunikationspolicy och en kommunikationsstrategi, där ansvarsfördelning, kommunikationskanaler och målgrupper beskrivs. Det är också positivt att lärosätet har många och olika former för kommunikation. Bedömargruppen ser dock några tydliga förbättrings- och utvecklingsmöjligheter i förhållande till den här bedömningsgrunden. Lärosätets policy och strategi för kommunikation är utformad ganska generellt och går inte specifikt in på hur resultaten från granskning och uppföljning av forskningens kvalitet ska kommuniceras. Resultaten av kollegiala granskningar kommuniceras i mycket liten utsträckning. Att de anställda och studenterna har lite kännedom om kvalitetsutvärderingarna tyder också på att kommunikationen om dessa utvärderingar kan förbättras.

Självvärderingen visar att lärosätet har en kommunikationspolicy och kommunikationsstrategi som beskriver ansvarsfördelning, hur kommunikationen ska genomföras och vilka kanaler som ska användas i förhållande till olika målgrupper. Detta ska säkra att forskningen på de olika profilområdena kommuniceras till allmänheten, näringslivet, offentlig sektor, media och övriga intressenter, nationellt och internationellt. Akademicheferna ansvarar för att kommunicera resultat och uppföljning av kvalitetsutvärderingar av forskningen. Chefer med personalansvar ansvarar för internkommunikationen med sina medarbetare. Kommunikationsavdelningen ger verktyg och stöd för både intern och extern kommunikation.

Kanaler för intern kommunikation om kvalitetsutvärderingar är intranätet, digitala utskick och möten på olika nivåer. Extern kommunikation går huvudsakligen via den externa webbplatsen. Seminarieverksamhet, forskarmöten och deltagande från andra forskare i bedömningen av akademisk kvalitet, samt riktade e-postutskick bidrar också till spridning av information om kvalitetsutvärderingar, särskilt internt. Dessutom kommer kontinuerlig dialog med forskningsfinansiärer att bidra till informationsspridning, huvudsakligen externt. Kommunikation om lärosätets uppföljning av kvalitetsutvärderingar baseras först och främst på lärosätets årsrapporter.

I självvärderingen framhålls det som en styrka att lärosätet inte är särskilt stort och att kontaktvägarna mellan olika delar och olika nivåer av organisationen därför är korta. Självvärderingen betonar dock att anställda och studenter har begränsad kännedom om lärosätets kommunikationspolicy och kommunikationsstrategi, och att processerna för att göra information tillgänglig på webbplatsen och intranätet bör förbättras. Lärosätet ser ett behov av att förankra kommunikationen bättre i verksamheten, särskilt vid akademierna. Detta är synpunkter som bör tillvaratas i det pågående arbetet för att vidareutveckla kvalitetssystemet.

Student- och doktorandinlagan är ganska kritisk till lärosätets kommunikation av resultat från utvärderingar och uppföljningar av forskningskvaliteten. Här understryks behovet av bättre intern kommunikation, bland annat genom tydligare information om forskarseminarier. Dessutom är det enligt student- och doktorandinlagan problematiskt att hitta information på lärosätets webbplats. Det hänvisas till att studentkåren ser positivt på lärosätets arbete med att förbättra kommunikationsverksamheten.

Intervjuerna bekräftade och förtydligade bland annat att anställda och studenter har varierande, och genomgående ganska liten, kännedom om lärosätets kommunikation av resultat från utvärderingar och uppföljningar av kvalitetsutvärderingarna. Intervjuerna visade också att det bland doktoranderna finns olika synpunkter på den kritik som framförs i student- och doktorandinlagan.

Bedömargruppen konstaterar att lärosätet har en kommunikationspolicy och en kommunikationsstrategi, som innehåller en beskrivning av ansvarsfördelning, kommunikationskanaler och kommunikationsformer, och är anpassade till olika interna och externa målgrupper. Bedömargruppen bedömer detta som positivt. I förhållande till bedömningsgrunden är det också positivt att lärosätet har många och olika kommunikationsformer, med webbplatsen som den centrala kommunikationskanalen. Detta kompletteras med e-postutskick och möten som kanaler för informationsspridning om bestämda teman och till bestämda målgrupper.

Bedömargruppen ser samtidigt några klara förbättrings- och utvecklingsmöjligheter för lärosätets kommunikation om kvalitetsutvärderingarna. Lärosätets policy och strategi för kommunikation är ganska generellt utformad och går inte specifikt in på hur resultaten från granskning och uppföljning av forskningskvaliteten ska kommuniceras. Kommunikationen verkar fokusera på forskningens resultat, och bara i begränsad omfattning på forskningens kvalitet. Särskilt påfallande är det att resultat och uppföljningar av kontinuerliga kollegiala granskningar kommuniceras i mycket liten omfattning, både internt och externt. Även om utvärderingar av enskilda projekt, enskilda arbeten eller enskilda forskare inte alltid kan offentliggöras, kan det vara viktigt att förmedla sammanfattande information om vad dessa utvärderingar betyder för utvecklingen av forskningsmiljöerna och forskningen som helhet. Här anser bedömargruppen att lärosätet har förbättringsmöjligheter.

Att lärosätets anställda, doktorander och studenter har begränsad kännedom om genomförandet och uppföljningen av kvalitetsutvärderingarna tyder också på att lärosätets kommunikation om dem kan förbättras och vidareutvecklas. Som framkommer i självvärderingen är kommunikationen om lärosätets kvalitetsutvärderingar inte särskilt väl förankrad i kärnmiljöerna vid akademierna. Även om lärosätet arbetar med att förbättra detta, återstår det att se hur det kommer att fungera i praktiken. Bedömargruppen rekommenderar lärosätet att utvärdera om kvalitetsutvärderingar i högre grad kan kommuniceras på både engelska och svenska, och om denna kommunikation kan systematiseras genom till exempel regelbundna kvalitetskonferenser för alla grupper av anställda, doktorander och studenter.