En och en halvtimme har jag "sprängt" vallen för min sovtid med.
Det höll en dag :)
Men tanken var god och det är det viktigaste!

Äntligen har jag kommit halvvägs med mitt PM och utvärdering. Det vill säga att jag har passerat 1500 ord. 1577 för att vara exakt. Lika många kvar, så är jag i mål. Har tagit en lång paus och landat lite i det hela.
Men nu har det rullat på ikväll. Imorgon måste jag låna de två sista böckerna, så är jag snart i hamn med den här uppgiften. Så att jag kan ägna mig åt det viktigaste. Uppsatsen.

En tjuvkik på min kioskvältare i ämnet "Utvärdering" (han som examinerar är professor i ämnet):

Utvärdering

Inom utbildningsväsendet är granskningen av dess verksamhet ingen nyhet. Förr hette det utvärdering och uppföljning och idag används begreppen kvalitetssäkring, kvalitetsutveckling och kvalitetsbedömning.

Skillnaden ligger i begreppens teoretiska hemvist och i valet av angreppssätt och metod för att ”mäta” kvalitet. Fokuseringen på ledarskapets betydelse för, och alls deltagande i, utvecklingen av verksamhetens kvalitet är det ”nya” med begreppen kvalitetssäkring och kvalitetsutveckling. (Franke & Nitzler, 2008, s. 13)

I mitten av 1800-talet organiserade man utvärderingen av skolan genom folkskoleinspektörer, dessa gjorde en personlig bedömning av undervisningen.  I mitten av 1900- talet började man använda utvärdering som bedömning av hela utbildningsprogram. Från USA hämtades förebilder och dessa var utvärderingsmetoder såsom individutvärdering via prov och tester. Kraven på utvärderingarna ökade och vikten av entydigt uttryckta mål ökade, så att man kunde konstruera prov som mätte dessa mål.

Under 1960-talets senare del formulerade Urban Dahlöf, som var kritisk till individutvärdering, en teoretisk modell för att möjliggöra studier av relationerna mellan undervisningens ramar, process och resultat. Modellen har därefter utvecklats till en teoretisk ram för utvärdering. Dahlöf har också analyserat utvärderingar gjorda inom den högre utbildningens område och här kunnat visa hur andra referensramar och metoder gett andra resultat.  

Franke & Nitzler skriver att Evert Vedung påpekat år 1998[1] att det tidigare rått entydighet inom utvärderingsområdet, men nu är det ersatt med en myllrande mångfald. Inom högskoleområdet menar han att benchmarking, att som organisation jämföra sig med en annan organisation eller en bättre av samma typ, och kvalitetssäkring är gångbara utvärderingsansatser. Här placerar han in ”peer review”, dvs självvärdering och extern bedömning av experter utifrån. (Franke & Nitzler, 2008, s. 23f)

Troligtvis kommer kvalitetsgranskningstrenden inom högskole- och universitetssektorn att fortsätta i samma omfattning som hittills på 2000-talet. Sannolikt så kommer ökade krav från politiker håll att det utvecklas och tas fram underlag som förenklar för politiker att prioritera verksamhet som uppfattas ha större potential än andra områden, då samhällsresurserna inte är obegränsade. 

Skolan har fått ökade krav vad gäller uppföljning och kontroll, bland annat genom att man delade upp Skolverket och Myndigheten för skolutveckling 2003 och dessa fick skilda arbetsuppgifter. Här tydliggjordes Skolverket som den med huvudansvaret för tillsyn och utvärdering. Franke & Nitzler menar också att eftersom det råder en reformiver hos sittande borgerliga regering så borde det bidra till ett ökat utvärderingsbehov. Likaså det sviktande svenska skolresultaten i jämförande internationella tester.

Också inom andra samhällssektorer kan man se spår av den ökande utvärderingstrenden. Vårdsektorn, med en privatiseringsvåg och skenande kostnader samt ökat behov av specialistvård, har under ett antal år haft utvärdering som ett vanligt inslag i verksamheten.

Andra exempel är inom arbetsmarknadssektorn och pensions- och sjukförsäkringsektorn, vilka också har genomgått stora verksamhetsförändringar. (Franke & Nitzler, 2008, s. 195)

Mångfalden, eller trenden inom utvärdering, kan också märkas genom att det kommer fler professionella utvärderare och att det också bildas föreningar för dessa utvärderare. 2003 bildades SVUF, Svenska utvärderingsföreningen, som är ett exempel på det. (Franke & Nitzler, 2008, s. 25)

Franke & Nietzler (2008, s. 26) skriver att Weiss nämner fyra olika typer av användningsområden inom utvärdering, det vill säga instrumentell, begreppslig, legitimerande och upplysande/påverkande.

Instrumentell – resultaten omsätts i handling. Ofta är det okontroversiella resultat och föreslagna förändringar får inte så långtgående konsekvenser.

Begreppslig – resultaten kan användas för senare förändring. En förändring av lednings och/eller intressenternas förståelse för programmet, dess styrkor och svagheter, kan bli förståelsen av resultatet.

Legitimerande – resultatet legitimerar de förändringar man vill göra. Kan användas av politiker/ledning  när man vet vad som inte fungerar bra, men använder utvärderingen för att enbart stödja vissa resultat.

 Upplysande – handlar om den ackumulerade kunskap som genereras. Exempelvis metaanalyser kan ge mer heltäckande information än en enstaka utvärdering.

Vedung (Rombach & Sahlin-Andersson, 2003, ss. 25-47) nämner sex utvärderingsområden, förutom de ovannämnda fyra där han omnämner begreppslig och upplysande under samma användningsområden, så har han också:

Interaktiv – resultatet utgör både ett givande och ett tagande för användarna. Processen sker under en längre tid och kunskaperna utgör bara en delmängd i en större mängd insikter som används vid beslutsfattande.

Taktisk – resultatet används för att vinna tid, undgå ansvar, komma överens eller avstyra debatt och/eller kritik. Utvärderingen inte bara nyttjas utan också utnyttjas.

Rituell –vi utvärderar för så ska det vara. Utvärderingen blir ett sätt att få sin verksamhets existens bekräftad. Detta hindrar dock inte att resultatet används på ett instrumentellt, upplysande eller legitimerande sätt.

I Rombach & Sahlin-Andersson (2003, s. 179) nämns att man kan se utvärderingen som en ritual, vilken ger verksamhetens utövare förutsättningar att kunna bekräfta sin existens. Verksamheten visas upp, den konstrueras och skapas på nytt. Ritualen kan både bekräfta maktförhållanden som råder eller ger möjlighet att kritisera dessa. Med ritualen kan utövaren samt de som utvärderas försättas i ett tillstånd av varken eller. Detta kan också hända med det som utvärderas.   ”Utvärderingar (…) en del i själva det offentliga livets omstrukturering. Utvärdering av offentlig verksamhet har blivit ett instrument som skall vägleda personal till bättre insatser och samtidigt vägleda anslagsgivare i resursfördelning.” (s. 176)

När en utvärdering ska göras, oavsett om det är att besvara den eller att sätta samman den, är det viktigt att tänka på att det finns en hel del aktörsroller representerade. En enklare indelning kan göras (Rombach & Sahlin-Andersson, 2003) där man skiljer på beställare av själva utvärderingen, de som utvärderar, den/det som blir utvärderad och brukaren av utvärderingen. Här finns ju en möjlighet att flera roller kan vara besatt av samma person. I en del utvärderingsprocesser finns också möjligheten att vissa roller är obesatta.

Ofta används externa utvärderare. Även om det är vanligt att utvärderingen initieras av huvudmän, av verksamhetsföreträdare, av olika utvärderare eller av någon annan. Men utvärderingen kan ibland initieras och genomföras av samma huvudman.

En av de paradoxer som utvärderingar måste kunna hantera är att i själva utvärderingstanken ligger ett misstroende. Verksamhetsföreträdaren kan inte driva en god verksamhet utan någon utomstående måste komma och tillrättalägga, lyfta och värdera. Men detta kräver förtroende. Den utvärderade måste acceptera att bli granskad och ha viljan att föra en dialog med den utvärderande. För att utvärderingen ska kunna utföras korrekt, utan manipulerade data krävs att de som blir utvärderade har förtroende för de/den som utvärderar. (2003, s. 12f)

Samspel är en viktig del av processen, misslyckas det tappar man en viktig del och det finns en risk att slutresultatet ignoreras. Ligger det för stort fokus på enskilda individer utan att man tar arbetsmiljö och arbetsuppgifter i beaktande finns risk för bortförklaringar. För att stimulera ett successivt lärande och utveckla konstruktiva förändringsförslag krävs ett samspel och att man tar i beaktande de arbetsvillkor som råder. (s. 112)

Viktigt att hålla i minnet och i tanken är att hålla sig kritisk till resultatets innehåll. Mycket av innehållet beror på vem som är beställaren, vad som beställts och vem som utför och sammanställer. Så här uttrycker Evert Vedung detta

”Undermåliga utvärderingar som tas på allvar kan åstadkomma synnerlig skada. Passionerat engagemang  för användning kan resultera i en pragmatisk inställning till kunskap enligt vilken giltighet blir det som makthavarna finner brukbart och utvärderarna uphör att besinningslöst söka sanningen. För resonemangets skull postuleras här att utvärderingar håller högsta kvalitet, vad som nu än skall förstås med detta uttryck.” (Rombach & Sahlin-Andersson, 2003, s. 25)

Inom förskolevärlden pratar man mycket om att det inte är målet som är det viktigaste, utan vägen dit. Det vill säga processen. Vad händer under vägens gång. Detta påtalar också Rombach & Sahlin- Andersson (2003, s. 212) och menar att det i högre grad är processen och inte den slutgiltiga rapporten som påverkar utvärderade eller beställaren. Det är vid utvärdering av utvärderingen svårt att isolera orsaker och effekter i komplexa sociala sammanhang och detta kan då bli ett problem. Åtminstone så länge utvärdering framstår som nått av en extraordinär händelse. Man tror att när utvärderingen bli institutionaliserad och inte längre utgör en kritisk händelse, så kommer dramatiken försvinna och med det vissa typer av effekter.

Sigbrit Franke har med Umeå-modellen arbetat fram en metod för lokal utvärdering. Här har man fört ihop peer review och förklaringsinriktad utvärdering till en och samma utvärderingsform, där utvärdering och utveckling hör ihop. Självvärdering, kollegialbedömning och uppföljning är modellens tre beståndsdelar.

Fokuset i modellen ligger på verksamheten. Grundtanken är att verksamheten via systematisk och kritisk självgranskning ska kunna identifierar dess styrkor och svagheter. Detta utgår man sedan ifrån när man bestämmer handlingsvägar för att höja kvaliten. Efter en tid ska föreslagna åtgärder följas upp för att ge en bild av hur de på ett positivt sätt har utvecklat verksamheten.

Skillnaden mellan en utifrånkommande utvärderare och lokal utvärdering är att en extern utvärderare kan vara mer kritisk. Vid lokal utvärdering är utvärderaren intern och det kan vara svårare vid en kollegial relation att vara ifrågasättande och kritisk. (Franke & Nitzler, 2008, s. 56f)

Vad innebär de tre beståndsdelarna?

Självvärdering – att kritiskt reflektera över och göra en bedömning av den egna verksamheten. Kritiska synpunkter kan också vara positiva och det är viktigt att även dessa lyfts fram och diskuteras. Självvärderingen ska sammanställas till en rapport vilken utgör grunden för nästa beståndsdel i modellen.

Kollegialbedömning -

[1] Utkom med boken Utvärdering i politik och förvaltning. En genomgång av olika utvärderingsansatser med exempel tagna från politiken.


Det är osorterat skrivet. Jag har inte helt strukturen i texten klar för mig. På vissa ställen hoppar det, det vet jag och vissa delar är ajg inte överens med.
Det får bli en fråga för morgondagen. Denna veckan ska det vara klart iallafall.
Sen ska jag få till en planskiss för uppsatsen. 19 mars är det dags för handledning igen. Kan ju hoppas att det går bättre den gången! :S