Datadrivet arbete i skolan

Skolans utvecklingsarbete ska vara ”datadrivet” – det är det nya buzz-ordet. Helst med hjälp av AI. Men vad betyder det och hur gör man i praktiken? Vi har intervjuat tre skolhuvudmän som gripit sig an analys- och utvecklingsarbetet med hjälp av AI på lite olika sätt. Samtalen visar att såväl syfte som metoder kan skilja sig mycket åt.
Vi möter både kvantitativa och kvalitativa ansatser och utvecklingsarbeten som har helt olika inriktning. En gemensam nämnare mellan dessa tre kommuner hittar man när man frågar vilket råd de vill ge till andra som ännu inte börjat detta arbete: Våga testa, våga börja, ha mod att samarbeta med externa aktörer, säger alla tre.

Mölndal

Erica Ekenmo är biträdande förvaltningschef och verksamhetschef i grundskolan i Mölndal. Hon berättar att initiativet till att jobba mer datadrivet föddes 2020.

– ”Vi hade dominerande traditionella arbetssätt då och mycket manuella processer i vår verksamhet. Det begränsade hur vi kunde hantera större datamängder. Precis som hos många andra kommuner så var informationen utspridd i många olika system. Det skapade en ineffektivitet i vår organisation. Det gjorde också att våra beslut inte baserades på aktuella data, utan inaktuell”, säger Erica Ekenmo.

Arbetet inleddes med att kommunen genomförde en förstudie. Tillsammans med en extern konsult började man titta på vilken data man hade och vad man skulle kunna göra för att effektivisera sina processer och förbättra sitt beslutsfattande. Man börja också titta på olika tekniska lösningar för att få fram datamängderna.

– ”Om jag tittar i backspegeln nu kan man säga att vi gick in lite naiva och tänkte att det här skulle bli ganska lätt. Vi gick ut ganska ambitiöst och sa att vi borde kunna ha en teknisk lösning på plats redan 2021.”

De tänkte att de, tillsammans med den externa konsulten, skulle bygga någon form av skolanpassat BI-system (BI – Business Intelligence). Man påbörjade arbetet men stötte ganska snabbt på hinder av olika slag. Man fastnade ganska snabbt i vad Erica kallar frågor om ”datafängelse”.

– ”Vi förstod att bara för att vi matar in information i olika system så kanske vi inte äger datan och i vissa fall är det väldigt svårt att få ut den, för att det finns begränsningar i källsystemet kring att hämta ut data som vi ville.”

Man jobbade med dessa frågor några år, samtidigt som den tekniska utvecklingen gick vidare och generativ AI plötsligt framstod som en möjlighet istället för ett traditionellt BI-system.

– ”Med facit i hand är jag väldigt glad för att det tog så lång tid. För det vi har kommit fram till nu är bättre än det vi hade från start.”

Mölndal har tillsammans med konsulten skapat en generativ AI som gör att man kan ställa frågor till sina egna datamängder. Den tekniska lösningen är klar men ännu inte sjösatt. Man har inte matat in någon data i systemet ännu. Istället har man ägnat sig åt riskanalys och att avidentifiera datamängderna. Systemarkitekturen har riskbedömts för att man ska kunna hämta data ur datalagret och visualisera den. Det handlar inte bara om hur man hanterar personuppgifter, men just personuppgiftshanteringen har genomgått riskanalys, riskbedömning och konsekvensbedömning. Att detta tagit så lång tid har bland annat att göra med att det krävts kompetens som inte funnits inom kommunen, utan man har behövt samarbeta med externa konsulter.

– ”Det har tagit lång tid för att vi har behövt lära oss vad får man göra, hur man måste göra och vad vi behöver göra inom kommunens gränser för att kunna gå vidare”, säger Erica.

Men nu är man i slutfasen och har tre verksamhetssystem som är sammankopplade. Utbildningsnämnden kommer inom kort fatta beslut i frågan. Därefter är det fritt fram att börja tanka in data i systemet. Förberedelserna har också lett till att kommunen sett ett behov av att inrätta en kvalitets-, innovations- och digitaliseringsenhet som kommer jobba tätt med kommunens myndighetsenhet där informationssäkerhetsarbetet sker.

En risk med generativ AI är ju att den kan börja hallucinera, eller hitta på saker. Hur hanteras det?

– ”Där har vi gjort så att vi har ställt den på noll i vårat system då, så att den inte ska kunna hallucinera. Men vi måste hela tiden bevaka detta och därför ska vi anställa en data-scientist. Vi behöver ha kompetensen inom organisationen.”

Man står nu redo att inleda arbetet i elva pilotskolor. De datakällor man inledningsvis koncentrerat sig på är bland annat betyg och bedömning, elevernas närvaro och frånvaro, resultat på nationella prov, särskilt stöd samt formativa omdömen. Erika säger att önskelistan på fler datakällor är lång men det är ett tidskrävande arbete. Man har också arbetat mycket med att få en gemensam uppfattning om hur man ser på olika definitioner samt hur och när man rapporterar in olika data – en nödvändig del i att skapa kvalitet i datakällorna.

Erica och hennes grupp har ännu inte stött på något direkt motstånd eller skepsis i sitt arbete, varken från pedagoger eller vårdnadshavare. Men, säger hon, det kan nog delvis förklaras av att arbetet hittills bedrivits på huvudmannanivån. Kommunikationen med vårdnadshavarna har ännu inte börjat.

Vad har då Erica för råd att ge till huvudmän som står i begrepp att börja arbeta mer datadrivet?

– ” Jag tänker att man ska vara modig. Det är absolut inte modigt att ta risken när det gäller hantering av personuppgifter. Det är inte det jag är ute efter. Utan mod i att våga när det känns svårt. Mod att ta in kompetens också, att våga samarbeta med externa aktörer.”

Lund

Lund har tagit en annan approach och arbetar med kvalitativa data istället. Per Wickström, Viveca S Dahl och Magnus Bokelid är alla tre verksamhetschefer i grundskolan och anpassad grundskola. De berättar om hur de använder AI för att sammanfatta och värdera den kvalitativa data som de får fram i kvalitetsdialoger med rektorer och ledningsgrupper.
De spelar in samtalen, och använder olika AI-tjänster för att transkribera dem sammanfatta samtalen och få hjälp att analysera och vidareutveckla dem. Syftet är att fördjupa de pedagogiska samtalen och att använda AI för att skapa mer strukturerade och analyserande diskussioner.

– ”Vi håller på att bygga ett system som är anpassat för våra behov utan att få alla de kostnader som följer med att engagera ett företag”, säger Per Wickström.

De använder AI-tjänster som Whisper och ChatGPT. De har också hittat en artikel där två norska forskare beskriver en metod för att fördjupa och förbättra professionella samtal [1]. Forskarna beskriver en metod i fyra steg som innefattar att sätta scenen, att bjuda in synpunkter och argument, att föra diskussionen framåt och att sammanfatta diskussionen. Tanken är, säger verksamhetscheferna, att rektorer med hjälp av AI-stöd ska kunna föra sådana fördjupande samtal.

– ”Vi pratar till exempel ofta om lärarens relationella kompetens. Den kan beskrivas översiktligt. Men i våra dialoger försöker vi komma djupare i den frågeställningen – vad rent konkret är det läraren gör i klassrummet. Vi samlar in exempel från olika lärare och sammanfattar vad relationell kompetens innebär i praktiken i klassrummet. Om vi kan generalisera det så kan det bli till ett stöd för lärare i att fördjupa sin relationella kompetens”, säger Viveca S Dahl.

I detta sammanhang beskriver de också hur de stött på sin första stora utmaning, nämligen att samtal innehåller så många ord – att det i transkriberad form blir väldigt mycket text. Inte alla transkriberingstjänster klarar så stora ljudfiler som genereras i ett 90 minuters samtal. Dessutom har vissa tjänster svårt att förstå skånska.

– ”Det är intressant i sig, att vi säger så mycket till varandra i tal. Mycket mer än i en skriven rapport”, säger Magnus Bokelid.

De hoppas mycket på Kungliga Bibliotekets nya AI-modell för transkribering som är specialiserad på svenska och ska klara olika dialekter [2]. Men de har ännu inte hunnit testa den.

Nästa steg i arbetet, när de har den transkriberade texten är att använda ChatGPT för att sammanfatta, utveckla och föreslå vad nästa steg i arbetet skulle kunna vara. Här tränar de att skriva promptar, det vill säga kommandoord, till AI-modellen. Gruppen beskriver hur det gäller att våga testa och pröva sig fram. Och, menar de, om de är många som provar sig fram så kommer de snabbt att bli duktigare på att skriva rätt sorts promptar.

– ”Det svåråtkomliga stödet vi skulle vilja ha är att kunna klassificera det som kommer ut ur dialogen – vad är bra, vad vill vi fortsätta med, vad kan vi utveckla vidare. Att få AI att hjälpa oss i den analysen hoppas vi på”, säger Per Wickström.

Det är det systematiska kvalitetsarbetet som står i centrum just nu. Men Magnus Bokelid menar att samma metod borde kunna användas vid utvecklingssamtal med elever. Där finns en hel del GDPR-frågorna som är svåra att lösa.

– ”Men om det är inte de personkänsliga uppgifterna vi ägnar oss åt så kanske vi kan hitta en väg runt. Det genomförs hundratusentals utvecklingssamtal varje år, så det skulle vara en stor avlastning om ett företag tar fram en modell där informationen sorteras, klassificeras och så vidare i en GDPR-säkrad lösning. Det skulle ge många miljoner i rationaliseringsvinster”, säger Magnus Bokelid.

Ett annat område de funderar på att testa AI-stöd inom är lärares lektionsplanering. Eftersom läraren ska planera för hela klassens inlärning och behoven ser så olika ut, så är det i praktiken så att läraren måste ta fram flera olika planeringar för varje lektion. Skulle man kunna jobba med AI-stöd i denna process så skulle man också kunna spara mycket tid, menar de.

Vilka råd har då Per, Viveca och Magnus att ge till andra som vill använda AI i sin verksamhetsutveckling? Det första rådet är att välja enkel teknik som ändå går bra att använda. De använder sina mobiler för ljudinspelningar – utan mikrofoner eller liknande, det vill säga teknik som finns på plats. Ett annat råd är att inte nöja sig med gratisversioner av de olika AI-tjänster man jobbar med. Det krävs licensversioner för att man ska få ut nytta av verktygen. Slutligen ger de rådet att våga testa och pröva sig fram.

– ”Vi säger som Nike sa i sin reklam: Just do it!”

Helsingborg

I början av 2020-talet jobbade flera skolor i Helsingborg enligt modellen Data Teams [3], som handlar om att ställa upp hypoteser och försöka verifiera eller falsifiera dem med hjälp av data. Ett par år senare ville man gå vidare och utveckla analysarbetet genom att ta hjälp av datorkraft.
Först försökte man med en vanlig BI-tjänst men den visade sig snart vara för begränsad. Istället ville man ha något mer anpassat efter just Helsingborgs behov och förhållanden. Med hjälp av ett externt företag och innovationspengarna från kommunen började man 2022 bygga ett verktyg som kallas Skolanalys. Man har även byggt en modul anpassad för förskolan, kallad Myran.

Myran är till för att testa hur väl olika förskolenheter når upp till de cirka 25 lärandemålen i förskolans läroplan. Man har, tillsammans med pedagogerna, tagit fram 20-40 sekunder långa animeringar som en pedagog samtalar med barnet runt, ett barn i taget. Det sker med hjälp av en app som innehåller uppgifter som utgår från kunskapsmålen i läroplanen. Uppgifterna har varierande karaktär och möjliggör för barnen att visa sina kunskaper på olika sätt. Pedagogerna registrerar barnens svar utifrån olika svarsalternativ och resultaten sammanställs utifrån ålder, kön, förskola och förskoleområde.

På grundskolenivå är datainsamlingen mer automatiserad. Där samlar man tre typer av data: för det första skolfaktorer som exempelvis personalomsättning, sjukfrånvaro, lärartäthet och lärarnas behörighet samt uppbyggande medel. Vidare elevprestationer till exempel i form av betyg och resultat på nationella prov, närvaro och information från elevenkäter. Slutligen matas också data om elevernas socioekonomiska bakgrund in. Man har gått bakåt i historien och lagt in data från 2016/2017 så att jämförelser över tid blir möjliga. En modul för gymnasiet finns också redo att tas i bruk. Förhoppningen är att kunna följa barn från förskolan, genom grundskolan och till gymnasiet.

Skolanalys har först prövats i ett antal pilotskolor och håller nu successivt att implementeras. För närvarande använder fjorton grundskolor verktyget, även om data från samtliga skolor finns inlagda.

En av dem som varit med redan från början, när man jobbade med Data Teams-modellen, är Martin Carling som är rektor vid en F-9 skola. Han menar att den främsta fördelen med Skolanalys inte är att där finns färdiga svar på hur man ska agera, utan att verktyget hjälper honom och hans ledningsgrupp att tänka lite bredare runt vad som är orsaken till olika problem och hur man kan ta tag i dem.

– ”Vi använder tänket i Skolanalys till att försöka para ihop parameter och se lite bredare. Vi försöker att titta på orsaker som ligger utanför den undervisningsnära verksamheten, sånt man inte alltid tänker på annars. Jag kan nog säga att vi har använt det mer som en inspiration än som ett färdigt verktyg. Det är först nu som det börjar att bli färdigt”, säger Martin Carling.

Hur ser det då ut, rent konkret, när Martin och hans ledningsgrupp använder Skolanalys? Är verktyget framme på en stor skärm som alla kan se?

– ”Nej, vår analysgrupp har före mötet varit inne i verktyget och skapat sig en bild av hur statistiken ser ut i olika avseenden. Och utifrån det så lägger vi frågeställningar på bordet, vad har vi sett för någonting? Och sen så börjar vi att nysta i det. Arbetssättet kräver att man har varit inne i systemet och gjort sig sina egna tankar. Det är en del av processen med Skolanalys – att man kan tänka och reflektera och se olika saker. Dessa reflektioner kan sedan stämmas av mot fakta i olika avseenden.”

– ”Säg till exempel att vi har en utmaning med matteresultaten. Den vanliga åtgärden då är en extra lärare i matte eller liknande. Men det Skolanalys hjälper oss med är att först konstatera hur resultaten ser ut och hur de förändrats över tid. Men också bakgrunden hos eleverna, hemmasituationen hos eleverna och hur kan det spela in. Har de möjlighet att göra läxor hemma till exempel. Kanske kan vi kompensera för det? Då kan vi ge en större effekt över tid än bara en extra lärare eller en extra grupp i matte” säger Martin Carling.

Det råd Martin främst vill skicka med till andra är att våga, att faktiskt våga reflektera, att öppna upp, diskutera och ta in intryck.

– ”Om du skapar en analysgrupp så måste den vara väldigt fri i. Det ska vara helt OK att i början komma med tankar som är mer eller mindre välgrundade. Sedan vidtar ett analysarbete för att börja sålla. I gruppen får man inte för tidigt kräva av varandra att man ska ha ett underlag för saker och ting, utan att man faktiskt kan vara öppen titta på olika möjliga förklaringar. Sedan kan vi gemensamt förkasta olika förslag. Så bygg bort känslan av att analys är någonting jättesvårt utan istället öppna upp. För då tror jag i slutändan att du kan analysera.”

Avslutning

Intervjuerna visar att arbetet med datainformerad skolutveckling fortfarande är i en tidig fas. Exemplen från Mölndal, Lund och Helsingborg visar också att utvecklingen kan ta sig många uttryck – från kvantitativ analys med AI, till kvalitativa samtal och kombinationer av olika datakällor. Gemensamt för dem är viljan att använda data för att fatta mer välgrundade beslut och att de ser teknikens möjligheter snarare än begränsningar. Samtidigt skiljer sig deras angreppssätt beroende på lokala behov och förutsättningar. En framgångsfaktor tycks vara att våga experimentera, samarbeta och dra lärdom av processen. Vägen framåt handlar om att balansera teknik och pedagogik, där datadriven analys blir ett stöd snarare än ett mål i sig.

Källor

[1] Vennebo, K. F., & Aas, M. (2019). Leading professional group discussions: a challenge for principals? International Journal of Leadership in Education, 23(5), 552–566. https://doi.org/10.1080/13603124.2018.1562099
[2] https://www.kb.se/samverkan-och-utveckling/nytt-fran-kb/nyheter-samverkan-och-utveckling/2025-02-20-valtranad-ai-modell-forvandlar-tal-till-text.html
[3] Schildkamp, Kim (2016): Datagrundad skolförbättring – analys utifrån datateam-metoden. Studentlitteratur 2016.