I alla undersökningar fråga sig vad det är man vill mäta och vad som faktiskt mäts. Det gäller även i bedömningen av den svenska skolan.
Under tiden som rösterna fortfarande räknades i USA:s presidentval 1948 publicerade tidningen Chigago Tribune rubriken “DEWEY DEFEATS TRUMAN”. På svenska: “Dewey besegrar Truman”. Den självsäkra rubriken baserade sig på en telefonundersökning. Men valet slutade med att Truman vann i en riktig jordskredsseger. Felet kom sig av att telefonen vid den här tiden inte var lika utbredd som i dag. Dess användare var mer välbemedlade än snittet. Därför blev urvalet inte representativt för det man faktiskt ville mäta: väljarkåren som helhet.
Tidningens misstag är ett klassiskt exempel på vad som inom statistiken kallas urvalsfel. Alltså att en undersökning blir missvisande för att urvalet är påverkat på något sätt. Det gör att resultatet riskerar att bli fel eller misslyckas med att visa helheten. Därför måste man i alla undersökningar fråga sig vad det är man vill mäta och vad som faktiskt mäts.
En liknande problematik uppstod i debatten när PISA-undersökningen för 2022 släpptes i höstas. Undersökningen mäter svenska elevers kunskaper i svenska, matematik och naturvetenskap och jämför dessa med andra länder i OECD, organisationen som samlar världens utvecklade ekonomier. Man kunde se att kunskaperna hade sjunkit sedan den förra mätningen 2018. Sverige landade på plats 15 av 37, ganska medelmåttigt. Många tog detta som bevis för att den svenska skolan återigen hade misslyckats. Det passade ganska bra in i den berättelse om skolans brister som länge präglat samtalet om densamma.
Men tittar man lite närmare på urvalet, i det här fallet elevunderlaget, upptäcker man dock något. För i den svenska skolan finns en ganska stor andel elever som är födda utomlands eller har utrikes bakgrund. Detta i stor utsträckning från länder med lägre utbildningsnivå. Inlärning är svårt för många som det är och har man inte med sig språket hemifrån blir det såklart ännu svårare, trots en stark vilja. Gruppen har därför generellt sämre förutsättningar att ta till sig av svenskan och andra ämneskunskaper.
Justerar man Pisa-resultatet för elevunderlaget och bara tittar på elever med minst en svenskfödd förälder blir historien därför en annan. Det kunde skolforskaren Gabriel Heller Sahlgren visa i en artikel från nättidskriften Kvartal. När man mäter lika med lika är svenska elever bäst resultat i hela Norden. Vi slår till och med det ofta så hyllade finska skolsystemet – och i Europa är det bara Estland och Schweiz som är bättre.
Pisa mäter elevernas kunskaper som de är, inte hur väl skolväsendet lyckas utifrån rådande elevunderlag. Säger undersökningen att många elevgrupper i skolan behöver stärkta kunskaper? Ja. Säger den att skolan är ett stort misslyckande som behöver drastiska generella åtgärder? Troligen inte.
Det gör inte att skolan saknar utmaningar, systemet har ett stort behov av träffsäkra kunskapslyftande åtgärder. Men än går det inte att säga “PISA DEFEATS SWEDEN”.