Viime viikolla jaettiin taas ylioppilastodistuksia. Viime vuosina tätä tapahtumaa ovat seuranneet myös lehtien julkaisemat lukioiden “rankkaukset”. Koska ylioppilastodistusten koulukohtaiset keskiarvot ovat julkista tietoa, voi kuka tahansa toimittaja laittaa lukiot “paremmuusjärjestykseen” näiden numeroiden mukaan. Tällaiset rankkaukset herättävät paljon huomiota, koska ne ovat Suomessa kokonaan uudenlainen ilmiö. Monissa muissa maissa koulujen välisessä vertailussa on edetty jo paljon pitemmälle. Vertailuihin liitty kuitenkin monia metodologisia ongelmia.
Kuten monet kommentaattorit ovat ansiokkaasti huomauttaneet, eivät raakoihin keskiarvoihin perustuvat rankkaukset vielä kerro paljoakaan koulujen vaikutuksesta opintomenestykseen. Pääasiassa koulujen väliset erot heijastelevat oppilaiden valikoitumista. Todennäköisesti monet “hyvien” koulujen oppilaat olisivat pärjänneet ihan yhtä hyvin “huonommissakin” kouluissa.
Englannissa, joka on koululistojen luvattu maa, tämä ongema on tiedostettu pitkään ja sitä on pyritty ratkaisemaan julkaisemalla ns. “value added” -listoja . Näissä listoissa koulun sijoitus määräytyy sen mukaan, kuinka paljon ne pystyvät nostamaan oppilaidensa osaamista. Suomessa tällainen lista tarkottaisi lukion tapauksessa rankkausta sen mukaan, kuinka paljon ylioppilaskokeen arvosanat ovat nousseet oppilaiden peruskoulun päästötodistuksen arvosanoista.
“Value added” -listojen perusteella tehdyt koulujen paremmuusvertailut nojaavat samoihin oletuksiin kuin ekonometrian alkeista tuttu kiinteiden vaikutusten regressiomalli. Jos oppilaiden valikoitumista kouluihin ohjaa vain jokin ajassa kiinteähavaitsematon tekijä, esimerkiksi synnynnäinen kyvykkyys, antavat “value added” -listat luotettavan kuvan koulun vaikutuksesta oppilaiden osaamiseen.
Valitettavasti “value added” -metodologia voi myös epäonnistua samoista syistä kuin kiinteiden vaikutusten regressiomallikin ja koulutuksen kohdalla näitä syitä on lukuisia. Tyypillisin syy epäonnistumiseen on se, että mallista pois jääneet havaitsemattomat tekijät eivät olekaan ajassa kiinteitä. Koulutuksessa puhuttaessa on luontevaa olettaa, että sellaiset ajassa muuttuvat havaitsemattomat tekijät kuten oppilaan motivaatio vaikuttavat sekä kouluvalintaan että lopullisiin oppimistuloksiin. Niinpä “value-added” -listatkin olisivat vain pieni parannus Suomessa nykyisin julkaistuihin listoihin.
Koska perheet joka tapauksessa valitsevat koulut johonkin tietoon perustuen, on periaatteessa hyödyllistä, että tietoa kouluista on saatavilla. On kuitenkin kyseenalaista, onko koulujen listaus jonkin yksittäisen tunnusluvun perusteella informatiivista, oli kyseessä sitten raaka keskiarvo tai jonkinlainen “value added”-mitta. Koulujen välisten vertailujen pitäisi perustua useisiin muuttujiin ja niissä tulisi ottaa koulujen sisäinen heterogeenisyys huomioon. Tämä on luonnollisesti sotkuista mutta tosiasia on, että oppimisen tuotantofunktio on sen verran monimutkainen, ettei koulun valinta määritelmällisesti voi olla kovinkaan helppoa.
Aihealueet: Koulutus
Yksinkertaiset päättötodistuksen keskiarvoihin perustuvat rankkaukset voivat toki olla hyödyllisiä, vaikka ne eivät kuvaisikaan - kuten laajamittaisen julkisen keskustelun ansioista hyvin tiedetään - koulun vaikutusta opintomenestykseen. Rankkausten perusteella muodostuu yleinen käsitys siitä, mistä lukioista valmistuu hyviä ylioppilaita. Kehittyy signalointijärjestelmä. Hyviin lukioihin on enemmän hakijoita kuin huonohin, joten niihin on vaikeampi päästä sisään. Näin ollen vain parhaat oppilaat pääsevät suosituimpiin lukioihin ja voivat siten signaloida vähintään yläasteelta jatkunutta korkeata laatuaan.
Koska oppimisfunktiot ovat monimutkaisia, lukiota valitsevat tarvitsevat tietysti monenlaista tietoa, jonka perusteella tehdä johtopäätöksiä siitä, mikä lukio on juuri heille hyvä “mätsi”. Myös puskaradio toimii tässä, vaikkei erityyppisiä lukiorankkauksia julkaistaisikaan lehdissä. Ainakin, kun itse olin yläastelainen, tiesin, ja muutkin tiesivät, mihin lukiohin oli vaikeinta päästä (samat, jotka ovat nyt päättötodistusten keskiarvoihin perustuvien rankkausten kärjessä) ja mihin taas oli helpompi päästä mutta missä tutuntuttujen kokemusten mukaan oli silti ihan kelpo opetus (näistä osa olisi varmaan sofistikoituneempien rankkausten kärjessä).
Suomessa koulujen keskinäinen rankkaus on viety ammatillisen peruskoulutuksen osalta vielä Pekkarisen kolumnissa kuvattua pidemmälle. Ammatillisessa koulutuksessa on ollut vuodesta 2002 lähtien käytössä tulosmittaristo, jonka perusteella koulutuksen järjestäjät on pyritty laittamaan paremmuusjärjestykseen. Arviointi perustuu kuuteen osa-alueeseen, joissa tarkastellaan muun muassa koulutuksesta valmistuneiden henkilöiden työllistymistä ja jatko-opiskelua. Ammatillisen peruskoulutuksen järjestäjien tuloksellisuusmittariston tulokset sekä mittariselosteet löytyvät Opetushallituksen sivuilta: http://vos.uta.fi/rap/.
Tämä ammatillisen peruskoulutuksen järjestäjien rankkaus on jäänyt vähälle huomiolle. Mittariston tuottamia tuloksia on kuitenkin käytetty ammatillisen koulutuksen perusrahoituksen myöntämisen perusteena vuodesta 2006 lähtien. Tulosrahoitusmittariston perusteella kanavoitavan rahoituksen osuus on nykyisellään vain pari prosenttia yksikkörahoituksesta. Tämä on kuitenkin jo merkittävä askel eteenpäin koulujen rankkauslistojen hyödyntämisessä siitä tilanteesta, jossa niillä on vaikutusta lähinnä koulujen maineelle.
Ammatillisessa koulutuksessa käytetyssä tulosmittaristossa on kieltämättä eräitä edistyksellisiä piirteitä, kuten se, että kouluja pyritään arviomaan niiden useiden keskeisten tavoitteiden kannalta eikä vain yhden muuttujan perusteella. Lisäksi mittaristossa on pyritty myös ottamaan jonkin verran huomioon koulujen välisiä eroja (erityisopiskelijoiden ja ylioppilaiden osuus sekä alueen nuorten työttömyysprosentti). Mittaristoa ollaan myös parhaillaan kehittämässä juuri tältä osin.
Mittareita on luonnollisestikin mahdoton rakentaa siten, että ne ottaisivat huomioon kaiken muun kuin koulujen toiminnan laadusta ja vaikuttavuudesta johtuvat koulujen järjestäjien väliset erot. Kenties tätäkin ongelmallisempaa voi kuitenkin olla se, onko koulujen kesken löydettävissä sellaisia selkeitä eroja, jonka perusteella ne voidaan laittaa paremmuusjärjestykseen. Toisin sanoen jos tilastollisesti merkitseviä eroja löytyy vain harvojen koulutuksen järjestäjien osalta, niin ei koulutuksen järjestäjien rankkaaminen niiden perusteella ole välttämättä mielekästä.