VATTin tutkijat Mika Kortelainen, Heikki Pursiainen ja Jenni Pääkkönen julkaisivat muutama viikko sitten raportin, jossa lukiot pistettiin paremmuusjärjestykseen opiskelijoiden lähtötaso huomioon ottaen. Tutkimus oli mallikkaasti tehty, mutta ilmeisesti sen verran kiemuraisesti kirjoitettu, että sitä eivät kasvatustieteilijätkään ymmärtäneet.
Tämän päivän Hesarissa Sirkku Kupiainen kritisoi VATTin tutkimusta todeten, että lukioilla, joiden sisäänpääsyraja on korkea, ei ole edes teoreettista mahdollisuutta tuottaa opiskelijoilleen arvonlisää. Kymppiä kun ei enää voi parantaa; katto tulee vastaan.
Kritiikki perustuu yksinkertaiseen väärinymmärrykseen. Kupiaisen mainitsema kattovaikutus liittyy ylioppilaskirjoitusten tuloksiin, ei oppilaiden lähtötasoon. Kuuden ällän ylioppilaita ei kovin paljoa ole, joten useimmilla ylioppilailla olisi edelleen varaa tulosten petraamiseen.
Kupiainen peräänkuuluttaa että arvonlisää pitäisi mitata vertaamalla samanlaisella peruskoulun päättötodistuksella eri lukioihin menneitä. Tämä on täsmälleen, mitä VATTin tutkimuksessa tehdään. VATTin tutkijat selittävät ylioppilaskirjoitusten tuloksia lukioiden vaikutuksilla kontrolloiden samalla kunkin opiskelijan lähtötasoa lisäämällä malliin opiskelijan peruskoulun päästötodistuksen keskiarvon. Voisivat toki kertoa tämän hiukan selkeämmin itse raportissakin.
VATTin tutkimus tekee pari muutakin fiksua korjausta. Laskelmissa korjataan peruskoulujen arvostelukriteerien eroja lisäämällä malliin selittäjäksi, mistä peruskoulusta kukin opiskelija on tullut. Miten tämä on tehty, joutuu tosin senkin raportista arvaamaan. Lisäksi VATT tutkimuksessa “kutistetaan” pienten koulujen tulosten variaatiota, koska muuten pienten koulujen suuremmasta satunnaisvaihtelusta johtuen sekä parhaat että huonoimmat koulut olisivat aina pieniä kouluja.
VATTin tutkimustakin voisi toki viedä vielä pidemmälle. Ehkä jotkut lukiot osaavat opettaa kympin ja toiset seiskan oppilaita ja vaikutukset ovat siksi erilaisia eri oppilaille. Ja ehkä joissain lukioissa opetetaan paremmin matematiikkaa ja toisissa kieliä. Ehkä jossain osataan vielä potkia opiskelijoita paremmin jatkokoulutukseen korkeakouluihin. Monipuolisempi raportointi voisi tällaisia vaikutuksia selvittää. Ihan kaikkia valikoitumisongelmiakaan ei VATTin tutkimus korjaa. Ylioppilaskirjoitusten lisäksi myös arvonlisäykseen voi vaikuttaa oppilaiden ominaisuudet.
Joka tapauksessa VATTin raportti on iso parannus pelkkään ylioppilaskirjoitusten tuloksiin perustuvaan lukiorankingiin verrattuna. Aikaisemmat rankingit kertovat enemmän siitä millaisia opiskelijoita lukioon valitaan kuin siitä mitä lukiot näille opettavat. Itse asiassa VATTin tutkimuksen mukaiset erot lukioitten välillä ovat yllättävänkin suuria ja kaiken lisäksi suhteellisen pysyviä. Vertailun kärkeen sijoittuvilla Leppävirran, Mynämäen ja Reisjärven lukiolla on syytä olla ylpeitä menestyksestään.
VATTin tutkijoiden haasteeksi jää skarpata raportointia tasolle, jota alan tutkijatkin osaavat lukea.
Aihealueet: Koulutus
Mika Kortelainen: Hyvin kirjoitettu! Läpinäkyvyys on ensisijaisen tärkeää tällaisissa tutkimuksissa. Mutta mieleeni tuli olisiko mahdollista tuoda tutkimuksessa esille mitä tapahtuu, jos taustaoletuksia muutetaan eli ns. mallin volaliteetti oletuksille? Tämä olisi huomattavasti havainnollistavampaa kuin esim. tietää vain oletuksista.
So what etc.,
Pahoittelut jos teksti antaa varaa tulkinnoille, mutta luulin kehuneeni tutkimusta. Itse asiassa muistelen viime aikoina kehuneeni muitakin tutkimuksia. Ehkä alan iän myötä pehmentyä.
Nuorempana olin vahvasti sitä mieltä, että tutkimusten pitääkin saada kovaa kritiikkiä - varsinkin niitten jotka koskee tärkeitä teemoja ja joita ei koskaan tulla alistamaan normaaliin referee - prosessiin. Ja silloinkin yritin noudattaa Alan Kruegerin aikanaan opettamaa kultaista sääntöä: “kaikissa tutkimuksissa on virheitä, mutta alle 100 prosentin virheisiin ei kannata puuttua.”
Nyt kun useampikin on ehtinyt kommentoimaan tutkimuksen ja erityisesti menetelmän raportointia, niin on ehkä syytä huomauttaa että raportin tärkeimmät luvut (Johdanto, Keskustelua tuloksista, Johtopäätökset) on kirjoitettu yleistajuisesti. Blogissa käyty keskustelu liittyy arvonlisämenetelmän kuvaamiseen (lähinnä luku 2). Olisimme toki voineet jättää menetelmään liittyvät teknisemmät yksityiskohdat paperista pois ja viitata niiden suhteen Chetty, Friedman & Rockoff (2014, American Economic Review) paperiin, jossa tutkimuksessa sovellettu menetelmä esitellään vielä huomattavasti yksityiskohtaisemmin. Meidän mielestä oli (ja on edelleen) kuitenkin perustellumpi ratkaisu selittää lukijalle mallin tärkeimmistä oletuksista ja rajoituksista läpinäkyvästi ja täsmällisesti. Lukija, joka ei ole kiinnostunut arvonlisämenetelmän yksityiskohdista tai laskelmien taustaoletuksista voi hyvin jättää menetelmäkuvauksen lukematta.
So What?: Jaa, empä tiedä. Mielestäni Uusitalon kirjoistus oli ihan asiallinen ja rakentava. Todettiin, että hyvin tehtyä tutkimusta on suotta kritisoitu. Syyksi esitettiin sitä, että tutkimuksen kaikkia teknisyyksiä ei ole ymmärretty.
Kommenteissa sitten todettiin, että varsinkin suurta yleisöä kiinnostavista tutkimuksista voisi olla hyvä tehdä “maallikoille” suunnattu tiivistelmä tai selitys.
Itse en ainakaan huomannut, että tämä olisi jotenkin pahantahtoisesti kirjoitettu.
Meillä on siis tämä Kupiainen, joka ei ymmärtänyt VATT:in tutkijoiden käyttämää menetelmää. On hyvin mahdollista, että se johtui Kupiaisen oman metodologisen osaamisen heikkoudesta. Mutta Uusitalon metodologista osaamista tuskin kiistää kukaan. Hänen kirjoittelunsa motiivit kylläkin.
Uusitalo kiirehti blogissa anvastaamaan Kupiaiselle ennen kuin VATT:in tutkijat itse saivat siihen mahdollisuuden. Miksi? Ja tutkimuspaperissa Uusitaloa kiitetään kommenteista. Hän on siis saanut perehtyä tutkimukseen ennen sen julkaisemista ja kommentoida sitä. Eikö Uusitalon kommentteja otettu huomioon?
Olen jo jonkun aikaa seurannut ATB:tä ja varsinkin Uusitalon kirjoituksia siellä. Taannoin hän haukkui suomalaiset “vanhemmat” makroekonomistit, nyt hän hyökkää nuorempien ekonometrikoiden kimppuun. Ihmettelen tätä toimintatapaa. Olisi vaihteeksi kiinnostavaa lukea Uusitalolta jotain rakentavaa ja uutta vaikka kansantalouden ja julkisen talouden tilasta. Näissä keskusteluissa Uusitalolla olisi kyllä tätä kirjoitusta merkittävämmän kontribuution paikka.
Ei sen luulisi niin kovin paljon resursseja vievän kirjoittaa viiden sivun selkokieliraportti omasta tutkimuksestaan. Enintään yhden päivän homma yhdeltä tutkijalta. Samalla vältettäisiin tarve jatkoselittelyihin.
Oikeasti tässä on ongelmana asennevamma tutkijoiden keskuudessa. Toimittajien ja poliitikkojen ylenkatsominen on aivan liian yleistä. Erityisesti VATT:n kaltaisessa organisaatiossa tulisi satsata ymmärrettävyyteen, jos tulosteen halutaan vaikuttavan policyyn.
“Oli se aika “vaativaa” tekstiä vaikka vähän olisi ekonometriaan perehtynytkin.” Ok, uskotaan sitten. Ehkä tässä sitten on tosiaan hiukan itsetutkiskelullekkin tilaa eli tällaisissa hyvissä ja taatusti suurta yleisöä kiinnostavissa papereissa voisi pyrkiä jonkinlaisen karvalakkiversionkin tekemiseen, jonka toimittajatkin ymmärtäisivät. Resurssejahan tuo tietysti vaatisi eli tiedä sitten onko järkevää ajankäyttöä ainakaan tutkijoille.
Itse kävin lukion muutama vuosi sitten ja täytyy huomioida, että esim. B:n nostaminen M-arvosanaksi on huomattavasti helpompaa kuin E:n nostaminen pykälällä. Tämä siis huomioksi siihen, että “Kuuden ällän ylioppilaita ei kovin paljoa ole, joten useimmilla ylioppilailla olisi edelleen varaa tulosten petraamiseen.”
Oli se aika “vaativaa” tekstiä vaikka vähän olisi ekonometriaan perehtynytkin. Ja minä sentään tiesin etukäteen, miten tutkimus oli tarkoitus tehdä. Ei se niin helppoa ole kirjoittaa tutkimusraporttia niin, että siinä tulee kaiken muun mielenkiintoisen keskeltä ne oleelliset pointitkin tarpeeksi selkeästi esiin.
Mika Kortelaiselle pitää todeta, että kontrollimuuttujista kertova tekstin pätkä on varsin vaativaa tekstiä, jos ei ole ekonometriaan perehtynyt. En ihmettele, jos tulee väärinymmärryksiä.
Minusta on hienoa, että asiaa on tutkittu nyt kunnolla ja löydöksiä tehty. Ekonomistit ovat nyt havainneet, missä asioita tehdään oikein vuodesta toiseen, ehkä kasvatustieteilijöiden kannattaa seuraavaksi tutkia miten asiat tehdään Mynämäen tavalla.
VATT:in paperia lukematta väitän, että Uusitalo harrastaa tässä aivan turhaa (itse)ruoskintaa. Ekonomisteilla on julkisessa keskustelussa tapana pyydellä anteeksi osaamistaan ja varsinkin tällaisessa toisen “tieteen” alueelle menevässä tutkimuksessa pitää esittää nöyrää ettei joudu roviolle. Totuus tässä jupakassa on se, että kasvatustieteilijät ovat surkea joukko puuhastelijoita, jotka valtavista aineistoista huolimatta eivät tunnu saavan mitään kunnollista aikaiseksi. Sitten kun joku ekonomisti tekee jotain fiksua heille “kuuluvasta” aiheesta kirjoitetaan stadariin kiukkuinen teksti aiheesta väärin sammutettu.
On kai tosiaan mahdollista, että VATT:in paperi on niin hirveää sotkua, että sitä ei voi lukija ymmärtää mutta hiukan epäilen. Jos näin kuitenkin on, niin kai näihin tutkijoihin olisi voinut ottaa suoraan yhteyttä ja selkeyttää näkemyksensä sen sijaan, että luo julkista keskustelua täysin turhasta.
Antti,
Jakauman muoto johtuu osittain mainitsemastasi normeerauksesta, osittain siitä, että arvonlisät ovat eräänlaisia keskiarvoja. Lisäksi arvonlisää mitataan aina suhteessa keskimääräiseen lukioon, joten kaikkia lukioita / koko ikäluokkaa koskevat muutokset eivät vaikuta tuloksiin.
Mielenkiintoinen tutkimus, jossa huomioidaan tärkeitä luokiopetuksen tason arvioimiseen liittyviä taustatekijöitä. Kuten blogisti mainitsee, on raportti aika vaativa tilastomatemaatiikkaan perehtymättömälle, mutta eiköhän se saaada seuraavia raportteja varten kuntoon (ainakin itse uskoisin tämän tyyliselle raportille olevan vuosittaista kysyntää).
Se mikä herättää hieman ihmetystä, on arvonlisien jakauma (raportin s. 17, kuva 2). Miksi jakauma on silmiinpistävän symmetrinen, jopa normaalinen? Onko oikeasti niin, että Suomessa on yhtä paljon hyviä lukioita kuin huonoja lukioita? Ja vielä niin, että hyvät lukiot ovat yhtä paljon parempia kuin mitä huonot lukiot ovat huonompia?
Eräs selitys mikä tulee mieleen on se, että YO-kirjoituksissahan arvosanajakauma normalisoidaan (tai ainakin ennen normalisoitiin) siten, että kunakin vuonna noin sama osuus saa kunkin arvosanan. Ts. yhden lukion parannus on muilta pois! Tällöin olisi luontevaa odottaa, että sellaisena vuonna, jona peruskoulusta on tullut poikkeuksellisen hyvä vuosikerta, olisi arvonlisäys keskimääräistä huonompi, sillä hyvin arvosanojen määrää ei voida kasvattaa samassa suhteessa.
Hyvä että muutkin ovat huomanneet Sirkku Kupiaisen väärinymmärryksen eilisessä Hesarissa. Hänen väitteensä tutkimuksessamme (http://www.vatt.fi/file/vatt_publication_pdf/t179.pdf) käyttämästä menetelmästä ja sen rajoitteista eivät pitäneet paikkaansa niin kuin Roope ansiokkaasti toi esille. [Olemme lähettäneet asiasta myös Hesariin vastineen, joka toivottavasti julkaistaan huomenna.]
Mitä tulee käyttämäämme malliin ja sen muuttujiin, mielestämme ne on selitetty varsin yksityiskohtaisesti raportissa. Esimerkiksi sivulla 13 toteamme mallin kontrollimuuttujista seuraavaa ”Perusmallissa jäännöskeskiarvo laskettiin mallista, jossa oli mukana lukiokohtaiset ns. kiinteät vaikutukset (dummy-muuttujat lukioille) ja selittävinä muuttujina lisäksi kolmannen kertaluvun polynomi peruskoulun lukuaineiden keskiarvosta, äidinkieli (suomi, ruotsi, muu), sukupuoli sekä lähtökoulua kuvaava muuttuja. Lisäksi mallissa oli mukana kirjoituskerta- / vuosimuuttuja.”
Käytännössä olemme siis käyttäneet erillisiä dummy-muuttujia kullekin lähtökoululle (ts. lähtökoulun arvosteluperusteiden oletetaan pysyvän vakiona). Lisäksi harha- tai robustisuustarkasteluissa olemme mm. lisänneet joitain ruututietokannan muuttujia mukaan sekä kokeilleet miten yläkouludummyjen pudottaminen vaikuttaa tuloksiin.
Yläkoulun keskiarvon polynomi sekä muiden kontrollimuuttujien huomiointi selittää sen miksi kympin oppilaatkin voivat tuloksiaan ‘parantaa’. Esimerkiksi Ressulle jää tilaa parantaa vähintään kokonaisen yo-arvosanan verran vaikka sisään tulevan oppilaan keskiarvo olisi täysi kymppi. Lisäksi on syytä huomata, että varsinkin viiden tai kuuden ällän ylioppilaita on erittäin vähän.