Satunnaistamisen sietämätön helppous ja vaikeus

21.5.2009 Kirjoittanut Tuomas Pekkarinen

Yksi taloustieteellisen tutkimuksen tärkeimmistä tavoitteista on tuottaa tietoa erilaisten talouspoliittisten toimenpiteiden vaikutuksista. Monien toimenpiteiden kohdalla satunnaistamiseen perustuva kokeellinen menetelmä on kiistatta luotettavin arviointimenetelmä. Satunnaistamisen onnistuessa vaikutusten analysointi on hyvin yksinkertaista. Toisaalta satunnaistamisen toteuttamisessa törmätään usein suuriin vaikeuksiin, kuten apulaisoikeuskanslerin torpedoima työllistymisbonusten tutkimushanke osoittaa.

Toimenpiteiden vaikutusten tutkimus on haasteellista siitä yksinkertaisesta syystä, että ihmisten käyttäytymistä ohjaavat niin lukemattomat tekijät. Vaikutuksia arvioitaessa pyritään aina siihen, että mitattu vaikutus aiheutuu juuri toimenpiteestä eikä muista tekijöistä. Tutkimuksen kannalta ideaali tilanne olisi sellainen, jossa toimenpiteen vaikutuksen alaisia ihmisiä voitaisiin verrata itseensä samassa hetkessä toimenpiteen ulkopuolella. Tämä on luonnollisesti mahdotonta, koska ihmisiä ei voi monistaa eikä aikaa pysäyttää.

Yhteiskuntatieteellinen tutkimus on paininut tämän ongelman kanssa vuosikymmeniä. 1990-luvulla taloustieteellisessä tutkimuksessa yleistyi näkemys, että arvioinnissa tulisi olla tavoitteena löytää sellaisia tutkimusasetelmia, joissa toimenpiteen kohdentuminen on riippumatonta kohdehenkilöiden havaituista ja havaitsemattomista ominaisuuksista. Parhaiten tämä ns. eksogeenisyys-oletus toteutuu, kun toimenpide kohdentuu täysin satunnaisesti. Tällöin toimenpiteen vaikutuksen alaiset ja sen ulkopuolelle jäävät yksilöt ovat keskimäärin identtisiä kaiken muun paitsi toimenpiteen osalta.

Jos satunnaistaminen onnistuu, on itse vaikutusten arviointi miltei lapsellisen yksinkertaista. Periaatteessa arviointiin riittää vain koe- ja kontrolliryhmien tulemien keskiarvojen vertailu. Ehkä osittain tästä syystä sellaiset arvovaltaiset tutkijat kuten James Heckman ja Angus Deaton ovat viimeaikoina kimmastuneet satunnaistamisen räjähdysmäisestä yleistymisestä erityisesti työn taloustieteessä sekä kehitysmaataloustieteessä. Nämä kriitikot ovatkin oikeassa siinä, että satunnaistaminen ei sovellu kaikkiin tutkimusongelmiin. On esimerkiksi mahdotonta tutkia monien makrotaloudellisten toimenpiteiden vaikutusta satunnaistamisella.

Kuitenkin niiden kysymysten kohdalla johon satunnaistaminen soveltuu, on se yksinkertaisesti luotettavin menetelmä. Tämä on osoitettu myös empiirisesti. Itse asiassa innostus satunnaistamiseen yleistyi taloustieteilijöiden piirissä sen jälkeen kun Richard Lalonde osoitti, että satunnaistettu koe tuotti selvästi erilaisia estimaatteja työvoimakoulutuksen vaikutuksesta verrattuna perinteisiin menetelmiin. Kari Hämäläinen, Roope Uusitalo ja Jukka Vuori ovat osittaneet saman suomalaisella aineistolla viime vuona ilmestyneessä tutkimuksessaan.

Tästä ylivertaisuudesta huolimatta satunnaistaminen ei aina onnistu vaikka se olisikin paras tapa ratkaista käsillä olevan tutkimusongelma. Näin kävi VATT:n tutkijoille, jotka pyrkivät SATA-komitean pyynnöstä selvittämään kaavaillun työllistymisbonuksen vaikutuksia satunnaistetulla kokeella. Tämä ei kelvannut apulaisoikeuskanslerille, joka totesi satunnaistamisen olevan ristiriidassa perustuslain yhdenvertaisuussäännöksen kanssa. Lausunnon mukaan ongelmallista on, että satunnaistamisessa valikoituminen tapahtuu “sattumanvaraisella eikä objektiivisella kriteerillä (kuten elämäntilanne, työttömyyden laatu, työllistymisvalmiudet ym.)”. Tämä on kuolinisku eksogeenisyys-oletukseen perustuvalle arviointitutkimukselle, koska sen mukaan eksogeenisyys itsessään on ristiriidassa perustuslain kanssa.

SATA-komitean jäsen Osmo Soininvaara purki viime talvena turhautumistaan Voima-lehden pitkässä haastattelussa. Soinivaaran mukaan: “Tiedon taso sosiaalipolitiikasta on huono. Meillä ei kerta kaikkiaan ole dataa. Osittain syy on tietosuojavaltuutetun, joka on sitä mieltä, että mitään dataa ei saa kerätä. … Tietosuojavaltuutetut ovat juristeja, jotka eivät ymmärrä tutkimusmenetelmistä mitään. He kuvittelevat, että riittää, jos tiedetään, kuinka moni köyhistä on työtön”. Näyttää siltä, ettei tähän asiaan ainakaan ihan heti ole tulossa korjausta.

Aihealueet: Julkinen talous, Työmarkkinat

2 kommenttia kirjoitukseen “Satunnaistamisen sietämätön helppous ja vaikeus”

  1. Tuomas Pekkarinen kirjoitti:

    Laki lääketieteellisestä tutkimuksesta (http://www.finlex.fi/fi/laki/ajantasa/1999/19990488) edellyttää, että tutkittava on antanut suostumuksensa tutkimukseen. Käsittääkseni yhteiskuntatieteellisestä tutkimuksesta ei ole erillistä lainsäädäntöä, mitä tulee satunnaistettuihin kokeisiin.

  2. tuomas takalo kirjoitti:

    Onko selvinnyt, miksi perustuslaki ja apulaisoikeuskansleri sallivat satunnaistamiskokeet laaketieteessa, muttei taloustieteessa?