Yhteiskunnallisista kokeiluista hypetetään nyt paljon. Vertailu satunnaisesti valitun kohde- ja kontrolliryhmän välillä on usein paras tapa selvittää mahdollisten uudistuksen vaikutukset, mutta pitkän aikavälin vaikutuksia joutuu odottamaan, noin määritelmällisesti, pitkään. Menneistä uudistuksista olisi myös hyvä ottaa kaikki mahdollinen oppi irti, ja tietyissä onnekkaissa tilanteissa niistä voi oppia aika paljonkin. Niistä voi löytää—yleensä tahattomasti aiheutettuja—kokeilunomaisia piirteitä, jotka ovat iso apu vaikutusten arvioinnissa.
Yksi onnekas sattumus, joka mahdollistaa jo toteutetun uudistuksen vaikutusten mittaamisen, on se että uudistus on otettu käyttoon vähitellen alueittain. Esimerkiksi USA:n liittovaltion tukemat ”food stamp” ruokakupongit otettiin käyttöön eri puolilla maata 15 vuoden aikana. Uusimmassa AER:ssä on tutkimus, jossa tämän alueellisen leviämisen ansioista on voitu arvioida ruokakuponkien vaikutus apua saaneiden perheitten lasten aikuisiän tuloihin ja terveyteen (palaan artikkeliin myöhemmin). Suomessa kansa- ja oppikouluista siirryttiin peruskouluun alueittain kuuden vuoden aikana, mitä bloggaajakollegani käyttivät hyödyksi tutkimuksessaan (josta myös KAK-juttu).
Normitilanne: N=1
Yleensä lakimuutoksilla toteutetut uudistukset astuvat voimaan koko maassa samaan aikaan. Se on uudistuksen vaikutusten arvioinnin kannalta hankalin mahdollinen tilanne - ja usein täysin toivoton. Koko maan vertailu ennen ja jälkeen yhden kalenteriajankohdan on yhden havainnon data-analyysiä, vaikka maassa olisi kuinka paljon asukkaita. Mitä isommasta vaikutuksen kohteena olevat asiasta eli ”tulemasta” on kyse (oppimistulokset, terveys, työllistyminen, tulot…) sitä useampi tekijä siihen tuppaa vaikuttamaan. Harva tulema pompahtaa heti seuraavana päivänä, vaan uudistuksen mahdollinen vaikutus leviää vähitellen ja sekoittuu moniin taustatrendeihin ja muiden uudistusten vaikutuksiin.
Alueellisesti laajeneva uudistus
Alueellisesti vähitellen laajeneva uudistus tuottaa enemmän käyttökelpoista dataa uudistuksen vaikutuksista. Parhaassa tapauksessa alueita on paljon ja ne siirtyvät uuteen käytäntöön satunnaisessa järjestyksessä, tai käytännöllisesti katsoen lähes satunnaisessa kuten aakkosjärjestyksessä. Tavallisempi tapaus on, että uudistus toteutetaan jossain “loogisessa” järjestyksessä, esim pohjoisesta etelään, suuret kunnat ensin, tms. Tämäkin on vielä hyvä tilanne, jos se “looginen” järjestys ei ole pahasti korreloitunut uudistuksen hyödyllisyyden kanssa.
Hankalin tapaus vaikutusten arvioinnille—mikä liittyy tuohon ruokakuponkitutkimukseen—on, se jossa eri alueet siirtyvät uuteen käytäntöön itse valitsemassaan järjestyksessä. Tämäkin tilanne on toki arvioinnin kannalta paljon suotuisampi, kuin jos yksittäiset ihmiset olisivat valinneet milloin olla uudistuksen piirissä. Kun valinta tapahtuu alueen tasolla, niin muuten samanlaisten ihmisten joutumisessa uudistuksen piiriin on vaikutuksen arvioinnin kannalta hyödyllistä ikään-kuin satunnaista vaihtelua.
Ruokakuponkien vaikutukset USA:ssa
Viimein siihen AER-artikkeliin, Hoynes et al: Long-Run Impacts of Childhood Access to the Safety Net. Liittovaltion tukemat ruokakupongit otettiin käyttöön vähitellen vuosina 1961-1975. Alueina ovat piirikunnat eivätkä osavaltiot, eli niitä on paljon. Tutkimuksessa arvioidaan uudistuksen vaikutusta erityisesti niihin, jotka olivat pieniä tai kohdussa silloin kun ruokakupongit tulivat käyttöön lapsuuden kotipiirikunnassa. Uudistuksesta voi siis saada osittaisen ”annoksen,” jos se tulee voimaan pari vuotta syntymän jälkeen. Uudistuksesta jäävät paitsi ne, jotka syntyivät ”liian aikaisin” samassa piirikunnassa, tai samaan aikaan piirikunnissa, joissa se ei vielä ollut käytössä.
Ruokakuponkien vaikutukset ovat vähän sivuseikka tämän blogijutun kannalta, mutta tässä niistä lyhyesti. Niillä ei ollut huomattavia vaikutuksia aikuisiän tuloihin. Niillä oli merkittäviä vaikutuksia terveyteen, varsinkin ehkäisevä vaikutus metaboliseen oireyhtymään (erityisesti liikalihavuuteen), ja myös pieni vähennys lyhytkasvuisuuteen. Arvioidut terveysvaikutukset ovat sopusoinnussa sen kanssa mitä voisi odottaa, jos ruokakupongit tosiaan paransivat pienten lasten ravitsemusta. Aiemmista tutkimuksista (sekä ihmisillä että rotilla!) tiedetään, että tilapäisesti heikko ravitsemus aiheuttaa liikalihavuustyyppisiä ongelmia aikuisena olojen kohennuttua, nimenomaan silloin kun puute on koettu varhaislapsuudessa eikä myöhemmin.
Valikoituneen leviämisjärjestyksen ongelma
60- ja 70-luvun amerikkalaislasten elinympäristöön vaikuttivat monet taustatrendit, ja on helppo uskoa, että varhaislapsuuden elinolot olisivat olleet paranemaan päin ilman ruokakuponkejakin. Olisi rohkeaa olettaa, että kaikki merkittävät taustamuuttujat löytyisivät tilastoista, varsinkaan piirikuntatasolla. Argumentin vuoksi, kuvitellaan vähitellen kehittyvä muuttuja X, vaikkapa joukko arkipäivän asenteita ja käytäntöjä, jotka vaikuttavat varhaislapsuuden ympäristön terveellisyyteen. Tämä piiloon jäänyt muuttuja X kehittyy suotuisasti koko 60- ja 70-luvun. Jos se kehittyi kaikkialla samaa tahtia, niin ok—sitten vaikutuksen arviointi onnistuu mainiosti alueellista leviämistä hyödyntävällä tutkimusasetelmalla.
Mutta jos X-muuttuja kehittyy eri tahtiin eri alueilla se voi pilata koko tutkimusasetelman. Jos X vaikuttaa suotuisasti sekä piirikunnan lasten kasvuympäristöön, että siihen kuinka nopeasti piirikunnat haluavat päästä mukaan liittovaltion ruokakuponkiohjelmaan, käy helposti niin, että kohentuvan X:n aiheuttama parempi varhaislapsuus näyttäytyy data-analyysissä ruokakuponkien ansiona, vaikka ruokakupongit olisivat olleet täysin hyödyttömiä. Todisteta tällaisesta ei ole, mutta tämä ei myöskään ole mikään ufo-skenaario. On luonnollista, että alueet, joissa uudistuksen kohteena olevasta asiasta välitetään muutenkin eniten, ovat hanakimmin mukana.
Harhainen arvio ei aina tarkoita yliarviointia. Jos X-muuttuja hidastikin ruokakuponkien käyttöönottoa se voi saada tämän tutkimusasetelman tuottamat arviot vähättelemään niiden hyötyjä.
Miten tutkijat huomioivat valikoitumisongelman
Vaikka ruokakuponkiohjelma ei levinnyt piirikuntiin läheskään satunnaisessa järjestyksessä, niin Hoynes et al. pystyvät näyttämään kohtuullisen uskottavasti, että valikoituneen leviämisjärjestyksen ongelma ei pilaa tätä tutkimusasetelmaa. Taustatiedot prosesseista, jotka määrittivät uudistuksen leviämisen aikataulun, ovat tällaisessa argumentissa tärkeitä. Se perusasia on myös kunnossa, että laajankaan taustamuuttujajoukon avulla ei olisi voinut ”ennustaa” piirikuntien valikoitumisnopeutta ruokakuponkien käyttöönottajiksi.
Lisäuskottavuutta tuloksille tuo ns. “plasebo-testi”, joka tarkoittaa sitä, että etsitään samalla tutkimusasetelmalla vaikutusta ryhmään, joihin uudistuksella ei pitäisi olla mitään vaikutusta. Tässä plasebo-kohderyhmä on hyvätuloisten (koulutettujen) lapset, jotka eivät ruokakuponkeja olisi saaneet, ja heidän kohdallaan ei aikuisiällä tosiaan näytä olevan merkitystä sillä oliko syntymäpiirikunta ehtinyt ottaa ruokakupongit käyttöön. Jos se viekas X-trendi parantaa lasten kasvuympäristöä piirikunnissa samassa tahdissa kuin niissä innostutaan ruokakupongeista, niin tämä testi olisi sen paljastanut.
Plasebo-testillä suljetaan pois yksi realistinen uhka vaikutusarvioiden harhattomuudelle. Jäljelle jää aina jotain skenaarioita, joissa estimoitu vaikutus olisi sittenkin näennäinen, mutta plasebo-testin ansiosta niistä tulee entistä monimutkaisempia. Voisihan olla, että piirikuntien tasolla vaikuttivat havaitsemattomat trendit, jotka paransivat vain ruokakuponkiin oikeutettujen lasten ympäristöä (mutta ei muiden lasten) ja että nämä trendit voimistuivat samaa tahtia kuin mitä piirikunnissa otettiin käyttöön ruokakupongit…
Luonto ja historia eivät tässä tapauksessa tarjoa ihan parhaan A-luokan tutkimusasetelmaa uudistuksen vaikutusten arviointiin, mutta vahvaa B-plussaa kylläkin. Tällainen vaikutusarvio on joka tapauksessa paljon hyödyllisempi kuin ne yhden havainnon data-analyysin akanat, jotka eivät mediassa aina erotu näistä tutkimustiedon jyvistä.
Loppuhuomautus: vaikutus vai korrelaatio
Tarkoitan tässä “vaikutuksella” nimenomaan “syy-seurausvaikutusta” eli ”kausaalivaikutusta”. Vaikutus-sanaa käytetään joskus synonyyminä mille tahansa regressiolla mitatulle yhteydelle muuttujien välillä, tyyliin jäätelömyynnin vaikutus ulkoilman lämpötilaan.
Viitteet
Hoynes, Hilary, Diane Whitmore Schanzenbach, and Douglas Almond (2016). Long-Run Impacts of Childhood Access to the Safety Net. American Economic Review, 106(4): 903-34.
Pekkarinen, Tuomas, Roope Uusitalo, and Sari Kerr (2009). School tracking and intergenerational income mobility: Evidence from the Finnish comprehensive school reform. Journal of Public Economics 93(7): 965-973.
Lisälukemista
Alueellista leviämistä hyödyntävän tutkimusasetelman ei tarvitse tutkia vain lakimuutosten vaikutuksia. Sillä voi arvioida vaikka uuden teknologian vaikutusta, jos alueellinen vaihtelu käyttöönottohetkissä riippuu syistä, jotka eivät suoraan vaikuta mielenkiinnon kohteena olevaan tulemaan. Tässä pari esimerkkiä.
Basker, Emek (2005). Job creation or destruction? Labor market effects of Wal-Mart expansion. Review of Economics and Statistics 87(1): 174-183.
Gentzkow, Matthew (2006). Television and Voter Turnout. Quarterly Journal of Economics, 121(3): 931-972.
Jensen R, Oster E (2009). The power of TV: Cable television and women’s status in India. Quarterly Journal of Economics. 124(3): 1057-94.
Avainsanat: data-analyysi, kokeilut
Aihealueet: Julkinen talous, Menetelmät, Terveydenhuolto