Kokeiluja ja kokeiluja

29.5.2015 Kirjoittanut Roope Uusitalo

Uuden hallitusohjelman mielenkiintoisia paloja tutkijan kannalta on kokeilukulttuurin edistäminen. Systemaattisen kokeilutoiminnan avulla pyritään mm. parantamaan julkisia palveluita. Kokeilujakin on kuitenkin kahdenlaisia. Toisten perusteella saadaan selville, miten hyvin politiikka toimii, toisten jälkeen joudutaan edelleen arvailemaan.

Suomessa on paraikaa meneillään mm. työllisyyspoliittinen kuntakokeilu. Kokeilussa on mukana 63 kuntaa, jotka etsivät uusia tapoja pitkäaikaistyöttömien työllistämiseen. Kokeiluun valittiin kuntia, joissa työttömyysaste ja pitkäaikaistyöttömien osuus on tavallista korkeampi. Lisäksi valinnassa kiinnitettiin huomiota hankkeen sisältöön ja tavoitteisiin. Kuntakokeiluun liittyy samoissa kunnissa käynnistetty työllistymisrahakokeilu. Työllistymisrahakokeilun ajan maksetaan pitkään työttömänä olleelle työmarkkinatukea kuukauden verran työllistymisen jälkeenkin. Työllistymisrahakokeiluun laskettiin kuluvan vuosina 2013 - 2015 yhteensä 3,7 miljoonaa euroa. (HE 115/2012)

Kuntakokeilu on läheistä sukua muutaman vuoden takaiselle työllistymisbonuskokeilulle, jota suunniteltiin työ- ja elinkeinoministeriössä SATA-komitean ehdotuksen perusteella. Siinäkin työpaikan löytäville pitkäaikaistyöttömille olisi maksettu kuukauden työmarkkinatuen suuruinen porkkanaraha. Erona toteutuneeseen kokeiluun oli että tässä kokeilussa tukeen olisivat olleet syntymäpäivän perusteella - käytännössä satunnaisesti - valitut työttömät. Minullakin on jossain tallella hallituksen esityksen luonnos, jossa luki että “tämä laki koskee parittomina päivinä syntyneitä”.

Kummassakin kokeilussa työttömiä kohdellaan eriarvoisella tavalla. Perustuslakivaliokunta piti lausunnossaan kuntakokeilua silti hyväksyttävänä koska “tarkoituksena on pyrkiä selvittämään yhden työllisyyspoliittisen keinon, työllistymisrahan, vaikutuksia pitkäaikaistyöttömien työllistymiseen”, koska “tavoite vastaa perustuslain 18 §:n 2 momentissa julkiselle vallalle asetettua velvoitetta edistää työllisyyttä” ja koska “työllistymisrahan saaminen laissa määritellyllä tavalla yhden kuukauden ajalta ei aseta ihmisiä kohtuuttomasti eri asemaan”. (PeVL 20/2012) Sen sijaan aikaisemman työllistymisbonuskokeilun kaatoi aikanaan apulaisoikeuskanslerin kannanotto jo ennen kun esitys pääsi eduskunnan käsittelyyn eikä sitä koskaan käynnistetty.

On etukäteen epäselvää vaikuttaako työttömille maksettava kannustinraha työllistymiseen. Oleellinen ero kuntakokeilun ja satunnaistetun kokeen välillä on kuitenkin se, että jälkimmäisen vaikutuksia olisi ollut paljon helpompi arvioida. Jos työllistymisbonukseen oikeutetut valitaan satunnaisesti, ei bonukseen oikeutettujen ja muiden työttömien välillä ole systemaattisia työllistymiseen vaikuttavia eroja. Mahdolliset kokeilun jälkeiset erot voidaan siis suoraan tulkita kokeilusta johtuviksi. Sen sijaan kuntakokeiluun kunnat on valittu mm. työttömyystilanteen perusteella ja tulee olemaan paljon vaikeampi osoittaa että mahdolliset työllistymiserot johtuisivat kokeilusta eikä vaikkapa työllisyystilanteen erilaisista muutoksista eri kunnissa tai eroista työvoimaviranomaisten toimintatavoista.

Summa summarum: Jos kokeilukulttuuria halutaan aidosti edistää ja kokeiluista jotain oppia, on syytä suunnitella kokeilut huolellisesti. Kontrolloitu, satunnaistettu ja riittävän suuri kenttäkoe on tällaiseen tarkoitukseen paras tähän mennessä keksitty tapa.

Aihealueet: Julkinen talous, Työmarkkinat

11 kommenttia kirjoitukseen “Kokeiluja ja kokeiluja”

  1. jukka m kirjoitti:

    professori haaparanta,

    oletan että pyrit vaivihkaa jatkamaan toisella palstalla käytävää keskustelua kirjoittajan “kultti” ja allekirjoittanut kanssa täällä.

    kultin puolesta en osaa sanoa, mutta olen kyllä ollut huomaavinani että tällaista verotuksen painopisteen siirtämiseen liittyvää keskustelua on lähiaikoina käyty. siitä, onko työn ja kulutuksen verotuksen erittely semantiikkaa vai ei, ja onko lopulta veroinstrumentin valinnalla mitään merkitystä (vaikkapa könttävero vs. progressiivinen tulovero) talouden toiminnan kannalta, saatamme toki ehkä olla jossain määrin eri mieltä.

    tämän lisäksi olen myös ollut huomaavinani (en tiedä oletko sinä) että tästä merkittävästi kohkaamisesta huolimatta menestys tältä osin on ollut varsin vaihtelevaa. arvonlisäveron osalta menestys on ollut ehkäpä hieman heikompaa.

    sen sijaan haittaveroja on kyllä menestyksekkäästi korotettu viime vuosina. tässä mielessä pankkisektorin haitakevero voisikin olla mahdollinen. itseasiassa nokkelimmat verotusta seuraavat ovat saattaneet huomata, että tällaista erityistä pankkiveroa on täällä suomessakin jo ehditty lähivuosina harjoitella. siitä seurasi porua.

    haittaverot ovat varsin sympaattisia veroja, ja niitä on kiva nostaa (ja miksei keksiä uusiakin; pitää vaan löytää sopivia ikäviä asioita; yksi mahdollisuus olisi esimerkiksi lihantuotannon päästövero, jolla kompensoitaisiin lehmien pierujen haitallista ulkoisvaikutusta ilmaston lämpenemisen osalta), eikä aina ole välttämätöntä edes pohtia, milloin ulkoisvaikutus on oikeasti kompensoitu, ja milloin vero on muuttunut fiskaaliseksi.

    tässä hengessä esimerkiksi kuntaliitoksista peräisin olevan 5-vuotisen työsuhdesuojan puitteisiin voitaisiin myös asettaa erityinen pigou-vero kompensoimaan tästä aiheutuvia negatiivisia vaikutuksia.

    terv,
    jukka

  2. Pertti Haaparanta kirjoitti:

    Onko teiltä jäänyt huomaamatta, että Suomessa on hoettu sellaisten verouudistusten tarpeellisuutta, joissa työn verotus korvataan kulutuksen verotuksella? Koko erottelu on tietysti omituista, mutta jos se otetaan vakavasti, niin sitä ehdottavien tulisi esittää rahoitussektorin arvonlisäveron nostamista vähintään samalle tasolle kuin muidenkin sektoreiden. Zingalesin arumenttien pohjalta voi argumentoida, että sille pitää asettaa myös Pigou-vero, siis haittavero.

  3. Jorma kirjoitti:

    Eikö haasteena yhteiskuntakokeilussa, riippumatta otantamenetelmästä, ole joka tapauksessa se, että erityisesti lyhytaikaisessa kokeilussa ihmisillä on motivaatio väärentää käyttäytymismallejaan? Jos jossain uudessa mallissa on tarjolla enemmän porkkanaa kuin keppiä, niin silloin mielellään pinnistellään hetki, että kokeilusta tulisi pysyvä. Jos uusi malli puolestaan koetaan epämieluisana, silloin pyritään saamaan tulokset näyttämään negatiivisilta. Ihminen jaksaa äänestää käytöksellään, jos uskoo pystyvänsä siedettävällä vaivalla vaikuttamaan tuloksiin. Kun koe on ohi, niin ajan myötä palataan arkirutiineihin. Itselläni ainakin on tähän taipumus. Koejoukkoa laajentamalla ja koeaikaa pidentämällä tätä voi taklata. Mutta miten muuten voisi koehenkilöt motivoida tekemään yhteiskunnan edunmukaista pyyteetöntä kokeilua, omien henkilökohtaisten intressien sijaan?

    Ymmärrän hyvin satunnaisotannan valikoitumista poistavan edun. Se kuitenkin itsessään luo myös ongelman, jossa ihmisille luodaan kasti. Heikommassa luokassa olevaa ihmistä ei varmaankaan paljoa lohduta yhteiskunnan hyöty, jos kokeilun vuoksi normaalissa tilanteessa saatu työpaikka menee kokeilun vuoksi ylemmälle kastille. Riippuen kokeesta, joko työnantaja voi kokea toisen kastin edullisemmaksi työllistää tai työntekijän voi olla koejärjestelyn luoman turvan vuoksi helpompi ottaa työtä vastaan. Aikamoinen inhimillinen kriisi syntyy siitä, että työttömyys jatkuu kokeilijoiden vuoksi pari vuotta normaalia pidempään. Epäreiluuden tunne voi puolestaan vahvistaa käyttäytymismalleja entisestään, varsinkin jos koeaika on pidempi. Onko satunnaisotannan tarjoamat hyödyt suuremmat kuin sen luoma epäreiluus?

    Toki myös kohtuullisen vapaasti valittavassa koeryhmässä eri ihmisiä kohdellaan eri tavoin. Mutta silloin lannistavuutta lieventää ainakin tietyissä määrin mahdollisuuksien tasa-arvo. Saadaanko lyhyen ajan (esim. 1 vuosi) satunnaisotantakokeessa puolueettomampi kuva ihmisten käyttäytymismalleista kuin esimerkiksi luomalla kokeilukunta tai kaupunki, jossa koeaikaa ei ainakaan ennakkoon ole määritelty? Toki kaikki koekaupingissa, lähiseudulla ja kaupungissa asuvat ovat eriarvoisessa asemassa.

  4. Austrian kirjoitti:

    Roope,

    me teemme näin liike-elämässä mutta tuollaisia kokeita ei ilmeisesti pystytä toteuttamaan kun on kyse koko kansantaloutta koskevasta tärkeästä käyttäytymisvaikutuksesta… :)

    Jostain syystä yritys voi tutkia kanavan, tarjooman ja hintatason vaikutusta ehdolla jotkut taustamuuttujat.

  5. Roope Uusitalo kirjoitti:

    Austrian: Just noin käytännössä kontrollituja satunnaiskokeita tehdäänkin. Esimerkiksi abien koulutusvalintoja koskevassa tutkimuksessamme ositettiin data ensin maakunnittain. Kunkin maakunnan sisällä lukiot järjestettiin ylioppilaskirjoitusten tulosten perusteella ja luotiin neljän lukion ryhmiä. (Ryhmässä 1 siis esim. Uudenmaan neljä parasta lukiota ja ryhmässä 100 Lapin neljä heikointa lukiota) Sen jälkeen poimittiin satunnaisesti kustakin ryhmästä koeryhmään yksi lukio ja muut kolme kunkin ositteen lukiota jäi kontrolliryhmään.

    Ositus voidaan tehdä monella muullakin tavalla. Vaikkapa luomalla ensin kaltaistettuja pareja ja sitten arpomalla toinen pareista koe-, ja toinen kontrolliryhmään.

    Kokeensuunnittelu (experimental design) on ihan oma tieteenhaaransa, jolla on pitkä historia ja joka ansaitsisi isomman painon ekonometriankin oppikirjoissa.

  6. Austrian kirjoitti:

    Antti,

    voihan ositteiden homogeenisyyteen pyrkiä vaikkapa sillä että käytetään joitain otoskehikon muuttujia, joilla uskotaan olevan yhteys kiinnostuksen kohteena oleviin muuttujiin osituksen perusteena.

    Ositteisiin sitten voitaisiin arpoa satunnaisesti tapauksia otoskehikosta.

  7. Antti kirjoitti:

    Toki myös satunnaistamista tarvitaan. Kuitenkin, kuten mainitsemassani artikkelissakin sanotaan, kontrolloitu satunnaistettu koe (kuten se yleensä ymmärretään) pyrkii tasapäistämään ryhmät vain satunnaistamalla (ei optimoimalla), jolloin tilastollisesti merkitsevien tulosten saaminen vaatii suuremman otoksen. Etenkin yhteiskunnalliset kokeet kun voivat olla kalliita, on pieni otoskoko eduksi, jolloin perinteinen kontrolloitu satunnaistettu koe ei välttämättä ole järkevä tai paras valinta.

  8. Austrian kirjoitti:

    Roope ja Antti,

    erilaiset ositetut satunnaisotannat hyvän otoskehikon avulla mahdollistavat juuri tehokkaan koejärjestelyn.

  9. Roope Uusitalo kirjoitti:

    Antti: Jos luin oikein niin tuossa OR artikkelissa oli kyseessä satunnaiskoe, mutta ei yksinkertainen satunnaiskoe vaan koe, jossa ensin luodaan keskenään samanlaisia ryhmiä ja sitten arvotaan mihin ryhmään osuu mikin treatment.

    “Our proposal is to assign subjects so as to minimize the
    discrepancies in centered first and second moments, where
    this assignment is gleaned via integer optimization. After
    assignment, we randomize which group is given which
    treatment. This ensures unbiased estimation as discussed
    in 5.”

  10. Antti kirjoitti:

    “Kontrolloitu, satunnaistettu ja riittävän suuri kenttäkoe” ei välttämättä enää ole tällaiseen tarkoitukseen paras tähän mennessä keksitty tapa. Dimitris Bertsimas, Mac Johnson, and Nathan Kallus artikkelissaan “The Power of Optimization Over Randomization in Designing Experiments Involving Small Samples”, Operations Research, Articles in Advance, esittelevät optimointiin perustuvan koesuunnittelumekanismin.

    Mekanismin väitetään kykenevän huomattavasti parempiin tuloksiin satunnaistettuihin kokeisiin verrattuna, kun käytetään pieniä otoksia. Käytännössä optimintipohjaisella koesuunnittelulla voitaisiin siis päätelmiän kokeiluista tarvittaessa tehdä huomattavasti pienemmillä henkilöryhmillä kun satunnaistetuilla koesuunnittelulla. Pienempien ryhmien käyttö voisi lisätä kokeiluiden hyväksyttävyyttä niin poliitikkojen kuin kansalaistenkin mielissä.

  11. Austrian kirjoitti:

    Tuollaista kokeilukulttuuria on vaikea saada läpi yrityksessäkin koska liiketoiminta on tottunut käyttämään mutu menetelmää. Tai oikeastaan Hippo menetelmää…

    Tämä siitä huolimatta että yritys pystyy syrjimään asiakkaitaan ihan miten haluaa, kaikille ei ole pakko tarjota samaa samalla hinnalla.