Olipa melkoinen juttu maanantain Hesarissa. Puolustusvoimat epäilee allekirjoittaneita puolustusvoimien psykologisten testien tulosten vuotamisesta. Jutun mukaan muutenkin hiukan kyseenalaista kuuluisuutta hankkineet Edward Dutton ja Richard Lynn olisivat saaneet meidän kauttamme käsiinsä 400 000 varusmiehen palikkatestien datan. Onko tarinassa perää - no ei tietenkään.
Dutton ja Lynn julkaisivat vuonna 2013 Intelligencessä artikkelin “A negative Flynn-effect in Finland 1997 - 2009. (linkki) Artikkelissa osoitettiin, että vuoden 1997 jälkeen peruskokeiden mittaama suomalaisten varusmiesten matemaattinen ja kielellinen lahjakkuus on alkanut laskea. Kieltämättä mielenkiintoinen tulos.
Artikkeli perustui 400 000 varusmiehen tietoihin, joiden vuotamisesta meitä Helsingin Sanomien mukaan epäillään. Tarkkaan ottaen tulokset eivät tosin olleet Duttonin ja Lynnin laskemia vaan taulukko oli kopioitu suoraan Salla Koivusen vuonna 2007 Jyväskylän yliopistossa kirjoittamasta psykologian gradusta (linkki). Dutton ja Lynn eivät ilmeisesti ole koskaan dataa nähneetkään eikä kukaan siis voinut dataa luvatta heille luovuttaa. Duttonin ja Lynnin tiedevilppi on toki melko törkeä.
Teema on esillä paraikaa korkeammassa hallinto-oikeudessa meneillään olevan erikoisen oikeusjutun vuoksi. Varsinainen kiista koskee sitä, saako Kansallisarkisto määrätä Puolustusvoimat säilyttämään varusmiesten testitulokset vai saako Puolustusvoimat halutessaan polttaa 1950-luvulta asti tallessa olevat mikrofilmit. Jää nähtäväksi, osoittautuuko kynä miekkaa mahtavammaksi, mutta ainakin sivulliset kärsivät tappioita.
Dutton itse asiassa jo myönsi kirjoittaneensa artikkelinsa ilman dataa vastauksessaan pääesikunnan selvityspyyntöön, jossa perättiin aineiston alkuperää. Tämä ei kuitenkaan näköjään riittänyt. Pääesikunnan lakimiehen Juhani Parkkarin Helsingin hallinto-oikeudelle lähettämässä lausunnossa todetaan, että Duttonin ja Lynnin “aineiston saanto oli oikeudeton ja peräisin tutkijoilta, joilla ei ollut oikeutta Puolustusvoimien henkilötietojen jakamiselle kenellekään tutkimusryhmänsä ulkopuoliselle” ja että “aineiston oikeudeton alkuperä käy kuitenkin ilmi hänen julkaisustaan Dutton and Lynn (2014) Regional Differences in Intelligence and their Social and Economic Correlates in Finland, The Mankind Quarterly 54″ (linkki).
Tuossa viimeisessä Dutton et co julkaisussa sitten viitataan meihinkin. Tässäkin artikkelissa todetaan tosin vain, että “Data for regional IQs in Finland have been obtained from Pekkarinen et al (2009)”. Ei-ammattilaisille kerrottakoon, että suomeksi tämä tarkoittaa, että Dutton ja Lynn ovat poimineet numeronsa meidän vuonna 2009 julkaisemamme tutkimuksen tuloksista - ei esimerkiksi sitä, että Pekkarinen ja kumppanit olisivat vuonna 2009 luovuttaneet dataa ko. tutkijoille, mitä me emme tietenkään ole tehneet. Jotain hämärää on toki koko selityksessä. Vuonna 2009 julkaistussa tutkimuksessamme emme nimittäin alueellisia lukuja julkaisseet, koska ne eivät olisi olleet kovinkaan mielenkiintoisia ja koska meillä ei sellaisia ollut. Käyttölupasäännöissä kun oli sovittu, että tietosuojan varmistamiseksi mitään aluetietoja ei datassa ole. Duttonin ja Lynnin on siis pakko olla löytänyt alueellisen datansa jostain muualta tai keksiä se itse.
Duttonin ja Lynnin aikaansaama soppa nostaa esiin usemmankin tärkeän teeman. Esimerkiksi julkaiseminen referoidussa tieteellisessä julkaisussa ei välttämättä kerro tutkimuksen laadusta yhtään mitään, kuten vaikkapa em. artikkelit lukemalla selviää. Julkaiseminen hyvässä tieteellisessä julkaisussa on edelleen kohtuullinen laatukriteeri, mutta akateemisten roskalehtien määrä kasvaa koko ajan.
Toiseksi tutkimuksia lukevat ja arvioivat usein henkilöt, joilla ei ole mitään käsitystä tutkimuksen tekemisestä. Puolustusvoimien lakimiehen Juhani Parkkarin lausunto tosin ei varmaan pyrkinytkään olemaan objektiivinen. Samassa lausunnossa luokiteltiin peruskokeiden arvioinnista parinkymmenen vuoden ajan vastanneen psykologin Kai Nymanin ja ko. yksikön entisen pitkäaikaisen päällikön, maanpuolustuskorkeakoulun professorin Jukka Leskisen lausunnot “asiaan sekaantuneiden yksityishenkilöiden mielipidekirjoituksiksi”. Ehkä linjaan sopii vihjailla tutkijoiden rikkoneen Henkilötietolakia, jos tällaisia epäilyjä herättämällä uskoo voivansa vaikuttaa hallinto-oikeuden päätöksiin.
Kolmanneksi tietosuojaan pitää suhtautua vakavasti ja ainakin omille opiskelijoillemme tästä jatkuvasti jaksamme muistuttaa. Ihmistieteissä tutkimusaineistot on useimmiten kerätty haastattelemalla tai havainnoimalla yksittäisiä ihmisiä. Tilastollisessa tutkimuksessa yksittäisiä ihmisiä koskevat tiedot ovat kuitenkin harvoin kiinnostavia. Useammin ollaan kiinnostuneita siitä mitä ihmiset tekevät keskimäärin tai paljonko vaikkapa talouspolitiikan muutos ihmisten käyttäytymiseen vaikuttaa. Tutkimuksessa ei yksittäisiä ihmisiä koskevia tietoja koskaan ilman lupaa raportoidakaan. Sen sijaan tulokset ovat keskiarvoja summia tai korrelaatioita. Tällaisten tietojen raportointi ei yksilönsuojaa uhkaa. Suomen väkiluvun voi suomalaisten tietosuojaa vaarantamatta vuotaa ulkomaillekin.
Roope Uusitalo
Tuomas Pekkarinen
Sari Kerr
Aihealueet: Lajittelematon
Roope, tuo olikin aiheellinen tarkennus, etteivät tutkijat mene sekaisin kuin Daltonin veljekset. Odotellaan tutkimuksen tuloksia.
Kauppalehdessä on eri Dutton. Kevin Oxfordista. Tässä postauksessa mainittiin Edward Oulusta.
Herra Dutton on pannut ammatit järjestykseen psykopatian mukaan uudessa julkaisussaan.
http://www.kauppalehti.fi/uutiset/tutkija-naissa-ammateissa-on-eniten-psykopaatteja/qFdSv6yL
Me lähihoitajat kiitämme.
Sattui silmiin tuollainenkin tuore taustatieto Edwardista, kun kuukkelista katsastin, mikä on miehiään tämä Duttonin herran poika.
Uskontoantropologihan se epeli on.
https://fi.wikipedia.org/wiki/Edward_Dutton
”Finnuitit ovat kuin eskimot. Ja Kauhajoen ampuvälikohtaus selittyy suomalaisten miesten kulttuurisella taipumuksella väkivaltaan.” Nyt ei ole lainattu, vaan on esitetty ihan omia ennakkoluuloja ja stereotypioita.
Syltty, tutkittavaa epäilemättä on.
Esimerkiksi: ”Akavan pääekonomisti Eugen Koev korostaa, että suomalaisten Pisa-tulosten heikentyminen [2006...2012] on fakta eikä tähän vaikuta aasialaisten menestys.” (Verkkouutiset 11.4.2016)
Tai: ”Puolustusvoimat ei epäile ’palikkatestien’ tietovuotoa. Oulun yliopisto harkitsee selvitystä tutkimusvilpistä.” (Helsingin Sanomat 8.8.2016)
Ennen kuin hutkitaan.
Juha, testituloksethan huonontuvat niin pitkän aikaa, jos 12kk palveluksen suosio laskee trendinomaisesti.
Pitäisi selvittää, onko 12kk palveluksen suosiossa tapahtunut muutosta. Onko esim. niiden, jotka ovat jo etukäteen päättäneet palvella 6kk, määrä kasvanut. Mitä vapaaehtoisesti johtajakoulutukseen hakeutuvien määrälle on käynyt?
Austrian,
Näyttäisi, että ”yleiseen jakeluun” on lipsahtanut myös P2-testin tuloksia. Sieltä saattaa paljastua Seiskaa tms. kiinnostavaa tietoa julkisuuden henkilöistä. Kuten kenen päätä vanne kiristää?
Toivottavasti noiden testien yhteenvedossa ei ole psykologin henkilöarvioita. Esim. Saamaton nahjus, jolla olematon paineensietokyky yhdistyy heikkoihin johtajan ominaisuuksiin. Tai: Työtäpelkäämätön T-mies, joka soveltuu erinomaisesti ruumiilliseen työhön ja rauhanaikana miinanpolkijaksi.
Jussi Heikkilä,
kansalaisilla pitäisi olla oikeus kieltää noiden tietojen luovutus… Saksassa taas verotiedot ovat yksityisasia, niihin ei ole muilla asiaa viranomaisten lisäksi.
Saksa olisi meille mallimaa tietosuojan ja yksityisyyden näkökulmasta.
Tutkijat Aghion, Akcigit, Hyytinen & Toivanen ovat tehneet mielenkiintoisen tutkimuksen “Living the American Dream in Finland: The Social Mobility of Inventors” (ks. http://scholar.harvard.edu/aghion/publications/living-american-dream-finland-social-mobility-inventors), jossa tutkitaan mm. todennäköisyyttä tulla keksijäksi (patentoidun keksinnön keksijä).
Tutkimuksessa havaitaan mm. vanhempien tulojen olevan yhteydessä keksijäksi tulemisen todennäköisyyteen, mikä taasen selittyy pääasiassa sillä, että rikkaampien vanhempien lapset ovat korkeammin koulutettuja (myös hyvätuloiset vanhemmat ovat itse keskimäärin korkeammin koulutettuja).
Tutkimuksessa armeijan p1-testi on proxy/mittari älykkyysosamäärälle. Tutkimuksen kuviot 5, 12 ja 13 havainnollistavat, että (patentoidun keksinnön) keksijäksi tulemisen todennäköisyyden ja armeijan testitulosten välillä on positiivinen yhteys. Tulostaulukko 1:stä voi lukea, että yhteys on tilastollisesti merkitsevä, kun henkilöiden muita ominaisuuksia kontrolloidaan. Koulutus on tärkein keksijäksi tulemista selittävä muuttuja, mutta myös armeijan p1-testillä, joka mittaa älykkyyttä/loogista päättelykykyä, näyttää olevan selitysvoimaa (se selittää myös hankittua koulutusta).
Tämäkään tutkimus ei olisi ollut mahdollinen ilman suomalaisia rekisteriaineistoja.
Uusi Suomikin on upottanut lusikkansa soppaan. Aarnion loppukaneetti:
– Haluaisin, että maahan tulisi sellainen palvelu, jossa tutkijoille voitaisiin luovuttaa tieto ilman, että he joutuvat itse sähläämään näiden anonymisointiongelmien kanssa. Siihen suuntaan esimerkiksi Tilastokeskuksen palveluita on kehitetty, ja se on hyvä suunta, mutta yhteiskunnan pitäisi ehdottomasti satsata siihen, että suomalaisen laadukkaan ja turvallisen tutkimuksen edellytykset paranisivat, Aarnio sanoo.
http://www.uusisuomi.fi/kotimaa/200481-armeijan-palikkatesti-tuloksesi-voi-putkahtaa-vastaan-epailty-tietovuoto
Sitten kun aikakoneet keksitään niin kukin tutkija voi kätevästi lähteä 1970 ja 1980 luvulle keräämään kyselyaineistoa vapaaehtoisilta. Siihen asti ollaan kaiketi noiden aiemmin kerättyjen datojen varassa.
Austrian,
Tieto- ja yksityisyydensuojalait vaihtelevat maasta toiseen. Mutta aivan puhtaita pulmusia eivät anglosaksitkaan ole. Apple, Facebook, Google, Wikileaks…
Jos viranomaisrekisterien käyttö tieteelliseen tutkimukseen kiellettäisiin kokonaan, haitat ylittäisivät helposti hyödyt. Kehitys kehittyy.
Onko siinä tapahtunut ajan saatossa muutoksia, montako kertaa keskimäärin p1-koe tehdään saman henkilön toimesta? Kun samoihin koetehtäviin vastaa esim. toista kertaa, voi vastaaminen olla nopeampaa, jos vielä muistaa, mitä edellisellä kerralla on samoihin tehtäviin vastaillut. Ainakin joihinkin erikoisjoukkoihin haettaessa on p1-koetta teetetty osana hakukoetta, jos erikoisjoukkoihin on hakenut ennen kuin palvelusaika on alkanut. Varusmiespalveluksen alettua sama koe on teetetty kaikilla varusmiehillä, mutta koska osa varusmiehistä on tehnyt kokeen jo ennen armeijan alkua pääsykokeissa, osalle varusmiehistä varusmiespalveluksen aikainen p1-koe on ollut kokeen toistokerta.
Anglo-amerikkalaisissa maissa henkilötunnusten ja rekisteritietojen käyttöä pidetään lähes fasismina. Samoin kuin Saksassa.
Miksi ette itse tee survey-tutkimusta vapaaehtoisille? Miksi pitää käyttää hallinnollisia aineistoja kun niissä on kansalaisten yksityisyyteen liittyviä ongelmia?
Olisi parempi jos noita tietoja ei saisi hyödyntää…
Syltty,
Palveluajan muutos saattaa osittain selittää testitulosten muutoksen, kun trendi kääntyi (1997).
Mutta miksi testitulokset ovat heikentyneet senkin jälkeen eli ainakin vuoteen 2009 asti Lynnin ja Duttonin mukaan?
Toivoton,
Pyrkiikö Puolustusvoimat tuhoamaan tuon tilastoaineiston? Sellaista harrastusta on toki ollut jo aiemminkin, kun vanhentuvaa kalustoa on stenattu.
Jos näin, niin ehkä Puolustusvoimat voisi valottaa, miksi mikrofilmit pitää polttaa. Vanhimmat tiedot lienevät 1950-luvulta eli yli 60-vuotiaista nostomiehistä.
Löytyykö filmiltä arkaluontoista asiaa silmäätekevien matemaattisesta tai kielellisestä lahjakkuudesta? Pitäisikö pääministerien ylioppilaskirjoitustulokset julistaa salaisiksi?
Mielenkiintoista miten tämän pyytämättä, mutta ei yllätyksenä laaditun vastineen varsinainen sanoma on jäänyt kommenteissa sivuseikaksi. Puolustusvoimat tosissaan pyrkii tuhoamaan korvaamatonta aineistoa, joka on ainutlaatuisen kattava. Lisäksi sotajouokkojemme valiojuristeilla näyttää olevan aikaa ryhtyä naurettavaan oikeudenkäyntiin. En siis epäile hetkeäkään, etteivätkö allekirjoittaneet olisi syyttömiä Hesarin huonon journalismin aiheuttamaan hässäkkään. Säästölinja puree näemmä kaikkialla. Mutta ostetaan toki uudet hävittäjäpommittajat, niiden ohjaamiseen ei tarvittane juristia. Hesari kylläkin - ainakin ostamisen lobbaamiseen.
Palvelusajan muutostahti voisi tutkia tutkimalla, mitä muutoksia on eri aselajeissa on tapahtunut. Mikäli palvelusaika vaikuttaa testituloksiin, sen pitäisi näkyä erityisen hyvin vaikkapa viestimiehissä. Saapumiserässä 1/98 kaikki, myös miehistö, palveli 330 päivää. 2/98 miehistö pääsi 6kk kun taas muut saivat 12kk palveluksen.
P-Suomen viestipataljoona ei ole vertailukelpoinen, koska se muutti 1998 Oulusta Kajaaniin. Olen varma että tällainen muutos vaikuttaa myös siihen, että Oulussa palveluksensa aloittaneet (erä 2/98, 12kk palvelleet siirtyivät Kajaaniin kun 6kk palvelleet kotiutettiin) eivät halua siirtyä Kajaaniin, todennäköisesti kauemmas kotiseuduiltaan. Oulussa viestin kasarmi sijaitsi myös keskustan tuntumassa, joten iltalomatkin olivat varmasti mukavampia kuin Kajaanin korvessa. Muutto näkynee myös varusmiehissä, eli Kajaanissa palvelukseen astuvat eivät varmasti ole enää vertailukelpoinen joukko Oulussa palvelukseen astuvien kanssa.
Viestissä ei siis ennen vuotta 98 saanut ollenkaan lyhyempää palvelusta, vaikka kuinka tunaroi testituloksen.
Palaan noihin testitrendeihin ja niiden mahdollisiin selityksiin sopivammassa yhteydessä. Tässä yhteydessä todettakoon kuitenkin tietosuojasta muutama huomio:
1. Esim dropboxin käyttö henkilötunnisteellisten tietojen käsittelyssä on kielletty. Aineistoja säilytetään suojatulla serverillä, joka on niin turvalinen kuin yliopistojen serverit voivat olla.
2. Henkilötietojen säilyttämisen ehdot astetetaan käyttöluvassa. Esim. tässä blogissa käsitellyn aineiston osalta suorat tunnisteet (nimet, henkilötunnisteet yms) on poistettu jo ennen kuin aineisto on luovutettu tutkijoille, Tuon tutkimuksen tekoaikaan oli voimassa vielä vanha Tilastolaki, jossa säädettin että tutkimusaineistosta on poistettava myös epäsuoran tunnistamisen mahdollistavat tiedot (esim. ammatti X kotikunta -kombinaatiot)
3. Nykyisen Tilastolain mukaan tutkimusaineistoissa saa olla epäsuoran tunnistamisen mahdollistavia tietoja (sääntö alkoi olla mahdoton, koska riittävän suurella muuttujamäärällä löytyisi aina yksilöiviä kombinaatioita, jos joku sellaisista olisi kiinostunut). Sen sijaan sensitiivisiä aineistoja käytetään etäkäyttöjärjestelmän kautta Tilastokeskuksen palvelimella. Järjestelmä vaatii kaksinkertaisen tunnistautumisen (mobiilivarmenne + salasana) ja järjestelmästä ulos otettavat tiedot tarkistetaan niin että niihin ei jää henkilöiden tunnistamisen mahdollistavia tietoja. Käytännössä tama tarkoittaa mm. sitä että ristiintaulukkoa ei voi tulostaa, jos jossain luokassa on liian vähän havaintoja.
Mikään systeemi ei ole absoluuttisen varma, mutta vakavalla mielellä tietosuojan säilyttämiseen tutkimustyössä suhtaudutaam.
Vaikka ei kirjoituksen aiheeseen kuulukaan, haluaisin mielelläni kuulla valistuneen arvauksen siitä, miksi taso on laskenut.
Itse veikkaan mutu-tuntumalla, että nuoret miehet huijaavat aiempaa enemmän palikkatestissä. Eli jos ennen vaikkapa 20 % yritti saada tuloksen alas välttääkseen lisäpalvelukuukaudet, nykyään osuus voi olla ja luultavasti onkin paljon korkeampi.
Vuoteen 1998 asti hölmöily palikkatestissä saattoi lyhentää pavelusajan 11 kuukaudesta 8:aan. Vuodesta 1999 mahdollinen hyöty kasvoi 12 kuukaudesta 6:een. Melkoinen kannustimen vahvistuminen!
Arvaukseni ei kai pidä paikkaansa, jos “huijarit ” on onnistuttu poistamaan datasta. Epäilen kuitenkin sitä, sillä itse ainakin vain otin lunkisti eli en edes yrittänyt täysillä. Pystyykö muka luotettavasti erottamaan, kuka on tyhmä ja kuka vain ei yritä?
No, minut ne kuitenkin pistivät AUK:iin, ja RUK:n pystyin välttämään vain röyhkeällä valehtelulla. Varmaan joku päätäjä oli arvioinut, että olin “huijannut”. Mutta isosta tilastoaineistossta “huijareita” lienee vaikea poimia luotettavasti.
(Lynnistä tutkijana minulla ei ole pahaa sanottavaa - vaikka ehkä hänen moraalistaan ihmisenä. Duttonista en sen sijaan sano mitään, että ei mene herjauksen puolelle.)
Sussa & Syltty,
Salla Koivusen tutkimus kertoo, että “Vuosina 1988–1996 testipistemäärät nousevat, mutta vuosina 1997–2001 ne laskevat osittain jopa vuotta 1988 alemmalle tasolle.”
Siis neljässä vuodessa (1997…2001) pisteet laskivat alle vuoden 1988 tason. Jos sama vauhti on jatkunut, tasaisen tahdin taulukolla on nyt (19 vuodessa) taannuttu vuoden 1955 tasolle.
Vakavampia vastauksia varmaan saisi alan asiantuntijoilta: Keloharju et al. (kts. esim. IQ, trading behavior, and performence eli aiemmin Do smart investors outperform dumb investors?) tai Tatu Vanhanen ja Richard Lynn: IQ and the wealth of nations.
Tutkimuksen tietosuojasta puhuttaessa kannattaa lukea tietosuojavaltuutetun kommentti. Tässä ei ole kyse niinkään siitä, mitä tutkimuksissa julkaistaan vaan siitä, missä määrin tietosuoja on otettu huomioon aineistossa, joka tutkijoiden käytössä on. Tältäkin vuodelta on uutisoitu ikävästä tapauksesta, jossa tutkijan hyvinkin sensitiivistä informaatiota yksittäisistä kansalaista löytyi roskakatoksesta kun tutkimus oli päättynyt ja tutkija halusi muutossa päästä eroon turhista papereista. Edelleen tietosuojavaltuutettu muistutti siitä, mikä ero on aineiston pseudonymisoinnilla ja anonymisoinnilla: pseudonymisoitu aineisto eli aineisto, jossa sotu ja sukunimi on esimerkiksi korvattu koodilla saattaa edelleen olla ristiintaulukoimalla yhdistettävissä alkuperäisiin henkilöihin. Kun nykyään isojakin aineistoja saa mahtumaan muistitikulle, niistä on myös helppo ottaa kopioita eikä edes tutkimuksen vetäjä voi enää parin vuoden jälkeen vannoa, että kaikki kopiot on poistettu. Jos aineistoja on jaettu tutkimusryhmän kesken vaikkapa Dropboxissa, on teknisesti jopa mahdotonta varmistaa että kaikki kopiot on poistettu.
Niin Juha, älykkyys laskee kuin lehmän häntä ja alkaa kohta olla vaarallisen lähellä sitä tasoa, jolla miehet olivat Suomen kansantalouden ollessa kovimmassa nousukiidossa.
Voisiko tulosten lasku johtua siitä, että juuri 1997 testissä menestyneitä “rangaistaan” 12kk palveluksella ja epäonnistuneet pääsevät 6kk? Tuota vuotta ennen oli 240/330 päivää eli vuosi meni joka tapauksessa hukkaan.
Itse täytin testin tarkoituksella väärin, sillä halusin takaisin opiskelemaan asap.
Tuossapa mielenkiintoinen tutkimustulos: Suomalaisten varusmiesten älykkyys laskee kuin lehmän häntä (vuoden 1997 jälkeen) . Laskee kuin nousevan sukupolven fyysinen kunto ja Cooper-testin tulokset. Siinäkö selitys kansantalouden stagnaatiolle?
Toisaalla kun on arveltu, että henkinen vireys saattaa selittää monenlaista menestystä. Esimerkiksi: ”1900-luvun puolivälin jälkeen noin 30 prosenttia Nobel-palkinnoista on myönnetty juutalaistaustaisille, lähinnä aškenasijuutalaisille tutkijoille. Aškenasijuutalaiset menestyvät poikkeuksellisen hyvin myös älykkyystesteissä. (Wikipedia)