Taas me pärjätään - PISA ja FPL

25.5.2009 Kirjoittanut Marko Terviö

Suomalaisten pärjääminen koululaisten PISA tiedekokeessa sekä eilen päättyneessä Englannin valioliigan fantasiamanageripelissä on hämmästyttävää. Ei siksi että olemme ykkösiä molemmissa - jonkunhan täytyy olla paras.  Mutta suomalaisten keskimääräinen menestys on paremmuudessaan suorastaan tilastollinen kummajainen (outlier).

Seuraavasta kuvasta näkyy miten poikkeuksellista on suomalaisten menestys.

Keskimääräinen menestys PISA tiedekokeessa ja FPL manageripelissä.

Keskimääräinen menestys PISA tiedekokeessa ja FPL manageripelissä. (Klikkaamalla suurempi kuva)

Kaikenlaisiin rankkauksiin ja maavertailuihin liittyy yleensä aivan liikaa tilastollisesti mitättömillä eroilla meuhkaamista. Tässä tapauksessa erot ovat kuitenkin tilastollisesti erittäin merkitseviä. Miten yksi maa voi olla niin paljon parempi kuin muut?

Voisiko kyse olla tilastoharhasta? PISA perustuu tilastolliseen otantaan, mutta FPL:n osallistujat ovat vapaaehtoisia. Siksi on mahdollista, että jostain syystä Suomesta valikoituu erilaista porukkaa FPL:ään kuin muista maista. Vaikea kuitenkaan keksiä miksi pelaajien valikoituminen olisi Suomessa kovin erilaista kuin vaikka Ruotsissa tai Norjassa, jotka ovat “vain” hyvää OECD-keskitasoa molemmilla mittareilla.

FPL-pelissä managerilla on rajallinen budjetti pelaajahankintoihin. Pelaajat tuovat pisteitä todellisen menestyksensä mukaan, ja hinnat vaihtelevat kauden aikana kysynnän ja tarjonnan mukana. Hyvän joukkueen valitseminen olisi monimutkainen tehtävä jo ilman epävarmuutta pelaajien menestymisestä. Niinpä manageripelissä menestyminen vaatii kykyä kvantitatiiviseen ajatteluun, kuten tiedekoekin. Menestysten takana voivat hyvinkin vaikuttaa  jotkin yhteiset syyt. Tätä tukee myös voimakas maakeskiarvojen välinen korrelaatio (0.65, p-arvo  noin 10^-7).

On hienoa että suomalaiskoululaiset pärjäävät PISA-kokeissa. Pitää kuitenkin olla varovainen ennen kuin tulkitsee menestyksen merkiksi koululaitoksemme paremmuudesta, varsinkin naapurimaihin verrattaessa. PISA-kokeissa sen enempää kuin FPL-pelissä ei ole mitään sen kummempia panoksia, joten osallistujien motivaatiolla ja tunnollisuudella on suuri merkitys tuloksille. (FPL:n voittaja saa toki ilmaisen ottelumatkan, mutta pelaajia on 2 miljoonaa.)
Olisiko niin että suomalaiset vain ottavat tällaiset pelit ja testit vakavammin kuin muut? Onko kellään parempaa hypoteesia?

Avainsanat: , ,

Aihealueet: Koulutus, Kummalliset

6 kommenttia kirjoitukseen “Taas me pärjätään - PISA ja FPL”

  1. Marko Terviö kirjoitti:

    Jaakko, tuossa selityksessä voisi olla perää varsinkin mitä Englantiin tulee. Mutta muiden pohjoismaiden osalta tuskin.

  2. Jaakko kirjoitti:

    Marko, jalkapallo on monessa maassa työväenluokan peli, Suomessa työväenluokan peli on jääkiekko. Olisiko niin, että suomalaiset FPL-pelaajat ovat koulutetumpia/teoreettisen ajattelun paremmin osaavia kuin esim britit ja sakut?

  3. Marko Terviö kirjoitti:

    Enpä nyt ihan menisi yhtä käppyrää kutsumaan tutkimukseksi… mutta ihan jännä fakta sinänsä.

    FPL-tiedot ovat 2008-09 kaudelta. (Ovat näköjään jo menneet rikkomaan linkin viime kauden tuloksiin.) Oman maan pelaajien suosiminen voisi tosiaan aihettaa enemmän hallaa monen muun maan kannattajalle, joissa voi kasata vaikka koko joukkueen maanmiehistään.

  4. Ilkka kirjoitti:

    Kerrassaan mielenkiintoinen tutkimus, joka herätti näin nopeasti pari huomiota.

    FPL manageripelissä osallistujat mitä luultavimmin ylipainottavat oman kotimaansa pelaajia, joten niille maille joiden EPL-jalkapalloilijat ovat kyseisenä vuonna pärjänneet erityisen hyvin, myös FPL-pelaajat pärjäävät keskimääräistä paremmin. En nyt jaksa ruveta tarkistamaan olisiko tänä vuonna tällainen mahdollista, mutta tuskin ainakaan Suomen kohdalla. Ovatko FPL-tulokset tältä vuodelta?

    Toinen huomio liittyy kyseisen pelin mainostamiseen. Maissa, joissa peliä on mainostettu mitä luultavimmin FPL-peliä ovat kokeilleet hyvin erilaisella tietämyksellä ja profiililla pelaavat pelaajat. Kun taas maissa, joissa peliä ei ole mainostettu (Suomi) peliä ovat pelanneet lähinnä valveutuneet asiaan paneutuneet pelaajat. Uskoisin että maissa, joissa EPL näkyy telkkarissa ihmisiä eksyy myös enemmän liigan virallisille sivuille kuin Suomessa, jossa ottelut näkyvät maksullisella kanavalla (lajista kiinnostuneilla harrastajilla).

  5. Marko Terviö kirjoitti:

    Kommenttisi on hyvä, koska sen avulla huomaan, että tarkoittamani “yhteiset syyt” vaativat tarkennusta. En tarkoittanut sitä, että jonkin yksilötason tekijän ansiosta (esim ÄO) samat henkilöt ovat parempia sekä PISAssa että FPLssä (vaikka niinkin luultavasti on). Tarkoitin sitä, että jokin maakohtainen tekijä (esim koululaitoksen taso) lisää asukkaiden keskimääräistä kyvykkyyttä sekä PISAssa että FPLssä. Tämä maakohtainen vaikutus voi periaatteessa vaikuttaa vaikka täysin eri osajoukkohin asukkaista, samalla kun se nostaa molempia maakeskiarvoja. Eli yksilötason FPL ja PISA tulosten korrelaatio voi toisiaan ihan hyvin olla nolla tai negatiivinen, minkä populaatiokeskiarvojen positiivinen korrelaatio toki sallii.

    Silti, vaikka maat muodostavat hypoteesin kannalta relevantin populaation, niin voimakaskin korrelaatio maakeskiarvojen välillä vain motivoi hypoteesin mutta ei tietenkään todista mitään. Siksi kirjoitinkin “voivat hyvinkin vaikuttaa” enkä “vaikuttavat”.

  6. Mikko Ketokivi kirjoitti:

    “Niinpä manageripelissä menestyminen vaatii kykyä kvantitatiiviseen ajatteluun, kuten tiedekoekin. Menestysten takana voivat hyvinkin vaikuttaa jotkin yhteiset syyt. Tätä tukee myös voimakas maakeskiarvojen välinen korrelaatio (0.65, p-arvo noin 10^-7).”

    Kävelet päättelyssäsi suin päin miinaan nimeltä ekologinen virhepäätelmä (ecological fallacy). Tuo 0,65 on ns. ekologinen korrelaatio, sinä tulkitset sitä yksilön suoriutumisen tas0lla.

    Ei Suomi sitä peliä pelaa, vaan yksittäiset henkilöt.

Vastaa