Poikkitieteellinen tutkimus on muodikasta mutta joskus vaikeampaa kuin toisinaan. Alla yritystä valottaa prosessin kipukohtia yhden esimerkin avulla.
Taloustieteilijöitäkin kiinnostaa koulutusmahdollisuuksien tasa-arvo. Opintotuen selvitysmiesraporttia kirjoittaessani yritin selvittää, mitä muissa yhteiskuntatieteissä koulutusmahdollisuuksien tasa-arvosta ja erityisesti sen muutoksista tiedetään. En löytänyt etsimääni, joten ajattelin yrittää tehdä analyysiä hiukan aikaisempaa systemaattisemmin. Mukaan oli helposti houkuteltavissa Hannu Karhunen, joka kaiken lisäksi istui valmiiksi Tilastokeskuksessa datakasan päällä. Päätettiin lisäksi yrittää julkaista tulokset jossain sellaisessa lehdessä, jota lukisivat muutkin kuin taloustieteilijät. Tuloksena tällä viikolla ilmestynyt analyysi Yhteiskuntapolitiikka -lehdessä.
Yhteiskuntapolitiikka (YP) ei ole mikään turhanpäiväinen lehdykkä. Suomalaisten yliopistojen määritelmän mukaan kyseessä on “johtavan tason” tiedelehti. Samaan kategoriaan taloustieteen lehdistä kuuluvat mm. Journal of Labor Economics, Journal of Econometrics tai Scandinavian Journal of Economics. Odottaa siis sopikin, että YP ylläpitää tiukkoja kriteerejä lehteen hyväksyttäville artikkeleille. Numeroon 3/2017 riman ylitti 5 artikkelia. YP:n julkaisupolitiikan mukaan heppoisemmat artikkelit voidaan siirtää “analyysit” osastoon, jos siihen refereitten ja päätoimittajan arvion mukaan on aihetta.
Esimerkiksi Suomen akatemia promoaa vahvasti poikkitieteellistä tutkimusta ja poikkitieteellistä julkaisemista. Ongelmaksi nousee poikkitieteellisen asiantuntemuksen ohuus, joka ehkä korostuu kotimaisissa julkaisuissa ja erityisesti niitten referee-prosessissa. Myös tieteidenväliset ennakkoluulot ja laatukriteerien ero saattavat vaikeuttaa poikkitieteellistä keskustelua.
Alla havainnollistan ongelmaa postaamalla YP toimituksen pyytämän vastineen lehden käyttämien arvioitsijoiden lausuntoihin. Nämä anonyymien refereiden lausunnot ovat kursiivilla ja toimituksen pyytämät omat kommenttini niiden perässä. Todettakoon siis vielä, että nämä referee-lausunnot johtivat artikkelin hylkäämiseen, mutta toimitus tarjosi mahdollisuutta korjatun version julkaisuun analyysit osassa, kunhan referee-kommentteihin asianmukaisesti vastataan. Yritys alla alkuperäisessä muodossaan, vain pari kirjoitusvirhettä korjattuna. Hannu ehkä lisäsi päätoimittajalle lähteneeseen versioon muutamia kohteliaisuuksia.
Lausunnot ja niiden vastineet voi tulkita ainakin kahdella vaihtoehtoisella tavalla
- artikkelin kirjoittajat yliarvioivat pahasti tutkimuksen kontribuution
- toimituksella kävi huono tuuri refereitten valinnassa
Lukijat muodostakoot oman mielipiteensä
***
Hyvä päätoimittaja,
Alla vastauksia refereiden kommentteihin. Vastaaminen oli paikoin vaikeaa, kun refereiden huomiot eivät ole kovin konkreettisia, mutta yritimme parhaamme.
REFEREE#1
Toisin kuin otsikko lupaa artikkeli-käsikirjoitus “50 vuotta koulutusmahdollisuuksien tasa-arvoa” ei käsittele nimenomaisesti koulutusmahdollisuuksien tasa-arvoa. Sen sijaan käsikirjoitus yhdistelee aineksia niin valikoitumistutkimuksesta, sosiaalisen liikkuvuuden tutkimuksesta kuin koulutusvalintoihin sovelletusta rationaalisen valinnan teorian tutkimusperinteestäkin.
Kuten käsikirjoituksessa toteamme, koulutusmahdollisuuksien tasa-arvoa mitataan tavanomaisimmin perhetaustan vaikutuksella koulutukseen valikoitumiseen. Artikkelissa olemme kiinnostuneita valikoitumisen muutoksesta ja tuotamme perhetaustan vaikutusten muutoksista 50 vuoden aikasarjan. Tarkoitus on siis nimenomaisesti mitata koulutusmahdollisuuksien tasa-arvon muutoksia viimeisen 50 vuoden aikana. Täsmälleen samalla tavalla on mahdollisuuksien tasa-arvon muutoksia tutkittu aikaisemminkin (Esim. Kivinen et al. 2001, 2007, 2012; Kerr ja Rinne 2012). Aikaisemmasta tutkimuksesta käsikirjoituksemme eroaa sillä, että aikasarja on oleellisesti pidempi, frekvenssi oleellisesti tiheämpi ja metodologiset valinnat käsittääksemme paremmin perusteltuja. Sen sijaan kysymyksenasettelu on samanlainen kuin aikaisemmassa koulutusmahdollisuuksien muutosta käsittelevässä kirjallisuudessa.
Myös sosiaalisen liikkuvuuden tutkimus tarkoittaisi käytännössä samaa asiaa, jos sosiaalisella liikkuvuudella tarkoitetaan liikkuvuutta koulutuksen suhteen. Ammatillinen liikkuvuus ja tuloliikkuvuus (tai ammattien ja tulojen periytyminen) olisivat myös sosiaalista liikkuvuutta, mutta niitä ei artikkelissa käsitellä. Rationaalisen valinnan tutkimusperinteen kanssa meillä ei ole mitään tekemistä, emmekä oikein ymmärrä miten se edes teemaan liittyisi.
Käsikirjoituksen keskeinen ongelma on, että siitä ei jäsenny minkäänlaista viitekehystä, jonka kautta tehtyjä laskelmia olisi mahdollista arvioida ja tulkita suhteessa mihinkään kolmen edellä mainitun tutkimusalan keskeisiin tuloksiin ja metodologisiin valintoihin. Viitekehyksen puute näkyy myös siinä, että käsikirjoituksessa esitetään toistuvasti epätarkkoja väitteitä vakiintuneista tavoista operationalisoida yhtäältä sosiaalinen liikkuvuus ja toisaalta sosiaaliryhmien väliset osallistumiserot.
Käsikirjoituksessa ei ole tarkoitustaan esittää minkäänlaista viitekehystä vaan empiirisiä havaintoja. Sen sijaan väite, jonka mukaan käsikirjoituksessa esitettäisiin epätarkkoja väitteitä vakiintuneista tavoista operationalisoida esimerkisi sosiaaliryhmien välisiä osallistumiseroja, on täysin käsittämätön. Käsikirjoituksessa jopa replikoidaan keskeisimpien aikaisempien suomalaisten tutkimusten tulokset ja sen jälkeen osoitetaan miksi näiden metodologiset valinnat johtavat virheellisiin tulkintoihin.
Esiintuodut aikeet mitata entistä paremmin kodin kulttuuripääoman ja taloudellisen pääoman vaikutusta lasten pärjäämiseen koulutusvalinnoissaan jäävät lopulta vaille lähdeviitettä, vaikka aihe on tunnetusti runsaasti tutkittu.
Pitkiä trendejä vanhempien ja lasten koulutustason välisessä riippuvuudessa on Suomessa tähän mennessä tutkinut ainoastaan Osmo Kivinen kanssakirjoittajineen (näihin artikkeleihin käsikirjoituksesssa luonnollisesti viitataan ja niiden tulokset jopa replikoidaan). Monessa muussakin tutkimuksessa koulutusmahdollisuuksien muutoksista keskustellaan, mutta silloinkin tulosten alkuperäislähde on Kivisen et al empiiriset tutkimukset. Kotimaisena auktoriteettinä voinee pitää Sari Kerrin ja Risto Rinteen tuoretta (2012) katsausta Kasvatuksen ja koulutuksen historiassa (johon siihenkin viitataan). Ehkä huomionarvoista on, että ainoat Kerrin ja Rinteen esittämät empiiriset tulokset ovat nekin juuri em. Kivinen et al tutkimuksista.
Sosiaalisen liikkuvuuden muutoksia on toki tutkinut moni muukin, mutta silloin kyse on ollut ammatillisesta liikkuvuudesta (esim. Erola, 2009) tai tuloliikkuvuudesta (esim Pekkala ja Lucas, 2007 sekä Sirniö, Kauppinen ja Martikainen, 2017). Kansainvälisiä esimerkkejä olisi luonnollisesti runsaasti. Artikkelissa viittaamme vain Chetty et al. (2014) ja Pekkarinen et al. (2017) tutkimuksiin.
Olisi mielenkiintoista tietää mihin referee viittaa kommenteillaan, jonka mukaan aihe on tunnetusti runsaasti tutkittu. Ensimmäistäkään lähdeviitettä referee - raportissa ei ole.
Järjestyskorrelaatiokertoimen sinänsä kiistattomat tilastolliset ominaisuudet sekä Suomen tunnetusti laadukkaat rekisteriaineistot eivät yksinään riitä tekemään käsikirjoitusta riittävän laadukkaaksi ja kiinnostavaksi YPn lukijoille.
Tästä olemme hieman eri mieltä. Huomautamme myös, että järjestyskorrelaatioita käytetään kansainvälissä koulutusliikkuvuutta koskevassa tutkimuksessa, mutta tähän mennessä julkaistu suomalainen tutkimus nojaa odds-ratiohin, joiden osoitamme tuottavan harhaisen kuvan kehityksestä.
Käsikirjoitus itse ilmoittaa tarkoituksekseen selkiyttää mahdollisuuksien tasa-arvoa koskevaa kotimaista keskustelua. Mainittua keskustelua monine eri haaroineen ei kuitenkaan käsikirjoituksessa avata eikä täsmennetä. Käsikirjoitus on niin keskeneräinen, että tiivistäminen riittävän kurinalaiseksi analyysiksi julkaistavaksi analyysit-osastolla ei maksa vaivaa.
Tämä on mielipide, johon on luonnollisesti hieman vaikea ottaa kantaa. Tähdennettäköön kuitenkin että kotimaisen keskustelun eri haarojen kuvauksen sijaan tarkoitus on ollut tuoda tähän keskusteluun lisää faktoja.
REFEREE#2
50 vuotta koulutusmahdollisuuksien tasa-arvoa Referee-lausunto
Käsikirjoitus tarttuu relevanttiin kysymykseen koulutuksen ylisukupolvisuuden mittaamisesta. Tulokset ovat hyödyllistä ainesta aihetta koskevaan keskusteluun.
Käsikirjoitus ei kuitenkaan ole muodoltaan tai sisällöltään tieteellinen artikkeli vaan kyse on empiirisestä analyysistä, jota on hiukan taustoitettu. Tekstissä ei esimerkiksi juuri lainkaan tuoda esiin koulutuksen ylisukupolvisuuden tai sen ajallisten muutosten mittausta koskevaa aiempaa suomalaista tai kansainvälistä metodologista keskustelua, jota varmaan kyllä löytyisi. YP:ssäkin tulisi mielestäni jossain määrin olla tällaista aiemman kirjallisuuden huomioon ottamista artikkeleissa.
Myönnämme että kyse on empiirisestä analyysistä. Kotimaiseen keskusteluun koulutuksen ylisukupolvisuuden ajallisen muutoksen mittaamisesta (esim. Rita 2008) viittaamme, mutta yritämme välttää sen ja varsinkin sen saamien vastausten (Kivinen et al., Janus 2008) tarpeettoman kriittistä ruotimista. Siksi viittaamme esimerkiksi odds-ratioihin perustuvien tutkimusten ongelmiin mieluummin keskustelemalla itse ongelmasta, emme henkilöimällä metodologisia ongelmia aikaisempiin tutkijoihin. Metodologista ongelmista huolimatta, aikaisemmalla tutkimuksella on toki ollut myös merkittäviä ansioita, erityisesti aineistojen keräämiseen liittyen.
Kirjoittajat ovat oikeassa siinä, että vanhempien tulotason mittaaminen kvintiileillä selkiyttää ylisukupolvisuuden ajallisten muutosten selvittämistä, kun luokkien koot pysyvät samoina kohortista toiseen. He eivät kuitenkaan lainkaan näytä ottavan huomioon sitä, että vanhempien koulutustaso ja tulotaso mittaavat eri asioita ja niiden yhteydet lapsen tulevaan koulutukseen kulkevat ainakin osin eri reittejä. Suomalaisessa tutkimuksessa on vieläpä tuotu useaan otteeseen esiin, että vanhempien tulotaso ei ennusta Suomessa lasten koulutustasoa yhtä voimakkaasti kuin vanhempien koulutustaso, oletettavasti esimerkiksi koulutuksen maksuttomuuden vuoksi. Tämän vuoksi ei ole mitenkään yllättävää, että koulutustasoa ja tulotasoa käytettäessä saadaan erilaisia tuloksia. Tämä pitäisi ehdottomasti tuoda esiin tekstissä, ennen kuin se voidaan julkaista (analyysinäkään). Kyse ei ole pelkästään siitä, että toisella mittarilla luokat pysyvät samankokoisina ja toisella ne muuttuvat kooltaan.
Olisi hyödyllistä, jos referee perustaisi väitteensä johonkin lähteeseen. Viittaus yleisesti suomalaiseen tutkimukseen tekee vastaamisen vaikeaksi.
Todettakoon kuitenkin, että tyypillisesti tässäkin kyse on mittaamiseen liittyvästä ongelmasta. Esimerkiksi vanhempien tulojen vaikutus lasten koulutukseen tai tuloihin riippuu radikaalisti siitä miten pitkältä periodilta tuloja on mitattu. Satunnaistekijöiden vaikutus on sitä pienempi mitä pidempi on tarkasteluperiodi (ks. esim. Solon AER June 1992). Samaten koulutuksen vaikutus riippuu siitä, miten tarkasti koulutusta on mitattu. Tässä käsikirjoituksessa käytetyillä mittareilla vanhempien tulojen korrelaatio lasten koulutuksen kanssa on hieman pienempi kuin vanhempien koulutuksen ja lasten koulutuksen välinen korrelaatio. Lisäsimme tätä koskevan huomautuksen artikkeliin.
Analyysissä käytetystä aineistosta tarvitaan lisää tietoa. Luvussa 2 käsitellään aineistolähteitä, mutta tässä yhteydessä voisi vielä selvemmin sanoa, mistä juuri tämän artikkelin analyysien aineisto on peräisin. Pitkien aikasarjojen tilanteessa herää myös kysymys, onko mahdollisesti joitain ongelmia käytettyjen koulutus- ja tulomittarien vertailtavuudessa yli ajan? Ja oliko tulomittarin valinnassa mitään vaihtoehtoja, joiden välillä valita, vai oliko käytetty tulomittari ainoa saatavilla ollut vaihtoehto?
Tätä kohtaa olemme tarkentaneet revisioidussa käsikirjoituksessa. Kiitämme refereetä aiheellisesta huomautuksesta. Tulomittarin valinnassa ei ollut vaihtoehtoja.
Käsikirjoituksessa tarjottu metodologinen ratkaisu on järjestyskorrelaatioiden laskeminen. Loppuluvussa tästä ei kuitenkaan enää sanota mitään, vaan puhutaan pelkästään samankokoisina pysyvien luokkien käyttämisestä vanhempien aseman mittaamiseen. Olisi hyvä suhteuttaa nämä kaksi erilaista metodologista ratkaisua alussa esitettyyn ongelmaan toisiinsa.
Mielenkiintoinen kommentti. Järjestyskorrelaatiohin perustuva analyysi toimii juuri siksi, että käytetään samansuuruisia luokkia vanhempien aseman mittaamiseen. Kyse ei siis ole kahdesta erilaisesta metodisesta ratkaisusta. Pidimme tätä liian ilmeisenä huomiona toistettavaksi. Ilmeisesti olimme väärässä, ja yritimme nyt vielä selkeyttää loppulukua.
Kuviosta 5 ei selviä, mitä käytetyt värit tarkoittavat, koska harmailla ja mustilla viivoilla/symboleilla on samat selitteet. Kaikkiin kuvioihin olisi syytä lisätä otsikot x- ja y-akseleille (mittayksiköt).
Taulukon selitteet olivat puutteellisia. Olemme korjanneet tämän. Kiitämme huomiosta
Yhteenvetona totean, että artikkelina julkaisemiseen tarvittaisiin huomattavasti vahvempi oman analyysin kytkeminen aihepiirin muuhun kirjallisuuteen. Analyysit-osiossa käsikirjoitus on julkaistavissa, jos siihen tehdään muut esittämäni muutokset.
Kommentti on luonnollisesti aiheellinen, mutta sen toteuttamista vaikeuttaa sellaisen kirjallisuuden puute, johon analyysin olisi voinut kytkeä. Kaiken teemasta julkaistun kotimaisen kirjallisuuden olemme käsittääkseni käsitelleet.
Aihealueet: Koulutus
Kommentit jatkuu:
Hyvä kom,
Olisi ollut paljon helpompaa vastata vaikkapa kommenttisi tapaiseen referee-lausuntoon. Osa listaamistasi ongelmista kuuluu luokkaan ratkaisemattomat, mutta vaikkapa 1950-luvun väestölaskentatietoja (kysely) olisi ollut mahdollista verrata myöhempiin rekisteritietoihin. Ehkä vielä suurempia kysymyksiä liittyy tulojen mittausjaksoon. Kuten artikkelissa todetaan, sukupolvien välinen tulokorrelaatio kasvaa, jos tuloja mitataan hieman pidemmäktä aikaväliltä, koska satunnaistekijöiden kontribuutio pienenee. Lisäksi koulutustason mittaaminen lopullisen koulutuksen perusteella olisi varmaankin olluit informatiivisempaa kuin opiskelijastatuksen perusteella.
Tässä analyysissä oli kuitenkin pyrkimyksenä seurata aiempien kotimaisten tutkimusten toteutustapaa mahdollisimman tarkasti, jotta tulokset olisivat vertailukelpoisia. Samasta syystä referoidaan - ja replikoidaan - lähinnä merkittävimpiä kotimaisia tuloksia. Metodikeskustelua tekstissä sen sijaan on mielestäni aika paljon. Olisi voitu kirjoittaa lisääkin, mutta pelkään että nykyinenkin määrä karkottaa kiireisimmät lukujat.
Pari kommenttia:
Marko H.,
Tunnen kyllä myös dataan suvaitsevaisesti suhtautuvia sosiaalipolitiikan tutkijoita, jopa muutaman datamaanikon. Itse asiassa empiirinen tutkimus onkin ala, jossa eri yhteiskuntatieteiden tutkijat puhuvat suunnilleen samaa kieltä ja siksi tieteidenvälinen keskustelukin voi olla hedelmällistä.
Mo,
Käsittääkseni tässä prosessissa double-blind systeemi toimi niin hyvin kuin se pienehköllä kielialueella voi. Julkaistusta tekstistä selviä väkisinkin kirjoittajien nimet, mutta refereiden arvioimasta versiosta oli nimien lisäksi poistettu sitaatit omiin aikaisempiin teksteihin ja kirjoittajien henkiöllisyyden paljastavat pätkät. Refereiden anonymiteetti säilyy julkaisun jälkeenkin. Ainakaan minulla ei ole hajuakaan keitä refereet olivat.
Olen samaa mieltä monesta toisen vertaisarvioijan huomiosta (en kuitenkaan ihan kaikista), vaikka olenkin nähnyt vain julkaistun artikkelin, en ensimmäistä käsikirjoitusta, josta referee-kommentit on alun perin annettu. Ensimmäisen refereen kommentit sen sijaan ovat osin käsittämättömiä ainakin suhteessa julkaistuun artikkeliin. Alkuperäistä käsikirjoitusta en ole nähnyt. Ensimmäinen referee on ehkä pitänyt näkemäänsä artikkelikäsikirjoitusta niin keskeneräisenä, ettei ole katsonut maksavan vaivaa kirjoittaa edes kunnollista referee-palautetta. Mutta ei ala-arvoisia vertaisarviointilausuntoja pitäisi silloinkaan antaa.
Julkaistun artikkelin tulokset ovat mielenkiintoisia, ja artikkelissa on tehty ansiokkaan oloista empiiristä tutkimusta. Toisaalta ainakin julkaistun paperin osalta suhde aiempaan kirjallisuuteen ja kirjoittajien omien tulosten luotettavuuden käsittely on tehty aika suppeasti, jonka tyyppiset kirjoitusratkaisut ainakin tällaisen satunnaisesti YP:ta lukevan näkökulmasta puoltavat artikkelin julkaisupaikkaa nimenomaan analyysit-osiossa artikkelit-osion sijaan. Vastineessa refereelle on todettu esteenä kirjallisuuden laajemmalle käsittelylle olevan sen, että aiheesta ei ole kotimaista kirjallisuutta, ikään kuin olettaen, että suomenkielisessä artikkelissa tulisi käsitellä vain kotimaista kirjallisuutta. Referee oli pyytänyt huomioimaan myös aihepiirin kansainvälistä kirjallisuutta ainakin metodikirjallisuuden osalta. YP:ssä on julkaistu analyysit-osiossa ennenkin tilastollisten tutkimusten tulosten esittelyjä, eikä tuo artikkeli tainnut olla lajissaan ainoa tilastollisen aineiston analyysi edes tuossa nimenomaisessa YP:n numerossa. Toisinaan mielenkiintoisimmat tulokset YP:ssä löytyvät juuri analyysit-osiosta, mutta niiden osalta lukija joutuu usein itse miettimään artikkelit-osion artikkeleita enemmän sitä, että mitkä tekijät rajoittavat vaikkapa tulosten luotettavuutta, koska analyysit-osion artikkeleissa sellaisia asioita avataan lukijoille yleensä artikkelit-osion artikkeleita vähemmän.
Julkaistua artikkelia lukiessa kiinnitin huomiota samaan asiaan, mistä referee 2 kirjoitti:
“Pitkien aikasarjojen tilanteessa herää myös kysymys, onko mahdollisesti joitain ongelmia käytettyjen koulutus- ja tulomittarien vertailtavuudessa yli ajan?”
Artikkelissa on ansiokkaasti ja tekstitilaa suhteellisen paljon artikkelin kokonaispituuteen nähden käyttäen kuvattu sitä, mistä data on peräisin, mutta kysymystä datan sisällölliseen luotettavuuteen ja vertailtavuuteen liittyen en havaitse käsitellyn artikkelissa juuri lainkaan, vaikka referee on vertailtavuuskysymyksen nostanut esiin, ja vaikka kysymys on tulosten luotettavuuden arvioinnin kannalta merkityksellinen. Ainakin verotettavien tulojen tilastojen vertailukelpoisuuteen voi liittyä ongelmia vuosikymmenten mittaisissa tarkasteluissa, koska verotettavien tulojen määritystavat (millainen veropohja on; mitä tuloja huomioidaan verotettavina tuloina, miten ne huomioidaan, ja mitä, missä laajuudessa ja millä muilla ehdoilla on annettu vähentää verotettavista tuloista ennen niiden kokonaismäärän määrittämistä) ovat muuttuneet monin tavoin tarkasteluhistorian varrella. Käytännössä asia tarkoittaa sitä, että jonain vuonna ylimpään verotettavien tulojen kvintiiliin johtaneilla tuloilla voisi toisen verovuoden verotussäännöillä voinut päätyä eri kvintiiliin verotettavien tulojen osalta. Muutoksia tapahtui paljon muun muassa 1960-luvulla, jolloin muutettiin monin tavoin sekä tulojen huomioimisperiaatteita että myös verovähennyssääntöjä. Myös 1980-luvun lopun kokonaisverouudistus muutti myös monin tavoin veropohjia. Vuodesta 1986 lähtien esimerkiksi myyntivoitot säädettiin aiempaa isommalta osin käsiteltäviksi verotettavina tuloina, vaikka niiden verottaminen alkoi kiristyä vasta 1980-luvun kokonaisverouudistuksen päävuonna 1989. Tuloindikaattorin vertailtavuusongelmia ajan yli ei varmaan pysty ratkaisemaan jälkikäteen, jos vaihtoehdoista dataa ei ole, mutta hyvissä pitkähkön ajanjakson datoja käsittelevissä täysimittaisissa artikkeleissa on tapana kirjoittaa näkyviin lukijalle, mitä ongelmia datan vertailtavuuteen ajan yli saattaa ehkä liittyä, jotta lukija on tietoinen olennaisista tulosten luotettavuuteen vaikuttavista asioista.
Mielestäni kakkosreferee on esittänyt monia ihan aiheellisia huomioita, jollaisia asiallisesti tehtävänsä hoitavien refereiden kuuluukin nostaa vertaisarvioinnissa esiin artikkelikäsikirjoitusten laadun parantamiseksi.
Kun referee pyytää viittaamaan aiempaan tutkimukseen muttei anna esimerkkejä, se on yleensä pyyntö viitata hänen omaan tutkimukseensa. Hän ei kehtaa suoraan viitata omiin artikkeleihinsa.
Suomessa on tehty ideologista tutkimusta heppoisin menetelmin ja keksitty perusteluja sille, miksi meillä olisi kauhea tasa-arvo-ongelma. Kun sitten joku metodologisesti kyvykäs osoittaa, ettei keisarilla ollutkaan vaatteita, hänet yritetään vaientaa kaikin keinoin. Etenkin metodologisesti kyvyttömät, kvalitatiivisten metodien käyttäjät ja muut faktakriittiset pelkäävät niitä, jotka osaavat tuottaa kvalitatiivisten tapaustutkimusten ja postmodernin retoriikan sijaan empiirisiä tosiasioita häiritsemään “tiedettä”.
“Viimeaikaisessa keskustelussa on ajoittain esitetty huolta koulutuksen pitkään jatkuneen tasa-arvoistumiskehityksen pysähtymisestä ja erojen kääntymisestä kasvuun. Tulostemme mukaan huoli on kuitenkin ennenaikainen. Tasa-arvoistumiskehitys ei varsinaisesti ole pysähtynyt, koska se ei ole kerennyt vielä alkaakaan.”
https://www.julkari.fi/bitstream/handle/10024/134786/YP1703_Karhunen%26Uusitalo.pdf
Tuosta kaksi nykyisen paradigman tutkijaa loukkaantui. Toinen yritti röyhkeästi estää artikkelin julkaisemisen ja toinen alentaa sen “analyysiksi”.
Kuvion 5 perusteella lasten koulutuksen korrelaatio vanhempien koulutukseen on ollut koko ajan reilut 0,3 ja tuloihin reilut 0,2. Vuosina 1950-1965 se oli hieman alempi. Ehkä luokkakierto helpottui sotien jälkeen. Myöhemmin se on voinut helpottua lisääkin: jo vanhempien sukupolvista yliopistoon sopivat kävivät yliopiston, on epätodennäköisempää, että muista enää löytyisi yliopistoon sopivia, joten korrelaatio voisi kasvaa, vaikka säätykierto vain helpottuisi. Monet muutkin tekijät ovat voineet vaikuttaa.
Säätykierron hidastuminen on luonnollinen, lähes vääjäämätön seuraus geneettisestä ja sosiaalisesta kyvykkyyden periytymisestä ja siitä, että säätykierto oli mahdollista jo vanhemmille. Se voi olla merkki siitä, että yhteiskunta toimii oikein: kyvykkäimmät pääsevät yliopistoon.
http://www.soininvaara.fi/2013/10/14/meritokratia-ja-henkinen-koyhyysloukku/
Vertaisarviointi on kiinalainen juttu.
FT (18.6.2017): Chinese authorities are cracking down on academic fraud after an international medical journal retracted 107 Chinese-authored papers from the past five years, in the biggest case to date of fake peer reviews to endorse research… Springer, publisher of the journal Tumor Biology, said the retractions were made because the peer review process — in which an independent academic recommends a paper for publication — had been “deliberately compromised by fabricated peer reviewer reports”.
https://www.ft.com/content/680ea354-5251-11e7-bfb8-997009366969
Tässäkin pätee vanha sanonta: eivät kiinalaiset mitään ruudinkeksijöitä ole.
Roope Uusitalo kirjoitti:
“Esimerkiksi Suomen akatemia promoaa vahvasti poikkitieteellistä tutkimusta ja poikkitieteellistä julkaisemista. Ongelmaksi nousee poikkitieteellisen asiantuntemuksen ohuus, joka ehkä korostuu kotimaisissa julkaisuissa ja erityisesti niitten referee-prosessissa. Myös tieteidenväliset ennakkoluulot ja laatukriteerien ero saattavat vaikeuttaa poikkitieteellistä keskustelua.”
Erityisesti “tieteidenväliset ennakkoluulot” näyttäytyvät hieman erikoisessa valossa tämän Uusitalon jatkokommentin kohdalla:
“Oma tulkintani oli että olit löytänyt refereiksi datakriittisiä sosiaalipolitiikan jatko-opiskelijoita ja ilman sen kummempaa perehtymistä tehnyt sitten julkaisupäätöksen referee-lausuntojen perusteella.”
Eikö tässä juuri kuvastu tieteidenväliset ennakkoluulot?
Olen samaa mieltä monien referee-kommenteissa esitettyjen huomioiden kanssa. Esimerkiksi mahdollisuuksien tasa-arvon käsitteellinen määrittely, tai pikemminkin sen puute, aiheutti hämmennystä. Ehkä poikkitieteellisen asiantuntemuksen ohuus heijastuu myös joissakin näissä vastauksissa referee-kommentteihin?
“Systeemin ansiosta junioritutkijatkin uskaltaa kritisoida kiukkuisia omanarvontuntoisia professoreita ilman pelkoa julkisesta nolauksesta tai seuraavan apurahahakemuksen kohtalosta.”
Ehkä pieni annos pelkoa kuitenkin syntyi sen seurauksena, että nostitte keskustelun julkisuuteen, rikoitte anonymiteetin (?) liian aikaisin: toiseen suuntaan kokonaan ja toiseenkin suuntaan titteleiden osalta. Ei ollut kovin hyvä suoritus.
Terve Tuukka,
Kiitos vastauksesta. Hienoa, jos tämä myös johtaa keskusteluun YP-lehden referee-prosessista. Toiveena olisi tietysti myös poikkitieteellisen keskustelun helpottuminen.
Eipä ole aikaisemmin tullut julkaistua referee-kommentteja, mutta nyt oli mielestäni aihetta. On yhdentekevää, missä osioissa YP minun ja Hannun tekstejä julkaisee, mutta referee prosessin ongelmien kannalta kysymykset on tärkeämpiä.
Olin kieltämättä hieman hämilläni, että kertaalleen hylkäämäsi juttu päätyi lehden kanteen ja yhdeksi (vai peräti ainoaksi?) päätoimittamasi lehden muille medioille tarjoamista mielenkiintoisista nostoista.
Tekstiä ja analyysiä voi toki pitää kehnona, mutta referee-rapoteissa ei yhtään virhettä bongattu. Ottaen huomioon, että dataa ei ole kukaan koskaan ennen nähnyt, ei analyysiä oikein sekundaarisenä tai katsauksenakaan voi pitää. Kaiken lisäksi tulkinnat ovat aikaisempaan verrattuna vastakkaisia. Sen sijaan refereitten mukaan juttu ei ollut YP lukijoitten kannalta kiinnostava. Ilmeisesti ainakin päätoimittaja oli arviosta eri mieltä?
Jotkut kollegat epäili, että refereet olisivat olleet aikaisemmin teemasta tutkimusta tehneitä, jotka kokivat kirjoittamamme paperin oman työnsä arvosteluna. Vastineen kirjoittamista helpompaa on yrittää torpata juttu jo ennen julkaisemista. Itse pidin selitystä epäuskottavana. Teemaan perehtyneet olisivat osanneet kirjoittaa parempia referee raportteja. Sitä paitsi YP:lläkin lienee politiikkana etsiä riippumattomia refereitä.
Oma tulkintani oli että olit löytänyt refereiksi datakriittisiä sosiaalipolitiikan jatko-opiskelijoita ja ilman sen kummempaa perehtymistä tehnyt sitten julkaisupäätöksen referee-lausuntojen perusteella. Kirjoittamasi perusteella tulkintani oli tosin väärä.
Olen anonyymin referee-prosessin suuri ystävä. Systeemin ansiosta junioritutkijatkin uskaltaa kritisoida kiukkuisia omanarvontuntoisia professoreita ilman pelkoa julkisesta nolauksesta tai seuraavan apurahahakemuksen kohtalosta. Systeemi tosin edellyttää toimittajilta kykyä arvioida arvioita.
Joka tapauksessa olisi mielenkiintoista kuulla refereiden responssi omaan referee responssiini. Vaikka sitten anonymiteetin suojasta.
Hei Roope Uusitalo,
kiitos palautteesta. Olen välittänyt tiedon blogistasi käsikirjoituksenne kahdelle refereelle ja tiedustellut, josko he haluavat vastata kritiikkiisi. Molemmat refereet ovat dosenttitasoisia koulutustutkimuksen tunnustettuja asiantuntijoita.
Samoin välitin blogisi YP-lehden toimitusneuvostolle, jonka nimenomaisena tehtävänä on seurata vertaisarviointia ja sen laatua. Keskustelemme tapauksesta. Toimitusneuvoston kokoonpano selviää täältä: https://www.thl.fi/fi/web/yhteiskuntapolitiikka/tietoa-lehdesta
Aiheena on siis analyysi, joka julkaistiin Yhteiskuntapolitiikka-lehdessä (3/17) viime perjantaina (16.6.2017). Itse teksti löytyy täältä: https://www.julkari.fi/bitstream/handle/10024/134786/YP1703_Karhunen%26Uusitalo.pdf?sequence=3
Se on myös nostettu YP-lehden nettisivulle kiinnostavana poimintana uudesta lehdestä https://www.thl.fi/fi/web/yhteiskuntapolitiikka
Yleensä lehden sisältö avautuu muille kuin tilaajille kahden numeron viiveellä (nk. viivästetty open access –malli), mutta avaamme joka numerosta muutaman yleisesti kiinnostavan jutun heti lehden ilmestyessä. Analyysinne on ehdottomasti sellainen.
Refereistä. Kumpikaan refereistä ei esittänyt käsikirjoituksen hyväksymistä artikkelit-osastoon. Päätoimittajaperspektiivistä ehdotus analyysiosastoon siirtymisestä perustui erityisesti siihen toisen refereen näkemykseen, jonka mukaan analyysinne empiria on kiinnostava ja pienin muutoksin kunnossa, mutta että jutusta puuttui tutkimuskysymysten ja sitä myötä empirian kunnollinen liittäminen aiempaan tutkimuskeskusteluun.
Kyse ei siis ollut analyysin ”heppoisuudesta”, kuten krijoitit, vaan jutun luonteesta ja rakenteesta. YP:n analyysit eivät ole ”heppoisia artikkeleita”, vaan YP:n oman määritelmän mukaisesti ”osastossa julkaistaan katsauksenomaisia käsitteellisiä, tilastollisia, sekundaari- tai case-aineistoihin perustuvia erittelyjä”. Ne eivät vaadi samalla tapaa perusteellista kehystämistä aiemman kirjallisuuden tai teorian kautta kuin artikkelit, mutta aineiston ja analyysin on toki oltava kunnossa. “Heppoisuutta” pyrimme välttämään, ja vertaisarviointi on tässä se keskeisin työkalu.
Palaan enemmin kommentein asiaan, jos refereet haluavat vastata kritiikkiisi.
Sunnuntaiterveisin
Tuukka Tammi
päätoimittaja, Yhteiskuntapolitiikka-lehti