Sanokaapa mihin yliopistotutkijat käyttävät suurimman osan tutkimusajastaan. Siis siitä mikä jää yli kun opetuksen valmistelu ja hallintohommat on ensin hoidettu. Oma arvaukseni olisi referee-raporttien kirjoitamiseen ja muitten tutkijoitten tekemien referee-kommenttien korjausehdotusten tekemiseen.
Oikeastaan aika hullunkurista touhua. Ensin käytät puoli vuotta artikkelin kirjoittamiseen ja lähetät sen sopivaan tieteelliseen lehteen. Muutaman kuukauden päästä joku toinen tutkija jossain Manchesterissa tai Melbournessa nostaa jalat pöydälle, lukee tarinan, ja kertoo muutamassa tunnissa, miten homma oikeastaan olisi pitänyt tehdä vai olisiko ollut parempi jättää kokonaan tekemättä. Tuloksena artikkeli yleensä hylätään ja kierros alkaa alusta seuraavassa lehdessä. Koko puuhaan kuluu tuhottomasti aikaa sekä refereiltä että artikkelin kirjoittajilta. Kummastakin porukasta isoin osa on 30 - 40 vuotiaita postdocceja, joiden pitäisi olla uransa tuottavimmassa vaiheessa. Vaihtoehtoiskustannukset ovat valtavia.
Myönnettäköön että referee-prosessissa artikkelit välillä paranevatkin. Silti tutkimustulokset pysyvät yleensä suunnilleen ennallaan. Kirjoitusasu saattaa hiomalla hiukan parantua, mutta tämäkin tahtoo olla aika marginaalista. Mistä siis prosessissa oikein on kyse?
Parhaiten referee-prosessia voisi kuvata massiiviseksi signalointimekanismiksi. Prosessin läpäisy on signaali artikkelin ja samalla sen kirjoittaneen tutkijan pätevyydestä. Revisioprosessi ei sinällään paranna artikkelia eikä kehitä sen kirjoittajaa. Revisiokierroksen läpäisy vaatii työtä ja siihen liittyy kustannuksia. Kustannukset ovat sitä pienempiä, mitä parempi tutkija. Tästä syystä vain parhaitten tutkijoiden kannattaa tarvittava aika revisiointiin käyttää. Tasapainossa prosessin läpäisseet tutkijat ovat keskimääräistä parempia tutkijoita. Oikeastaan olivat sitä toki jo ennen prosessia, nyt siitä vaan tuli julkista informaatiota, jota vaikkapa työnantajat voivat rekrytointipäätöksissään käyttää.
Ja kyllä työnantajat tätä informaatiota käyttävätkin. Pahimmillaan esimerkiksi yliopiston virantäyttöä koskevissa lausunnoissa yksinkertaisesti lasketaan, montako artikkelia minkäkintasoisessa lehdessä kukin hakijoista on julkaissut. Arvioitsijoiden ei välttämättä tarvitse itse artikkeleihin edes perehtyä, excel taulukkoon kootut julkaisutiedot riittää. Ehkä tehokasta, mutta tällaisesta kai selviytyisi hyvin koulutettu labradorinnoutajakin.
Spencen alkuperäisen tarinan[1] opetus on että signalointi on osallistujille rationaalista, mutta yhteiskunnallisesti tuhlausta. Se rationaalisuuskin tuntuu tosin pöydällä odottavia melkein valmiita revisioita katsellessa olevan välillä hiukan kyseenalaista.
[1] Michael Spence Job Market Signaling, The Quarterly Journal of Economics, Vol. 87, No. 3 (Aug., 1973), pp. 355-374 Article Stable URL: http://www.jstor.org/stable/1882010
Aihealueet: Lajittelematon
“Myönnettäköön että referee-prosessissa artikkelit välillä paranevatkin. Silti tutkimustulokset pysyvät yleensä suunnilleen ennallaan. Kirjoitusasu saattaa hiomalla hiukan parantua, mutta tämäkin tahtoo olla aika marginaalista. Mistä siis prosessissa oikein on kyse?”
Kiitos hyvästä kirjoituksesta. Signalointiargumentti on varmaan ihan oikea. Olen kuitenkin eri mieltä siitä, että revisioprosessi ei parantaisi artikkelia tai kehittäisi sen kirjoittajaa. Väitän, että vertaisarviointi (refereee-prosessi/review-prosessi) voi parantaa lopullisen julkaisun (tavallisimmin artikkelin mutta myös kirjan tai sen osan) laatua merkittävästi vaikka tutkimuksen tulokset sinänsä pysyisivätkin ennallaan. (Puhun ensisijaisesti oman tieteenalani - organisaatiotutkimuksen - näkökulmasta, argumenttini yleistettävyys jääköön lukijan arvioinnin varaan).
Ensinnäkin vertaisarvioinnin tarkoituksena on tehdä alkuperäisestä tekstistä mahdollisimman lukijaystävällistä. Tämä voi tarkoittaa kieliasun mahdollista kohentamista mutta myös artikkelin argumentoinnin rakenteen ja ns. freimaamisen kohentamista, eli sitä miten tarkalleen ottaen tutkimustulokset esitetään tietyn tieteellisen keskustelun ja sen yleisön näkökulmasta ja valossa. Artikkelin lukijoiden tulisi ymmärtää paitsi mitä tulokset ovat ja miten ne on saavutettu myös - ja ennen kaikkea - mitä ne tarkoittavat valitun tieteellisen keskustelun näkökulmasta: miten ja mihin suuntaan tulokset edistävät ko. keskustelua eli miten artikkeli kontribuoi. Asiansa osaava vertaisarvioija (eng. [peer] reviewer) kykenee parhaimmillaan ottamaan kantaa siihen mihin tiettyyn tieteelliseen keskusteluun tulokset parhaiten kontribuoivat ja miten artikkelin argumenti tulisi rakentaa jotta lukijat ymmärtäisivät tulosten merkittävyyden ja muokkaamaan omaa tutkimustaan sen mukaan.
Toiseksi, ja ensimmäiseen kohtaan liittyen, vertaisarvioijan tehtävänä on artikkelin teknisen suorituksen (esim. tilastollisen päättelyn validiteetin) lisäksi arvioida sitä miten artikkeli kohtaa yleisönsä (engl. audience). Eri tieteenaloilla - ja tieteenalojen sisällä eri journaaleilla - on tietyt spesifit yleisönsä, ja yleisöillä on tietyt odotukset siitä mitä on hyväksyttävä ja mielenkiintonen tieteellinen tutkimus. Vertaisarvioija toimii prosessissa portinvartijana, jonka tehtävänä on arvioida, miten hyvin arvioidun artikkelin voi olettaa kohtaavan yleisönsä ja aikaansaavan muutosta yleisön edustajien suorittamassa tutkimuksessa. Vertaisarviointiprosessissa voikin käydä joskus niin, että artikkelin kirjoittajan mielestä “oikean” (ja mahdollisesti jopa “huikean”) teknisen suorituksen seurauksena syntyneet empiirisen aineiston analyysin tulokset eivät vertaisarvioijan mukaan edistä kirjoittajan (eksplisiittisesti tai implisiittisesti) valitsemaa tieteellistä keskustelua kyllin selvästi suuntaan johon keskustelua olisi syytä edistää. Tällöin artikkelissa ei ole kontribuutiota tai kontribuutio on epäselvä, ja perusteita julkaisemiselle ei näin ollen ole.
Esittämäni näkökulman mukaan tieteellisen tutkimusartikkelin laatu ei ole artikkelin ominaisuus, vaan artikkeli-yleisö suhteen ominaisuus: laadukas artikkeli edistää tieteellistä keskustelua ja näin vaikuttaa yleisön toimintaan (ts. yleisön jäsenten tulevaisuudessa tekemään tutkimukseen, mistä osoituksena esim. viittaukset [engl. citations]).
Hyvä tutkija lähteekin artikkelin kirjoittamisessa liikkeelle yleisöstä: mikä on artikkelin yleisö ja mitä sellaista sen tulee tietää mitä se ei vielä tiedä mutta mitä tulokset/artikkeli voi kertoa. Näkökulma ei ole uusi, vaan käsittääkseni esim. tieteensosiologit ovat esittäneet vastaavia ajatuksia jo 1980-luvulta asti. Asiasta kiinnostuneille suosittelen esim. Deirdre McCloskeyn kirjoituksia taloustieteen retoriikasta ja/tai Anne S. Huffin kirjoituksia julkaisulähtöisen tutkimuksen suunnittelemisesta.
“Pahimmillaan esimerkiksi yliopiston virantäyttöä koskevissa lausunnoissa yksinkertaisesti lasketaan, montako artikkelia minkäkintasoisessa lehdessä kukin hakijoista on julkaissut. Arvioitsijoiden ei välttämättä tarvitse itse artikkeleihin edes perehtyä, excel taulukkoon kootut julkaisutiedot riittää. Ehkä tehokasta, mutta tällaisesta kai selviytyisi hyvin koulutettu labradorinnoutajakin.”
Näin se tosiaan kai joskus on. Sen yksi seuraus on se, ettei mitään supertasoisia artikkeleita kannata väsätä. Ennemmin kannattaa pilkkoa tutkimustulokset lukuisaan heikompitasoiseen artikkeliin, koska silloin julkaisulista näyttää paljon pidemmältä. Ja julkaistavienkin artikkelien tason kannattaa olla vain juuri ja juuri referee-prosessin läpi menevä, jos tällaisilla tulosmittareilla indikoitavaa tulosta haluaa optimoida.
Seurauksena on julkaisusaastaa, jota akateeminen maailma on jo nyt täynnä. Käytännössä juuri kukaan ei pysty seuraamaan edes kaikkia omalla erikoisalallaan tehtyjä tutkimuksia, koska niitä tuotetaan lisää ympäri maailman aika lailla tolkuttomia määriä.
Havainnollistan asiaa esimerkillä Aasian suunnalta. Konferensseissa kun näkyy yhä enemmän väkeä nimenomaan siltä suunnalta. Jos ja kun Kiinassa tiedemiehet alkavat julkaista yhä enemmän englanniksi, on sillä vielä jatkossa omia seurauksiaan. Jos vaikkapa 20 miljoonaa tutkimuksen parissa työskentelevää kiinalaista tekisi keskimäärin 2 julkaisua vuodessa englanniksi, tulisi siitä jo yksinään 40 miljoonaa artikkelia vuodessa. Näistä esim. reilu miljoona voisi olla taloustieteellisiä artikkeleita.
Lähivuosikymmeninä syntynee joitain kymmeniä tai satoja tuhansia uusia tieteellisiä aikakauslehtiä, jotta yhä kasvavalle tutkijamäärälle riittää julkaisualustoja. Ero eri tasoisten lehtien välillä kasvanee entisestään. Toisiin lehtiin saa julkaisuja vain harvat ja valitut, toisiin ehkä melkein kuka vaan, joka osaa kirjoittaa ymmärrettävää tekstiä. Tutkija joutuu tekemään julkaisustrategisia päätöksiä vielä nykyistä enemmän siitä, pyrkiikö julkaisemaan kenties jossain erittäin arvostetussa julkaisussa, vaiko kenties täsmällisemmin artikkelin aiheeseen keskittyneessä hyvälaatuisessa erikoisjulkaisussa (jota muut, kyseistä julkaisua tuntemattomat, eivät kuitenkaan ehkä niin arvosta), jossain lehdessä, jonne saa artikkeleita todennäköisesti helposti läpi, vai kenties jossain muussa lehdessä…