Artikkelin Under review in the Journal of Forthcoming Research kommentit http://blog.hse-econ.fi/?p=4217 Fri, 29 Mar 2024 13:01:20 +0000 http://wordpress.org/?v=2.7.1 hourly 1 Kirjoittaja: Pauli http://blog.hse-econ.fi/?p=4217#comment-2194 Pauli Sat, 11 Feb 2012 03:03:58 +0000 http://blog.hse-econ.fi/?p=4217#comment-2194 "Myönnettäköön että referee-prosessissa artikkelit välillä paranevatkin. Silti tutkimustulokset pysyvät yleensä suunnilleen ennallaan. Kirjoitusasu saattaa hiomalla hiukan parantua, mutta tämäkin tahtoo olla aika marginaalista. Mistä siis prosessissa oikein on kyse?" Kiitos hyvästä kirjoituksesta. Signalointiargumentti on varmaan ihan oikea. Olen kuitenkin eri mieltä siitä, että revisioprosessi ei parantaisi artikkelia tai kehittäisi sen kirjoittajaa. Väitän, että vertaisarviointi (refereee-prosessi/review-prosessi) voi parantaa lopullisen julkaisun (tavallisimmin artikkelin mutta myös kirjan tai sen osan) laatua merkittävästi vaikka tutkimuksen tulokset sinänsä pysyisivätkin ennallaan. (Puhun ensisijaisesti oman tieteenalani - organisaatiotutkimuksen - näkökulmasta, argumenttini yleistettävyys jääköön lukijan arvioinnin varaan). Ensinnäkin vertaisarvioinnin tarkoituksena on tehdä alkuperäisestä tekstistä mahdollisimman lukijaystävällistä. Tämä voi tarkoittaa kieliasun mahdollista kohentamista mutta myös artikkelin argumentoinnin rakenteen ja ns. freimaamisen kohentamista, eli sitä miten tarkalleen ottaen tutkimustulokset esitetään tietyn tieteellisen keskustelun ja sen yleisön näkökulmasta ja valossa. Artikkelin lukijoiden tulisi ymmärtää paitsi mitä tulokset ovat ja miten ne on saavutettu myös - ja ennen kaikkea - mitä ne tarkoittavat valitun tieteellisen keskustelun näkökulmasta: miten ja mihin suuntaan tulokset edistävät ko. keskustelua eli miten artikkeli kontribuoi. Asiansa osaava vertaisarvioija (eng. [peer] reviewer) kykenee parhaimmillaan ottamaan kantaa siihen mihin tiettyyn tieteelliseen keskusteluun tulokset parhaiten kontribuoivat ja miten artikkelin argumenti tulisi rakentaa jotta lukijat ymmärtäisivät tulosten merkittävyyden ja muokkaamaan omaa tutkimustaan sen mukaan. Toiseksi, ja ensimmäiseen kohtaan liittyen, vertaisarvioijan tehtävänä on artikkelin teknisen suorituksen (esim. tilastollisen päättelyn validiteetin) lisäksi arvioida sitä miten artikkeli kohtaa yleisönsä (engl. audience). Eri tieteenaloilla - ja tieteenalojen sisällä eri journaaleilla - on tietyt spesifit yleisönsä, ja yleisöillä on tietyt odotukset siitä mitä on hyväksyttävä ja mielenkiintonen tieteellinen tutkimus. Vertaisarvioija toimii prosessissa portinvartijana, jonka tehtävänä on arvioida, miten hyvin arvioidun artikkelin voi olettaa kohtaavan yleisönsä ja aikaansaavan muutosta yleisön edustajien suorittamassa tutkimuksessa. Vertaisarviointiprosessissa voikin käydä joskus niin, että artikkelin kirjoittajan mielestä "oikean" (ja mahdollisesti jopa "huikean") teknisen suorituksen seurauksena syntyneet empiirisen aineiston analyysin tulokset eivät vertaisarvioijan mukaan edistä kirjoittajan (eksplisiittisesti tai implisiittisesti) valitsemaa tieteellistä keskustelua kyllin selvästi suuntaan johon keskustelua olisi syytä edistää. Tällöin artikkelissa ei ole kontribuutiota tai kontribuutio on epäselvä, ja perusteita julkaisemiselle ei näin ollen ole. Esittämäni näkökulman mukaan tieteellisen tutkimusartikkelin laatu ei ole artikkelin ominaisuus, vaan artikkeli-yleisö suhteen ominaisuus: laadukas artikkeli edistää tieteellistä keskustelua ja näin vaikuttaa yleisön toimintaan (ts. yleisön jäsenten tulevaisuudessa tekemään tutkimukseen, mistä osoituksena esim. viittaukset [engl. citations]). Hyvä tutkija lähteekin artikkelin kirjoittamisessa liikkeelle yleisöstä: mikä on artikkelin yleisö ja mitä sellaista sen tulee tietää mitä se ei vielä tiedä mutta mitä tulokset/artikkeli voi kertoa. Näkökulma ei ole uusi, vaan käsittääkseni esim. tieteensosiologit ovat esittäneet vastaavia ajatuksia jo 1980-luvulta asti. Asiasta kiinnostuneille suosittelen esim. Deirdre McCloskeyn kirjoituksia taloustieteen retoriikasta ja/tai Anne S. Huffin kirjoituksia julkaisulähtöisen tutkimuksen suunnittelemisesta. “Myönnettäköön että referee-prosessissa artikkelit välillä paranevatkin. Silti tutkimustulokset pysyvät yleensä suunnilleen ennallaan. Kirjoitusasu saattaa hiomalla hiukan parantua, mutta tämäkin tahtoo olla aika marginaalista. Mistä siis prosessissa oikein on kyse?”

Kiitos hyvästä kirjoituksesta. Signalointiargumentti on varmaan ihan oikea. Olen kuitenkin eri mieltä siitä, että revisioprosessi ei parantaisi artikkelia tai kehittäisi sen kirjoittajaa. Väitän, että vertaisarviointi (refereee-prosessi/review-prosessi) voi parantaa lopullisen julkaisun (tavallisimmin artikkelin mutta myös kirjan tai sen osan) laatua merkittävästi vaikka tutkimuksen tulokset sinänsä pysyisivätkin ennallaan. (Puhun ensisijaisesti oman tieteenalani - organisaatiotutkimuksen - näkökulmasta, argumenttini yleistettävyys jääköön lukijan arvioinnin varaan).

Ensinnäkin vertaisarvioinnin tarkoituksena on tehdä alkuperäisestä tekstistä mahdollisimman lukijaystävällistä. Tämä voi tarkoittaa kieliasun mahdollista kohentamista mutta myös artikkelin argumentoinnin rakenteen ja ns. freimaamisen kohentamista, eli sitä miten tarkalleen ottaen tutkimustulokset esitetään tietyn tieteellisen keskustelun ja sen yleisön näkökulmasta ja valossa. Artikkelin lukijoiden tulisi ymmärtää paitsi mitä tulokset ovat ja miten ne on saavutettu myös - ja ennen kaikkea - mitä ne tarkoittavat valitun tieteellisen keskustelun näkökulmasta: miten ja mihin suuntaan tulokset edistävät ko. keskustelua eli miten artikkeli kontribuoi. Asiansa osaava vertaisarvioija (eng. [peer] reviewer) kykenee parhaimmillaan ottamaan kantaa siihen mihin tiettyyn tieteelliseen keskusteluun tulokset parhaiten kontribuoivat ja miten artikkelin argumenti tulisi rakentaa jotta lukijat ymmärtäisivät tulosten merkittävyyden ja muokkaamaan omaa tutkimustaan sen mukaan.

Toiseksi, ja ensimmäiseen kohtaan liittyen, vertaisarvioijan tehtävänä on artikkelin teknisen suorituksen (esim. tilastollisen päättelyn validiteetin) lisäksi arvioida sitä miten artikkeli kohtaa yleisönsä (engl. audience). Eri tieteenaloilla - ja tieteenalojen sisällä eri journaaleilla - on tietyt spesifit yleisönsä, ja yleisöillä on tietyt odotukset siitä mitä on hyväksyttävä ja mielenkiintonen tieteellinen tutkimus. Vertaisarvioija toimii prosessissa portinvartijana, jonka tehtävänä on arvioida, miten hyvin arvioidun artikkelin voi olettaa kohtaavan yleisönsä ja aikaansaavan muutosta yleisön edustajien suorittamassa tutkimuksessa. Vertaisarviointiprosessissa voikin käydä joskus niin, että artikkelin kirjoittajan mielestä “oikean” (ja mahdollisesti jopa “huikean”) teknisen suorituksen seurauksena syntyneet empiirisen aineiston analyysin tulokset eivät vertaisarvioijan mukaan edistä kirjoittajan (eksplisiittisesti tai implisiittisesti) valitsemaa tieteellistä keskustelua kyllin selvästi suuntaan johon keskustelua olisi syytä edistää. Tällöin artikkelissa ei ole kontribuutiota tai kontribuutio on epäselvä, ja perusteita julkaisemiselle ei näin ollen ole.

Esittämäni näkökulman mukaan tieteellisen tutkimusartikkelin laatu ei ole artikkelin ominaisuus, vaan artikkeli-yleisö suhteen ominaisuus: laadukas artikkeli edistää tieteellistä keskustelua ja näin vaikuttaa yleisön toimintaan (ts. yleisön jäsenten tulevaisuudessa tekemään tutkimukseen, mistä osoituksena esim. viittaukset [engl. citations]).

Hyvä tutkija lähteekin artikkelin kirjoittamisessa liikkeelle yleisöstä: mikä on artikkelin yleisö ja mitä sellaista sen tulee tietää mitä se ei vielä tiedä mutta mitä tulokset/artikkeli voi kertoa. Näkökulma ei ole uusi, vaan käsittääkseni esim. tieteensosiologit ovat esittäneet vastaavia ajatuksia jo 1980-luvulta asti. Asiasta kiinnostuneille suosittelen esim. Deirdre McCloskeyn kirjoituksia taloustieteen retoriikasta ja/tai Anne S. Huffin kirjoituksia julkaisulähtöisen tutkimuksen suunnittelemisesta.

]]>
Kirjoittaja: kommentti http://blog.hse-econ.fi/?p=4217#comment-2084 kommentti Fri, 18 Nov 2011 15:17:23 +0000 http://blog.hse-econ.fi/?p=4217#comment-2084 "Pahimmillaan esimerkiksi yliopiston virantäyttöä koskevissa lausunnoissa yksinkertaisesti lasketaan, montako artikkelia minkäkintasoisessa lehdessä kukin hakijoista on julkaissut. Arvioitsijoiden ei välttämättä tarvitse itse artikkeleihin edes perehtyä, excel taulukkoon kootut julkaisutiedot riittää. Ehkä tehokasta, mutta tällaisesta kai selviytyisi hyvin koulutettu labradorinnoutajakin." Näin se tosiaan kai joskus on. Sen yksi seuraus on se, ettei mitään supertasoisia artikkeleita kannata väsätä. Ennemmin kannattaa pilkkoa tutkimustulokset lukuisaan heikompitasoiseen artikkeliin, koska silloin julkaisulista näyttää paljon pidemmältä. Ja julkaistavienkin artikkelien tason kannattaa olla vain juuri ja juuri referee-prosessin läpi menevä, jos tällaisilla tulosmittareilla indikoitavaa tulosta haluaa optimoida. Seurauksena on julkaisusaastaa, jota akateeminen maailma on jo nyt täynnä. Käytännössä juuri kukaan ei pysty seuraamaan edes kaikkia omalla erikoisalallaan tehtyjä tutkimuksia, koska niitä tuotetaan lisää ympäri maailman aika lailla tolkuttomia määriä. Havainnollistan asiaa esimerkillä Aasian suunnalta. Konferensseissa kun näkyy yhä enemmän väkeä nimenomaan siltä suunnalta. Jos ja kun Kiinassa tiedemiehet alkavat julkaista yhä enemmän englanniksi, on sillä vielä jatkossa omia seurauksiaan. Jos vaikkapa 20 miljoonaa tutkimuksen parissa työskentelevää kiinalaista tekisi keskimäärin 2 julkaisua vuodessa englanniksi, tulisi siitä jo yksinään 40 miljoonaa artikkelia vuodessa. Näistä esim. reilu miljoona voisi olla taloustieteellisiä artikkeleita. Lähivuosikymmeninä syntynee joitain kymmeniä tai satoja tuhansia uusia tieteellisiä aikakauslehtiä, jotta yhä kasvavalle tutkijamäärälle riittää julkaisualustoja. Ero eri tasoisten lehtien välillä kasvanee entisestään. Toisiin lehtiin saa julkaisuja vain harvat ja valitut, toisiin ehkä melkein kuka vaan, joka osaa kirjoittaa ymmärrettävää tekstiä. Tutkija joutuu tekemään julkaisustrategisia päätöksiä vielä nykyistä enemmän siitä, pyrkiikö julkaisemaan kenties jossain erittäin arvostetussa julkaisussa, vaiko kenties täsmällisemmin artikkelin aiheeseen keskittyneessä hyvälaatuisessa erikoisjulkaisussa (jota muut, kyseistä julkaisua tuntemattomat, eivät kuitenkaan ehkä niin arvosta), jossain lehdessä, jonne saa artikkeleita todennäköisesti helposti läpi, vai kenties jossain muussa lehdessä... “Pahimmillaan esimerkiksi yliopiston virantäyttöä koskevissa lausunnoissa yksinkertaisesti lasketaan, montako artikkelia minkäkintasoisessa lehdessä kukin hakijoista on julkaissut. Arvioitsijoiden ei välttämättä tarvitse itse artikkeleihin edes perehtyä, excel taulukkoon kootut julkaisutiedot riittää. Ehkä tehokasta, mutta tällaisesta kai selviytyisi hyvin koulutettu labradorinnoutajakin.”

Näin se tosiaan kai joskus on. Sen yksi seuraus on se, ettei mitään supertasoisia artikkeleita kannata väsätä. Ennemmin kannattaa pilkkoa tutkimustulokset lukuisaan heikompitasoiseen artikkeliin, koska silloin julkaisulista näyttää paljon pidemmältä. Ja julkaistavienkin artikkelien tason kannattaa olla vain juuri ja juuri referee-prosessin läpi menevä, jos tällaisilla tulosmittareilla indikoitavaa tulosta haluaa optimoida.

Seurauksena on julkaisusaastaa, jota akateeminen maailma on jo nyt täynnä. Käytännössä juuri kukaan ei pysty seuraamaan edes kaikkia omalla erikoisalallaan tehtyjä tutkimuksia, koska niitä tuotetaan lisää ympäri maailman aika lailla tolkuttomia määriä.

Havainnollistan asiaa esimerkillä Aasian suunnalta. Konferensseissa kun näkyy yhä enemmän väkeä nimenomaan siltä suunnalta. Jos ja kun Kiinassa tiedemiehet alkavat julkaista yhä enemmän englanniksi, on sillä vielä jatkossa omia seurauksiaan. Jos vaikkapa 20 miljoonaa tutkimuksen parissa työskentelevää kiinalaista tekisi keskimäärin 2 julkaisua vuodessa englanniksi, tulisi siitä jo yksinään 40 miljoonaa artikkelia vuodessa. Näistä esim. reilu miljoona voisi olla taloustieteellisiä artikkeleita.

Lähivuosikymmeninä syntynee joitain kymmeniä tai satoja tuhansia uusia tieteellisiä aikakauslehtiä, jotta yhä kasvavalle tutkijamäärälle riittää julkaisualustoja. Ero eri tasoisten lehtien välillä kasvanee entisestään. Toisiin lehtiin saa julkaisuja vain harvat ja valitut, toisiin ehkä melkein kuka vaan, joka osaa kirjoittaa ymmärrettävää tekstiä. Tutkija joutuu tekemään julkaisustrategisia päätöksiä vielä nykyistä enemmän siitä, pyrkiikö julkaisemaan kenties jossain erittäin arvostetussa julkaisussa, vaiko kenties täsmällisemmin artikkelin aiheeseen keskittyneessä hyvälaatuisessa erikoisjulkaisussa (jota muut, kyseistä julkaisua tuntemattomat, eivät kuitenkaan ehkä niin arvosta), jossain lehdessä, jonne saa artikkeleita todennäköisesti helposti läpi, vai kenties jossain muussa lehdessä…

]]>