Mikä motivoi ?

Aika-ajoin tieteellisissä sarjoissa julkaistaan meta-tason artikkeleita, joissa joku alan menetelmällisesti varttuneempi tutkija on analysoinut oman tieteenalansa tutkimusjulkaisuja ja päätynyt yleensä samaan, masentavaan tulokseen. Huomattava osa referoiduissa sarjoissa julkaisuista on menetelmällisesti niin heikkoja, ettei niitä olisi tullut julkaista.

Tällaisen johtopäätöksen teki kirjassaan mm. Zolman (1993). Hän arvioi, että yli puolet tieteellisissä sarjoissa julkaistuista artikkeleista on käyttänyt aineistoon sopimatonta tieteellistä, yleensä tilastollista menetelmää ja ainakin neljäsosa vedetyistä johtopäätöksistä on suoranaisesti vääriä. Altman 2002 julkaisi hyvin kriittisen analyysin biolääketieteellisistä julkaisuista. Myös hänen johtopäätöksensä oli se, että arvostettuihin lehtiin vertaisarvioinnin jälkeen päätyvistä artikkeleista noin puolet on tilastollisen käsittelynsä suhteen niin surkeita, ettei artikkeleita olisi tullut koskaan julkaista. Muistan lukeneeni samanlaisen artikkelin pari vuotta sitten suomalaisesta farmasian alan ammattilehdestä.

Tilanne ei ole hyvä myöskään vesiviljelytutkimusta raportoivissa sarjoissa. Riley and Darmi (1993) päätyivät myös niiden kohdalla hälyyttävään tulokseen. Analysoituaan 180 alan referoiduissa sarjoissa julkaistua artikkelia, he totesivat ja vain aivan murto-osassa artikkeleita tilastolliset menetelmät on kuvattu tavalla, josta olisi voinut saada selville, millaisella asetelmalla kokeet on tehty ja millaisia analyysimenetelmiä on käytetty.

Täkäläinen kollegani kävi läpi 128 vuosina 1982-1984 ja 154 vuosina 2002-2004 vesiviljelytutkimuksen johtavassa sarjassa julkaistua artikkelia. Hän raportoi jonkinlaisesta edistyksestä 20 vuoden aikana. Kun 1980-luvulla tilastollisia menetelmiä ei käytetty lainkaan, 2000-luvun alussa mukaan oli tullut yritys käyttää niitä. Yritys oli kuitenkin erittäin usein myös erehdys, vaikkeivat vertaisarvioijat sitä yleensä huomanneetkaan.

Miksi näitä ongelmia sitten esiintyy. Kollegani täällä pitää ongelman ytimenä kahta seikkaa. Ensiksikin tutkijoiden tilastollinen peruskoulutus on erittäin heikko. Tästä syystä tilastollinen kirjallisuus ei avaudu heille. Toiseksi, tilastolliset ohjelmat antavat tulokset liian itsestään selvinä ja monet varmistukset, joita tutkijan tulisi tehdä, jäävät tekemättä. Johtopäätelmät syntyvät kovin heikoin perustein.

Kirjoitimme muutama vuosi sitten suomalaisen ja brittikollegani kanssa luvun kirjaan, jossa pohdittiin kalojen ravitsemustutkimuksen menetelmiä ja tilaa. Keskityimme tilastolliseen koesuunnitteluun. Sen jälkeen olemme julkaisseet aiheesta muutaman artikkelin. Silti aiheen perkaaminen on kesken, mutta mm. me teemme sitä parhaillaan.