Tutkimusviittauksia käytetään nettikeskusteluissa paljon. Se on hyvä, sillä tieteellisellä tutkimuksella on kuitenkin vahvempi todistusarvo, kuin yksittäisillä kertomuksilla (”meidänkin iskä söi vaan raakaa jauhelihaa ja joi kuohukermaa ja eli satavuotiaaksi”).
Kaikki tutkimukset eivät kuitenkaan ole samanarvoisia. Osa on suppeampia ja huonommin suunniteltuja kuin toiset. Osa on heikkolaatuisia ja osa jopa kaupallisen agendan takia vääristeltyjä. Miten valtavassa tutkimuslinkkien suossa voisi tarpoa helpommin eteenpäin? Koska itselläni ei ole tieteellistä taustaa, ei tutkimustiedon suodattaminen ja käsittely ole ollut itsestäänselvyys. Tässä kirjoituksessani avaan hieman niitä asioita, joihin kiinnitän huomiota tutkimuksia lukiessani.
Mitään näistä mainituista kohdista ei tulisi katsoa yksinään, vaan osana kokonaisuutta.
Nopea tarkistuslista:
- Oliko kyseessä ylipäätään ihmisillä tehty tutkimus?
- Minkä tyyppinen tutkimus tai tutkimuskatsaus on kyseessä?
- Kuinka paljon tutkittavia henkilöitä oli ja millaisia he ovat?
- Tilastollinen merkitsevyys ja p-arvo?
- Kilpailevat intressit, sidonnaisuudet ja tutkimusten rahoitus?
- Missä tutkimus on julkaistu?
1. Oliko kyseessä ylipäätään ihmisillä tehty tutkimus?
Ihan ensimmäiseksi tarkista, onko tutkimus tehty ihmisillä vai eläimillä. Eläintutkimuksista uutisoidaan herkästi, vaikka usein niiden tulokset eivät ole vahvistettavissa ihmisillä. Reijo Laatikainen (THM, laillistettu ravitsemusterapeutti) kirjoittaa blogissaan hyvin:
”Poikkeuksia on, mutta yli 95 % tapauksista olen sitä mieltä, että eläinkokeiden tulokset ovat merkityksellisiä lähinnä tutkijoille. Tutkimustiedon suodattajan ei kannata niihin sotkeutua. Liika koe-eläinkokeiden raportointi voi olla sumutuksen merkki. En ymmärrä lainkaan miksi lehdistö iskee näihin. Paitsi tietysti, että niistä revitettyä raflaavia otsikoita.”
Eläinkokeet eivät missään nimessä ole arvottomia, mutta ennen kuin tulokset on vahvistettu ihmisillä, ei kannata hypätä hurjiin johtopäätöksiin.
Aihetta on käsitelty myös The Scientistin artikkelissa The Trouble With Animal Models ja British Medical Journalissa julkaistussa systemaattisessa katsauksessa Comparison of treatment effects between animal experiments and clinical trials: systematic review.
2. Minkä tyyppinen tutkimus tai tutkimuskatsaus on kyseessä?
Systemaattinen katsaus (Systematic review), tai systemaattinen kirjallisuuskatsaus, on nimensä mukaisesti järjestelmällinen katsaus tiettyyn kysymykseen liittyvään kirjallisuuteen ja tutkimuksiin. Kysymys voisi olla vaikkapa mallia ”millainen yhteys tupakoinnilla ja keuhkosyövällä on nykyisen tutkimustiedon valossa?”, jolloin systemaattisen katsauksen tekijä etsii, tunnistaa, valitsee ja yhdistää mahdollisimman paljon mahdollisimman laadukasta tieteellistä tutkimustietoa tupakoinnin ja keuhkosyövän yhteydestä yhdeksi kokonaisuudeksi.
Systemaattiset katsaukset ovat hyvä tapa saada kokonaiskuva tiettyä aihetta käsittelevistä tutkimuksista, erityisesti jos niiden käsittelemä aineisto sisältää pääasiassa satunnaistettuja, kontrolloituja tutkimuksia ja kohorttitutkimuksia (ks. alempaa). Jos aiheesta on saatavilla systemaattinen katsaus, se kannattaa ehdottomasti lukea ennen kuin lähtee yksittäisten tutkimusten kimppuun.
Meta-analyysissa (Meta-analysis) pyritään yritään yhdistämään samaa aihetta käsitteleviä tutkimustuloksia tilastotieteen menetelmin. Meta-analyysissa käsitellään siis numeroita ja ”raakaa” tilastotietoa. Lähes aina meta-analyysi käsittelee jonkun systemaattisen katsauksen sisältämiä tutkimuksia, mutta se voi olla tehty myös itsenäisesti. Meta-analyyseissä painotetaan tutkimusten kokoa (suurempi on parempi) ja arvioidaan tutkimusten erilaisuutta. Myös meta-analyysit ovat korkealla todistusarvon vahvuudesta puhuttaessa.
Satunnaistettua kontrolloitua tutkimusta (randomized controlled trial) pidetään vahvimpana kokeellisena tutkimusmenetelmänä. Tässä koehenkilöt jaetaan satunnaisesti kahteen (joskus useampaan) ryhmään, joista esimerkiksi toisen ryhmän henkilöt saavat oikeaa lääkettä, kun taas kontrolliryhmän henkilöt saavat lumelääkettä. Sokkokokeeksi kutsutaan koetta, jossa koehenkilöt eivät tiedä, kumpaan ryhmään kuuluvat – kaksoissokkokokeessa myöskään hoidon antaja (siis eri henkilö, kuin tutkija) ei tiedä, saako koehenkilö lumelääkettä vai ei. Mitä isompi ero ryhmien tuloksissa on, sitä todennäköisemmin lääke vaikuttaa. Sairastumisia ja kuolemia (morbidity/mortality) seuraavia tutkimuksia pidetään korkea-arvoisempina kuin ns. välimuuttujatutkimuksia, joissa riskiä saatetaan arvioida esimerkiksi verenpaineen tai kolesteroliarvojen muutoksilla. Mikäli tutkimukset ovat ristiriitaisia, pidetään ylemmän tason tutkimuksia luotettavampina.
Kohorttitutkimus (cohort study) on altistelähtöinen tutkimustapa. Tämä tarkoittaa sitä, että valitaan altistunut ryhmä (esim. tupakoijat) ja altistumaton ryhmä (ei-tupakoijat) ja seurataan näiden ryhmien välisiä eroja vaikkapa keuhkosyöpätapausten määrässä 30 vuoden seurantajakson aikana. Kohorttitutkimus voi olla etenevä (prospektiivinen), eli tutkimus lähtee altistuksesta, tai taannehtiva (retrospektiivinen), jolloin altistuminen selvitetään jälkikäteen. Etenevä kohorttitutkimus on luotettavampi – tällöin saadaan mahdolliset sekoittavat tekijät ja altistuksen määrä selvitettyä paremmin.
Tapaus-verrokkitutkimus (case-control study) on sairauslähtöinen. Aiempaa keuhkosyöpäesimerkkiä mukaillen tapaus-verrokkitutkimuksessa voitaisiin kerätä henkilöitä, jotka ovat sairastuneet keuhkosyöpään (tapaukset) ja henkilöitä, jotka eivät ole sairastuneet keuhkosyöpään (verrokit). Tämän jälkeen tapausten ja verrokkien altistumia verrataan, tässä tapauksessa tupakoinnille – eli kuinka monta tupakoijaa kuuluu tapauksiin (keuhkosyöpään sairastuneet) ja kuinka monta verrokkeihin (keuhkosyöpään sairastumattomat). Tapaus-verrokkitutkimukset eivät yleensä ole niin luotettavia syy-seuraussuhteen selvittämisessä kuin etenevät kohorttitutkimukset.
Poikkileikkaustutkimuksessa (cross-sectional study) aineisto kerätään yhtenä ajankohtana, usein kyselyssä. Monesti poikkileikkaustutkimuksilla pyritään keräämään väestötason tietoa. Jälleen tupakointiesimerkkiä käyttäen – tutkimuksessa saatettaisiin haastatella vaikka 1000 henkilöä, kysymysten liittyessä elintapoihin ja sairauksiin. Tästä tutkimusmateriaalista voitaisiin seuloa tietoa siitä, kuinka moni tupakoija on sairastunut keuhkosyöpään. Poikkileikkaustutkimuksissa syy-seuraussuhteiden arviointi on kuitenkin hankalaa – poikkileikkaustutkimukset eivät esimerkiksi sisällä pitkäaikaisseurantaa. Ne kelpaavat kuitenkin hyvin vaikkapa sairauksien määrän ja yleisyyden arviointiin.
Näiden alapuolella ovat tapaustutkimukset (case study), asiantuntijalausunnot (expert opinion), ekologiset kokeet (ecological study) ja kuten aiemmin mainittu, eläinkokeet.
3. Kuinka paljon tutkittavia henkilöitä oli ja millaisia he ovat?
Tutkittavien henkilöiden määrä (ilmaistaan n-luvulla, esim. n=50) on olennainen kysymys – mitä vähemmän osallistujia, sitä suurempi on sattuman todennäköisyys. Mitään tarkkaa rajaa vähimmäismäärästä on vaikea antaa, nyrkkisääntönä toimii ”enemmän on parempi”. Väestötutkimuksissa tutkittavia pitää tietysti olla merkittävästi enemmän kuin vaikka satunnaistetussa, kontrolloidussa tutkimuksessa. Entä kuinka moni tutkimuksen aloittaneista pysyi mukana loppuun saakka?
Tutkittavien määrän lisäksi kannattaa tarkastella tutkittavien muitakin ominaisuuksia, esimerkiksi ikää ja sukupuolijakaumaa. Pelkästään vanhuksilla tehty tutkimus ei välttämättä päde suoraan nuorempiin henkilöihin ja huippu-urheilijoilla tehty tutkimus ei välttämättä päde täysin sohvaperunoihin.
4. Tilastollinen merkitsevyys ja p-arvo
Tilastollinen merkitsevyys tarkoittaa tutkimuksissa sitä, että saadun tuloksen johtuminen sattumasta on epätodennäköistä. ”Tilastollisesti merkitsevä ero” tarkoittaa vain, että ero on olemassa eikä se todennäköisesti johdu sattumasta – se ei kuitenkaan tarkoita, että havaittu ero olisi suuruudeltaan merkittävä (tätä kannattaa katsoa erikseen).
Tutkimuksiin kuuluu aina jonkinlainen testattavissa oletus, eli hypoteesi, nollahypoteesi ja usein myös vastahypoteesi. Tupakkaesimerkissä hypoteesi voisi olla muotoa ”tupakointi lisää keuhkosyövän riskiä”, nollahypoteesi muotoa ”tupakointi ei lisää eikä vähennä keuhkosyövän riskiä” ja vastahypoteesi taas muotoa ”tupakointi ei lisää keuhkosyövän riskiä”.
P-arvo kertoo, kuinka todennäköisesti nollahypoteesistä havaittu poikkeama – esimerkiksi että tupakoijat sairastuvat 20% todennäköisemmin keuhkosyöpään verrattuna ei-tupakoijiin – johtuukin satunnaisvirheestä. Jos p-arvo ilmoitetaan muodossa p<0.05, tarkoittaa se, että satunnaisvirheen todennäköisyys on alle 5%. Yleisesti ottaen mikäli p-arvo on pienempi kuin 0,05, tulosta pidetään tilastollisesti merkittävänä. Tämä on kuitenkin vain yleisesti sovittu raja, ei kiveen hakattu absoluuttinen totuus.
5. Kilpailevat intressit, sidonnaisuudet ja tutkimusten rahoitus
Tutkimusten rahoituksesta valtaosa tulee yrityksiltä ja valtioilta. Yritykset ovat usein kiinnostuneet soveltavasta tutkimus- ja kehitystyöstä, kun taas yliopistojen ja valtiollisten laitosten kautta rahoitusta ohjataan enemmän myös perustutkimukseen ja yhteiskuntatieteiden tutkimustyöhön. Myös erilaiset säätiöt ja rahastot rahoittavat tutkimuksia.
Tutkimusten rahoituskuviot ja tutkijoiden puolueettomuus ovat nykyään paljon tapetilla. Varsinkin ravitsemuskeskusteluissa törmää usein syytöksiin, että tietyn, oman mielipiteen vastaisen tutkimuksen tai asiantuntijalausunnon takana on suuryritysten suorittama lahjonta. Nämä ovat siitä mielenkiintoisia väitteitä, että niitä ei mitenkään voi todistaa vääriksi. Ne ovat vähän kuin dopingsyytökset huippu-urheilussa, kaikki käyttävät ja ne jotka eivät ole jääneet kiinni testeissä, ovat vaan parempia douppaajia. Tällainen väite on kuitenkin syyttömyysolettaman (jokainen on syytön, kunnes toisin todistetaan) vastainen ja itse sivuutan tällaiset aika huoletta, ennen kuin todisteita vilpistä tai puolueellisuudesta oikeasti ilmenee.
Tutkimusten tai tutkijoiden puolueettomuuteen ei kuitenkaan kannata luottaa sokeasti. Erityisen tarkkana tulee olla, kun kyseessä on jonkun tietyn tuotteen testaaminen. Jokainen ymmärtää, millaisia mahdollisia eturistiriitoja voi liittyä tutkimukseen, jossa lisäravinneyrityksen palkkalistoilla oleva tutkija tutkii oman yrityksensä tuotteen toimivuutta. Tämä ei kuitenkaan tarkoita, että tutkimustulos olisi automaattisesti virheellinen – tällaista tutkimusta lukiessa kehotan kuitenkin erityiseen tarkkaavaisuuteen.
Monet tieteelliset julkaisut, tutkimuslaitokset ja tutkimuksia rahoittavat tahot vaativat tutkijoita tunnistamaan ja julkistamaan mahdolliset henkilökohtaiset ja taloudelliset sidonnaisuutensa. Nämä löytyvät tutkimuksista yleensä kohdasta, joka on otsikoitu Disclosure of Interests, Competing Interests tai vastaavasti. Lähes kaikilla tutkijoilla on jonkinlaisia sidonnaisuuksia. Tulee kuitenkin huomata, että sidonnaisuuksissakin on eroja: tutkija A voi olla käynyt luennoimassa yrityksen järjestämässä konferenssissa ja saanut siitä luentopalkkion, kun taas tutkija B on saman yrityksen tuotekehitysyksikössä töissä. Molemmat ovat periaatteessa ilmoitettavia taloudellisia sidonnaisuuksia samaan yritykseen, mutta erot konkreettisessa taloudellisessa sidonnaisuudessa ovat aika isot – tutkija B:n työpaikka riippuu yrityksen menestyksestä.
Sidonnaisuuksien ilmoittaminen on kuitenkin ilmoittajan omasta rehellisyydestä kiinni. Pääsääntöisesti kukaan/mikään taho ei tarkista tutkijoiden sidonnaisuuksia. Joskus media saattaa näin tehdä, tästä esimerkkinä toimikoot tapaus Valkee.
6. Missä tutkimus on julkaistu?
Valtaosa tieteellisistä töistä julkaistaan tieteellisessä julkaisussa, kirjana tai opinnäytetyönä (esim. pro gradu -tutkielma tai väitöskirja). Suurin osa julkaistuista töistä käy läpi jonkinlaisen vertaisarvioinnin. Vertaisarviointi on yksi tapa lisätä tieteellisen tutkimuksen luotettavuustta.
Vertaisarvioinnissa alan muut tutkijat arvioivat ensisijaisest tutkimuksen laatua ja tieteellistä merkittävyyttä – mm. kysymyksenasettelu, tutkimusprosessit, johtopäätökset ja käytetty kirjallisuus ovat arvioitavia seikkoja. Näiden lisäksi arvioidaan mm. kieliasua ja tekstin rakennetta yleensä.
Vertaisarvioinnin jälkeen arvioijat joko ehdottavat työn julkaisua sellaisenaan, työn julkaisua korjausten jälkeen tai työn julkaisematta jättämistä. Työn kirjoittajat saavat listan korjausehdotuksista. Kun kirjoittajat ovat tehneet työhön korjauksensa, lähetetään työ uudelleenarvioitavaksi. Mikäli työ täyttää arvioijien ja julkaisun toimituksen kriteerit, hyväksytään työ julkaistavaksi. Alkuperäisen artikkelin lähettämisen, arviointikierrosten ja julkaisukuntoon saamisen välissä voi mennä useita kuukausia.
Tieteellisillä julkaisuilla on kaikilla omat julkaisukriteerinsä. Tutkimus on usein helpompi saada julkaistua hyvin kapeaan tieteenalaan erikoistuneeseessa julkaisussa. Sen sijaan arvostetut yleistieteelliset julkaisut, kuten Science ja Nature, julkaisevat käytännössä ainoastaan erittäin merkittäviä ja uraauurtavia tutkimuksia. Niihin lähetetyistä artikkeleista suurin osa hylätään jo ennen vertaisarviota – Nature julkaisee noin kahdeksan prosenttia kaikista sille lähetetyistä tieteellisistä töistä.
Tieteellisten julkaisujen merkittävyyttä kuvaa viittausten perusteella laskettu vaikuttavuuskerroin (impact factor). Eri julkaisujen vaikuttavuuskertoimia voi selata täältä.
Lopuksi
Olennaista on muistaa, että valitun aiheen tieteellisen näytön vahvuus perustuu eri kategorioissa olevien tutkimustulosten summaan ja yhdenmukaisuuteen. Yksittäisiä tutkimuksia ei tule tulkita liian laveasti, vaan aina kannattaa etsiä myös muita samaa aihetta käsitteleviä tutkimuksia.
Tämä lista ei ole täydellisen kattava ja siihen saisi lisättyä varmasti useammankin kohdan. Se onkin tarkoitettu maallikolle (kuten allekirjoittanut) perustasoiseksi tietopaketiksi helpottamaan tutkimusten suodattamista ja tulkitsemista. Tulevassa artikkelissa käsittelen tiedeuutisointia esimerkkitapauksen kautta, käyttäen tätä listaa apunani.
Loppuun erityiskiitos Reijo Laatikaiselle, joka pyynnöstäni luki ja antoi palautetta artikkelin sisällöstä.
1. kuva: Mark Bridge, http://www.flickr.com/photos/markbridge/6043225902/, CC BY-ND 2.0