Kai su „tyrimai rodo“ nueinama per toli

Ar pastebėjai, kad vieną dieną naujienų portaluose gali rasti kažką panašaus į „Tyrimai rodo, kad kiaušiniai skatina priešlaikinę mirtį ir baisias agonijas“, o kitą dieną jau puikuojasi kas nors panašaus į „Profesorius iš Harvardo: du kiaušiniai per dieną – kelias į ilgaamžiškumą“? Ar tokios nesąmonės – akmuo į tyrėjų daržą, ar į daržą žmonių, kurie tuos tyrimus interpretuoja?

Deja, akmenys krenta į abu. Nors didelę akmenų dalį aptiktume interpretuotojų darže, vieną kitą rastume ir mokslininkų darže.

Žvejys

Pradėkime nuo to, kad moksliniai tyrimai paprastai suprantami taip:

  1. Iškeli klausimą;
  2. Atlieki tyrimą;
  3. Turi atsakymą.

Ypač akivaizdžiai toks požiūris atsispindi žiniasklaidoje. Tačiau iš tiesų mokslas veikia taip:

  1. Iškeli klausimą;
  2. Atlieki tyrimą;
  3. Turi dalinį arba nevienaprasmišką atsakymą;
  4. Atlieki kitą tyrimą;
  5. Taip tęsi tol, kol abejonė dėl atsakymo teisingumo sumažėja.

Paimkime kokį nors pavyzdį iš žiniasklaidos. Pavyzdžiui, praeitų metų delfi straipsnis puikuojasi pavadinimu: „Naujausi pieno poveikio tyrimai privertė imtis perspėjimų“. Straipsnis pradedamas taip: „Naujausi tyrimai rodo, kad pienas pagreitina diabeto riziką, skatina senėjimą, <…>“ . Pažiūrėkime, iš kur straipsnyje atsirado tokios išvados.

Straipsnyje cituojamas daktaras, kuris citavo kelis tyrimus savo pranešime (jokių nuorodų į originalius straipsnius neradau). Viename iš jo cituojamų tyrimų vaikai, turintys didelę riziką susirgti diabetu ir kasdien vartojantys pieną ir pieno produktus, suserga greičiau. Džiaugiuosi, kad straipsnio autorė bent jau paminėjo ir to daktaro komentarą: „jis pabrėžė, kad tai gana naujas tyrimas, kurio metu buvo tiriami vaikai, kurie anksčiau ar vėliau vis tiek būtų susirgę diabetu. Tačiau šis tyrimas nerodo, ar pienas lygiai taip pat veikia ir tuos žmones, kurie neturi tokio polinkio“.  Žmogus, neįsigilinęs į šį straipsnį, kitą dieną įtikinės savo kolegas darbe, kad nuo pieno jie susirgs diabetu ir prisieks daugiau pieno nebegerti :)

Kalbant apie senėjimą, buvo paminėtas tyrimas, kuriame moterų, kurios kasdien gerdavo po beveik tris stiklines pieno per dieną, mirtingumas buvo didesnis nei tarp tų, kurios pieno praktiškai negerdavo. Tad ar tikrai galima teigti, kad „pienas skatina senėjimą“? Ar mirtingumas lygu senėjimui? Ar tikrai būtent pieno suvartojimas, o ne kitos gyvenimo būdo detalės buvo mirtingumo priežastis? Ar tai galioja tik suaugusioms moterims, ar ir suaugusiems vyrams bei vaikams? Ar panašūs tyrimai gavo tą patį? Neaišku.

Mums jau nuo pirmo kurso buvo kalama į galvą, kad sąsaja nerodo priežasties – pasekmės ryšio. Dėl daugelio priežasčių. Pavyzdžiui, tiek mirtingumą, tiek pieno suvartojimą gali padidinti trečias kintamasis (nesubalansuota mityba?) arba į sunkias ligas linkusios moterys galbūt labiau mėgsta pieno produktus. Todėl vien formuluotė „pienas skatina senėjimą“ klaidina. Teisingiau būtų „pieno produktai susiję su rodikliais, kurie yra siejami su senėjimu x šalies moterų imtyje“.

Be to, straipsnyje vėl aptinku naudingą daktaro citatą: „atliekant tyrimus su žmonėmis, gaunami skirtingi rezultatai – vienais atvejais pienas didina mirtingumą, kitais atvejais – nuo jo apsaugo, bet, pasirodo, daug kas priklauso nuo to, kokie produktai vertinami“. Akivaizdu, kad mokslas nėra toks paprastas, o moksliniai tyrimai nėra tokie galingi, kaip žiniasklaida norėtų juos parodyti. Bandymas išpūsti jų reikšmingumą tik klaidina žmones.

Apie mokslo sudėtingumą rodo ir to paties daktaro pasisakymas, kurį radau kitame straipsnyje:

Žinoma, vienokių ar kitokių straipsnių galime rasti ir rimtoje literatūroje, bet išvadas galima daryti tik tada, kai daugelis autorių patvirtina tą pačią išvadą… Jei vienas randi, gali būti klaidingai parinkta grupė ar klaidingas tyrimas. Štai tuo ir skiriasi senas daktaras nuo jauno. Jauni griebia, kas nauja. Ir aš anksčiau griebdavau, kas nauja, o po penkerių metų paaiškėja, kad tai – visiška nesąmonė, todėl esu „Tamošius neviernikas“: labai atsargiai ir nepatikliai žiūriu į naujoves ir viską tikrinu daug kartų.

Aš visiškai su juo sutinku. Be to, čia iškyla dar viena problema, kurią norėjau aptarti – gerą mokslinį tyrimą atlikti yra itin sunku. Štai kelios priežastys:

  • Mokslinius tyrimus atlieka žmonės, o ne robotai. Žmonės daro klaidas.
  • Tiriami taip pat žmonės, o ne robotai. Na, dar kartais žiurkytės, kačiukai, šuniukai (o išvadas kartais daromos ir žmonėms).
  • Psichologijos tyrimų atveju tiriami itin sudėtingi psichiniai procesai, kurių akimis nepamatysi.
  • Tyrimuose gauta informacija apdorojama įvairiais statistiniais metodais, kuriuos vėlgi kūrė žmonės, ne robotai. Spėk, kas parenka vieną statistinį metodą iš kelių galimų? Teisingai, irgi žmonės.

Su tokia realybe aštriai susidūriau rengdamas straipsnius apie savikontrolę ir skaitydamas naujausius straipsnius apie pastarąjį dešimtmetį itin populiarų savikontrolės jėgos modelį (angl. strength model of self control) (Muraven & Baumeister, 2000), kuris man pačiam prieš tai labai patiko.

Iš elegantiškos teorijos į kenksmingą metaforą

Planuodamas straipsnį apie savikontrolę buvau susiruošęs jums pristatyti jau minėtą jėgos modelį, kurio pagrindiniai teiginiai skamba taip (Hagger et al., 2010):

  • Bet kokiam savikontrolės reikalaujančiam veiksmui atlikti mums reikia energijos, kurios mes turime ribotą kiekį. Todėl valia gali būti suprantama kaip raumuo – jeigu ją nuvarginsim, ji nebegalės dirbti.
  • Todėl po to, kai žmogus įsitraukia į savikontrolės reikalaujančią veiklą, jo gebėjimas toliau naudoti savikontrolę kitoms užduotims yra ribotas ir jis jas atlieka prasčiau.
  • Kai savikontrolės „rezervai“ išsenka, žmogus juos gali atstatyti pailsėdamas arba „įsipildamas degalų“ – užtikrindamas tinkamą gliukozės kiekį kraujyje.

Mokslininkai šiuos teiginius paprastai tiria taip:

  1. Tiriamiesiems eksperimentinėje grupėje duoda savikontrolės reikalaujančią užduotį (nerodyti savo emocijų žiūrint sunkų filmą), kontrolinėje grupėje – panašią užduotį, tik nereikalaujančią savikontrolės (žiūrėti filmą nesistengiant kontroliuoti emocijų).
  2. Po šios užduoties abiejų grupių dalyviai atlieka kitą savikontrolės reikalaujančią užduotį (pavyzdžiui, bando išspręsti galvosūkį, kuris iš tiesų yra neišsprendžiamas). Paprastai eksperimentinės grupės dalyviai antroje užduotyje demonstruoja mažesnę savikontrolę (galvosūkio atveju greičiau pasiduoda). Toks efektas vadinamas ego išsekimu (angl. ego depletion).

Įrodymų šiam modeliui netrūko. 2010 metais Hagger su kolegomis atliko 198 ego išsekimo eksperimentų meta-analizę (žmonių kalba šnekant, statistikos pagalba apibendrino eksperimentus) ir rado, kad vidutinis skirtumas tarp eksperimentinės ir kontrolinės grupių yra pakankamai nemažas, efekto dydis 0,62 (žmonių kalba: toks efekto dydis daugmaž atitiktų skirtumą tarp 14 metų mergaičių ir 18 metų mergaičių vidutinio ūgio). Be to, tyrimai parodė, jog mažesni gliukozės kiekiai kraujyje yra susiję su didesniu ego išsekimo efektu (Gailliot et al., 2007).Tačiau, nepaisant šių solidžių tyrimų, visai neseniai  atsirado daug prieštaraujančių šiam modeliui įrodymų.

Visų pirma, atsirado duomenų, rodančių, kad ego išsekimo efektas yra gerokai mažesnis, nei nustatė Hagger su kolegomis, o gal net neegzistuoja. Carter su kolegomis 2013, 2014 ir 2015 metais su įvairiais patobulinimais kartojo minėtų eksperimentų meta-analizę ir atrado svarbią problemą, galėjusią išpūsti minėtą efekto dydį.  Ši problema vadinama publikavimo šališkumu (angl. publication bias) ir ji gali būti būdinga daugeliui psichologijos tyrimų.

Kaip veikia publikavimo šališkumas?

Pradėkime nuo to, kad bent jau psichologijos moksle mes turime tokį dalyką kaip p reikšmę. Paprastai tariant, tai tikimybė, kad skirtumas ar sąsaja, kurią aptikai savo tyrimo metu, atsirado dėl klaidos. Ji priklauso nuo daugelio dalykų: imties dydžio, duomenų sklaidos, įvairių statistikos niuansų ir pan. Taip jau priimta, kad psichologai linkę tvirčiau daryti išvadas, kai savo tyrime gauna, jog p<0,05. Tokiu atveju sakome, kad rastas „statistiškai reikšmingas“ skirtumas, „statistiškai reikšminga“ sąsaja ir pan.

Tačiau bėdos prasideda, jeigu p>0,05 (rezultatas statistiškai nereikšmingas):

  • Jeigu populiari teorija teigia, kad skirtumas tarp dviejų reiškinių turi būti, o tu jo negavai, mokslinių žurnalų leidėjai į tavo straipsnį žiūrės įtariai, todėl sumažėja tikimybė, kad jis bus publikuotas.
  • Dėl to kai kurie mokslininkai, neradę laukto statistinio reikšmingumo arba radę netgi priešingą efektą, nei teigia teorija, net nebando jo publikuoti  – „gal atlikau kažką ne taip?“
  • Kiti mokslininkai tiesiog parenka kitokius reiškinio aspektus ar naudoja alternatyvias statistinės analizės technikas, kol pagaliau gauna norimą rezultatą. Žodžiu, truputį sukčiauja. Labai geras interaktyvus pavyzdys pateiktas šiame straipsnyje. Jame surask skiltį „Hack Your Way To Scientific Glory“. Labai smagi užduotėlė, išbandyk.
  • Todėl gaunasi taip, kad statistiškai reikšmingų rezultatų meta-analizėse atsiduria gerokai daugiau, nei turėtų būti pagal tikimybių teoriją, ypač jeigu yra analizuojami tik publikuoti tyrimai. Dėl to efekto dydis atrodo didesnis, nei yra iš tikrųjų.

Carter su kolegomis parodė, kad būtent taip galėjo įvykti su ego išsekimo efekto tyrimais. Bet tai nėra vienintelės jėgos modelio bėdos.

Kai eksperimentinės grupės dalyviai greičiau meta šalin galvosūkį, suryja daugiau sausainukų ar kitaip pademonstruoja impulsyvumą, jėgos modelio atstovai teigia, jog taip yra dėl to, kad jie išnaudojo savo savikontrolės resursus. Tačiau taip ir nepasidarė aišku: Kas tie resursai?

Kaip jau minėjau, jie tuos resursus siejo su gliukozės kiekiu kraujyje, kuri turėtų būti naudojama smegenų darbui. Bet naujesni, tiksliau gliukozės kiekį kraujyje matuojantys tyrimai nepatvirtino teiginio, kad protinė veikla reikšmingai jį sumažina, o biologiniu požiūriu mažai tikėtina, kad tai iš viso yra įmanoma (Inzlicht & Berkman, in press). Tad panašu, kad „valia kaip raumuo“ taip ir lieka metafora.

Be to, paaiškėjo, kad ta metafora nėra tokia jau tiksli. Jeigu eksperimentinės grupės dalyviams pažadamas koks nors atlygis už antros savikontrolės užduoties atlikimą, nuovargis nepasireiškia (Inzlicht & Berkman, in press) Tuo tarpu 2010 metais Job su kolegomis savo tyrime parodė, kad savikontrolės nuovargis pasireiškia tik tiems tiriamiesiems, kurie tiki, kad jų savikontrolė yra ribota ir nepasireiškia tiems, kurie tiki, kad jų savikontrolė yra nesenkanti.  Efektas taip pat pranyko kitame jų eksperimente, kuriame jie sumaniai manipuliuodami nejučiomis tikino jau kitus dalyvius, kad savikontrolė yra nesenkanti.

Tad valia nėra kaip raumuo: jeigu vienu sykiu gali padaryti max 27 atsispaudimus, juk nepadarysi daugiau, jeigu tikėsi, kad tavo raumenys negali nuvargti, arba jeigu kas nors pažadės piniginį atlygį už dar 10 atsispaudimų.

O kodėl šią metafora laikau kenksminga? Nes ji leidžia atsikratyti atsakomybės už savo veiksmus. Ji leidžia sau duoti licenciją pasinerti į beprasmes pagundas teisinantis tuo, kad nebeliko valios stengtis. O iš tiesų bent kažkiek energijos visados yra – tavo elgesys yra tavo motyvacijos klausimas. Tu renkiesi, kaip elgtis vienoje ar kitoje situacijoje. Dėl to viename iš straipsnių apie savikontrolę pristačiau tvirtesnę alternatyvą, galinčią paaiškinti visus minėtus tyrimus – kintančių prioritetų modelį.

Kodėl vis tiek remiuosi moksliniais tyrimais ir kodėl turėtum tikėti tuo, ką rašau?

Iš viso to, ką čia parašiau, tau gali susidaryti įspūdis, kad mokslininkai kaip reikiant grybauja ir kad nereikia jais pasitikėti. Iš tiesų tai dar net nepaminėjau daugybės būdų, kaip galima nusigrybauti atliekant mokslinį tyrimą. Nepaisant to, esu didžiulis mokslinių tyrimų gerbėjas. Kodėl? Nes objektyvesnio būdo tirti žmogaus mąstymą kol kas nėra.

O kodėl tu turėtum pasitikėti tuo, ką rašau savo tinklapyje? Štai keli principai, kurių laikausi, ruošdamasis rašyti straipsnį:

  • Prieš išsakydamas kokią nors nuomonę apie reiškinį, pasidomiu, kokia yra mano nuomonės kritika ir kokie yra alternatyvūs požiūriai. Tai darau net tuomet, kai esu įsitikinęs, kad geresnės nuomonės už maniškę nėra.
  • Kai kas nors pasakoja apie kokį nors mokslinį tyrimą (nesvarbu ar tai būtų dėstytojas universitete, blogeris, draugas ar delfis) ir ketinu apie tą tyrimą papasakoti kitiems, susirandu originalą. Nes kitaip procesas virstų „sugedusio telefono“ žaidimu, kuris neretai ir atsispindi žiniasklaidoje.
  • Pastoviai gilinu žinias apie psichologinių tyrimų metodologiją ir statistinę analizę, todėl turiu pagrįstą nuomonę apie tyrimus, kuriuos perskaitau.

Aišku, tai nereiškia, kad turi tikėti viskuo, ką čia rašau. Juk aš irgi žmogus :) Nepamiršk žiūrėti į VISKĄ kritiškai. Nebijok turėti savo nuomonės.

Juk tu taip pat esi žmogus, ne robotas.

Smalsiems

  • Šitą straipsnį turėtų perskaityti kiekvienas, suprantantis angliškai. Tai labai informatyvus, interaktyvus ir įdomus straipsnis apie kelis mokslo kuriozus. Jo autorė taip pat aiškina, kodėl atlikti gerą tyrimą yra taip sunku.
  • Devyni mokslo pragaro ratai. Linksmas straipsnis anglų kalba apie tai, kas laukia nusidėjėlių mokslininkų po mirties ;)
  • Jėgos modelio autoriai iš tiesų kiek koregavo savo modelį, bet kol kas jo neatsisakė (žr. Baumeister, 2014). Būtų sunku atsisakyti modelio, prie kurio dirbai dešimtmečius, ar ne? Bet kas žino – kažkiek tiesios galbūt jame ir yra.

Literatūra

Baumeister, R. F. (2014). Self-regulation, ego depletion, and inhibition. Neuropsychologia, 65, 313–319. doi: 10.1016/j.neuropsychologia.2014.08.012

Carter, E. C., Kofler, L. M., Forster, D. E., & McCullough, M. E. (in press). A series of meta-analytic tests of the depletion effect: Self-control does not seem to rely on a limited resource. Journal of Experimental Psychology: General.

Carter, E. C., & McCullough, M. E. (2013). Is ego depletion too incredible? Evidence for the overestimation of the depletion effect. Behavioral and Brain Sciences, 36, 683-684. doi: 10.1017/S0140525X13000952

Carter, E. C., &McCullough, M. E. (2014). Publication bias and the limited strength model of self-control: Has the evidence for ego depletion been overestimated. Frontiers in Psychology, 5(823), 1–11. doi: 10.3389/fpsyg.2014.00823

Gailliot,M. T., Baumeister, R. F., DeWall, C.N., Maner, J. K., Plant, E. A., Tice, D.M.,…Schmeichel, B. J. (2007). Self-control relies on glucose as a limited energy source: Willpower is more than a metaphor. Journal of Personality and Social Psychology, 92, 325–336. Paimta iš: http://www.uky.edu/~njdewa2/gailliotetal07JPSP.pdf

Hagger,M. S., Wood, C., Stiff, C., & Chatzisarantis,N. L. D. (2010). Ego depletion and the strength model of self-control: A meta-analysis. Psychological Bulletin, 136(4), 495–525. doi: 10.1037/a0019486

Inzlicht, M., Berkman, E. (In press). Six questions for the resource model of control (and some answers). Social and Personality Psychology Compass. Paimta iš: http://michaelinzlicht.com/publications/articles-chapters/

Job, V., Dweck, C. S., & Walton, G. M. (2010). Ego depletion – Is it all in your head? Implicit theories about willpower affect self-regulation. Psychological Science, 21(11), 1686–1693. doi: 10.1177/0956797610384745

Muraven, M., & Baumeister, R. F. (2000). Self-regulation and depletion of limited resources: Does self-control resemble a muscle? Psychological Bulletin, 126(2), 247–259.


Share

10 komentarai apie “Kai su „tyrimai rodo“ nueinama per toli

  1. Povilas

    Straipsnis paliko labai gerą įspūdį:
    1. Nagrinėja amžiną problemą: seniai metas nustoti skaityti delfi.lt ir pasakoti apie neaiškios kilmės puslapiuose perskaitytas „mokslinių“ tyrimų išvadas.
    2. Tekstas išlaiko objektyvumą į abi puses.
    3. Matosi įdirbis, o ne tept lept ir parašiau kažką į blogą.

    Įsimečiau RSS naujienas į Feedly ir eisiu kitų straipsnių paskaityti. Sėkmės rašant! :)

    1. Lukas Marcinkevičius Post author

      Dėkui, Povilai, už atsiliepimą. Kas dėl delfi, tai vis dar jį skaitau, tiesiog reikia susitaikyti su mintimi, kad daugelis naujienų mus pasiekia gandų pavidalu :D

  2. Sozaida

    Tačiau iš tiesų mokslas veikia taip:

    1. Iškeli klausimą;
    2. Atlieki tyrimą;
    3. Turi dalinį arba nevienaprasmišką atsakymą;
    4. Аtlieki kitą tyrimą;
    5. Тaip tęsi tol, kol abejonė dėl atsakymo teisingumo sumažėja.

    Deja, šiuolaikiniuose tyrimuose penktas punktas dažniausiai skamba taip: Тaip tęsi tol, kol atsakymas atitinka reikiamą rezultatą.

    1. Lukas Marcinkevičius Post author

      Kalbant apie pavienius tyrėjus sutikčiau. Sąmoningai ar nesąmoningai rezultatas neretai gaunamas toks, kokio ir tikisi tyrėjas, nors, laikantis šimtaprocentinio objektyvumo, tikriausiai taip nebūtų. Tiesa, manau, kad tai labai priklauso nuo mokslininko – vieni nori įrodyti kažką, kuo tiki ir kas jiems patinka (ar už ką jiems moka), kiti tiesiog nori pažinti kokį nors reiškinį. Be to, yra priemonių, kuriomis stengiamasi sumažinti tokį šališkumą. Pavyzdžiui, kiekvienas rimtas mokslo žurnalas nepraleis straipsnio tol, kol jo neperžiūrės kitas tos srities mokslininkas/mokslininkai (procesas vadinamas peer review, tik nesakau, kad ir jis neturi bėdų). Be to, mokslininkai yra ir šiaip pakankamai skeptiški, todėl įtartini straipsniai netrukus sulaukia komentarų ar atsakomųjų straipsnių (jie taip pat publikuojami). Pavyzdžiui, ne per seniausiai skaičiau vieną straipsnį, pristatantį alternatyvų savikontrolės modelį, į kurį atsakomaisiais straipsniais/komentarais tuoj pat sureagavo 30 mokslininkų iš viso pasaulio. Gaila, kad mažai kas turi kantrybės juos skaityti ;D Ir dar, kalbant apie psichologijos eksperimentus, yra naudingas dalykas, vadinamas dvigubai akla procedūra (double blind procedure), kurios metu nei tiriamieji, nei eksperimentatorius nežino, koks yra tikrasis tyrimo tikslas ir į kokias grupes skirstomi tiriamieji. Straipsnyje visados prie metodų rašo, ar buvo naudojamas toks metodas, ar ne.

    1. Lukas Marcinkevičius Post author

      Na, tikiuosi, kad Delfio mokslininkai skirs daugiau laiko originalių straipsnių skaitymui, o ne verkimui ir pribloškiančių antraščių kūrimui :D

  3. Rūta

    Puikus straipsnis, labai ačiū už praskaidrintą rytą – visada džiaugiuosi radusi tokių straipsnių ir paskaičiusi „švarių“, logiškų pamąstymų, tyrimų rezultatų (juk Tavasis darbas irgi tyrimas – ieškoti, analizuoti ir atrinkti teisingus neiškraipytus faktus iš originalių tekstų užsienio kalba, kad galėtum juos pateikti savo straipsniuose ar pokalbiuose, tai suryja tikrai nemažai laiko bei pastangų) ir pagalvojusi, kiek vis dėlto darbo ir būtent VALIOS reikia tokiems rezultatams pasiekti. Patiko rašymo stilius, be to, nagrinėta labai aktuali problema. Be abejonės, netolimoje ateityje skaitysiu daugiau straipsnių ir užsisakysiu tinklaraščio prenumeratą. Sėkmės ir iki malonaus. :)

    1. Lukas Marcinkevičius Post author

      Dėkui, Rūta, už atsiliepimą :) o valios reikia ne tiek ir daug (nebent pačioje pradžioje, kai reikia pradėti straipsnį), po to jau viskas automatiškai :)

Parašykite komentarą

El. pašto adresas nebus skelbiamas. Būtini laukeliai pažymėti *