Hatalmas pofont kapott a pszichológia, mint tudomány

A támadást egy szociálpszichológus, a virginiai Center for Open Science vezetője, Brian Nosek vitte be, amikor 269 szerzőtársával közösen megismételtek 98 olyan pszichológiai kutatást, melyeknek eredménye a vezető szaklapokban jelent meg a közelmúltban. Eredményeiket a Science-ben publikálták.

Az eredeti és most megismételt kísérletek nagyon széles skálán mozogtak, a bizonytalanság kifejezésének kérdésétől kezdve, át azon, hogy hogyan reagálnak gyerekek és felnőttek félelmetes ingerekre, egészen odáig, hogy hogyan érdemes hatékonyan számtant tanítani. Azaz pont olyan témák voltak, melyekkel rendszeresen összeakadhatunk a pszichológiai szakirodalomban.

És azt találták, hogy a száz kísérletükből mindössze 39 esetben sikerült az eredeti feltételek megteremtésével az eredeti eredményt elérni. (A 98-féle kísérlet közül kettőt két csapat is megismételt, egymástól függetlenül, így jött ki a százas minta.)

A 39 százalékos reprodukálhatósági arány a kutatóstáb szubjektív megítélésén múlt, azaz hogy sikeresnek vagy sikertelennek ítélték-e az újra végigvitt kísérletet, ugyanakkor egy másik módszer, amit bevetettek, még lesújtóbb képet mutatott. Míg az eredeti kutatások 97 százaléka mutatott fel szignifikáns hatást, addig a megismételt kutatásoknak csak a 36 százalékánál találtak ilyet. Sőt, általában a mért hatás mértéke is átlagot tekintve fele akkora volt a második körben, mint az eredeti tanulmányokban.

(MAURICIO LIMA / AFP)

Nosek szerint mindebből nem derül ki semmi arról, hogy egyes konkrét tanulmányok igazak-e vagy hamisak. Mind az eredeti, mind a megismételt kutatás lehet hibás vagy lehet közöttük olyan kritikus különbség, amit most nem vettek észre. De nem is egyes kutatások eredményének a cáfolata volt a céljuk, hanem hogy megmutassák, még a legnevesebb folyóiratok publikációi sem esnek át elég alapos vizsgálaton.

A mostani ellenőrző kísérletsorozat a 2011-ben indított Reprodukálhatósági Projekt névre keresztelt munkának az eleme. Korábban ennek a projektnek köszönhetően sikerült felfedni több komolyabb csalásgyanús statisztikafelhasználását, ami amolyan identitásválságot is okozott a pszichológián belül. Vannak, akik szerint a reprodukálhatósági hibaarány akár jóval magasabb is lehet. A Stanford Egyetem kutatója, John Ioannidis szerint ez akár elérheti a nyolcvan százalékot is.

Mindez azért lehet így, mert Nosek és kollégái csak a legnevesebb, szakmailag legkitűnőbb folyóiratok munkáira fókuszáltak, ráadásul kísérleteket az eredeti kutatókkal együttműködve végezték, azaz minden feltétel adott volt, hogy a reprodukálhatóság megvalósulhasson. És így sikerült csak 39 százalékban megtenni ezt.

Ugyanakkor már ez a nagy ívű együttműködés a kutatás készítői és a megismétlő csapat tagjai között arra utal, hogy minden fél nyitott a fejlődésre Ioannidis szerint. Olyan már korábban is volt, hogy egy-egy kutatásba belekötöttek, mert nem sikerült ugyanazt az eredményt elérni megismételt körülmények között. De ilyen nagy számban, egyszerre, ezt még soha senki nem tette le az asztalra. Mindez alapjaiban alakíthatja át azt, ahogy a pszichológiáról fogunk a jövőben gondolkodni.

Nosek szerint amúgy komoly gond van a szakfolyóiratok szerkesztési elvével is, az is vezethetett ehhez a helyzethez. Komoly, pontos de unalmas tanulmányokat nem szeret senki sem publikálni, mindenki az úgynevezett statisztikai jackpotra hajt, amikor az adatsoraiból valami nagy mondás lesz kiolvasható. Szerinte mindez nem is csak a pszichológia problémája, más tudományterületek is hasonlóval küzdenek.

Egy korábbi elemzés szerint 53, magasan jegyzett folyóiratban megjelent, a rák biológiájával foglalkozó tanulmány közül csak hat volt reprodukálható. Minden területen hatalmas a verseny, hogy nagyot szólva a legnevesebb lapokban publikáljanak a kutatók, ez viszi előre igazán a karrierjüket. És ez akaratlanul is, de mindenhol felülírja időnként az objektivitást. Arról, hogy hogyan burjánzik túl a józan észen a publikációs kényszer, tavaly írtunk már egyszer.

De mindebből nem az jön, hogy akkor az egész pszichológia valami szemfényvesztő vudu dolog, mint mondjuk Matolcsy közgazdaságtanai. Komoly tudományterületről van szó, ami már rengeteget tett, hogy segítsen megértetni az emberi agy működését. Nosek szerint látni kell, hogy egyrészt a reprodukálhatóság egy nagyon kemény dolog.

A tudósok jellemzően nehéz problémákkal foglalkoznak, olyan kérdéseket vizsgálnak, mire nem tudják a választ. Szóval az, hogy valami nem jól sül el a kutatási folyamat során, azt jelenti, hogy nem kaptuk meg a helyes választ azonnal. De ebben semmi meglepő nincs. Van pár módszer, amivel segíteni lehetne az előrehaladást. Ilyen lenne például, ha a kutatók jobban megosztanák a kutatásaik részleteit, nyilvánosan elérhető adatbázisokat építenének.

Egyben az összes következtetést is feltennék, amit levontak a tanulmány során. Ha az alkalmazott módszertani elvek jobban áttekinthetőek lennének a publikációkban, azzal máris nagyot nyerne minden tudományterület. De Nosek szerint lehetne minden kutatás végére mellékelni egy instrukciós listát is, hogy ha valaki meg akarja ismételni a kísérletet, tudja, hogy vágjon bele. (via Nature, Vox, Science)

Kapcsolódó
Népszerű
Uralkodj magadon!
Új kommentelési szabályok vannak 2016. január 21-től. Itt olvashatod el, hogy mik azok, és itt azt, hogy miért vezettük be őket.