• Csalni mindenhol csalnak.
• Miért pont a tudományos élet lenne a kivétel?
• A leghíresebb lebukások mellett eszközöket is mutatunk a csaláshoz.

Több mint 120 publikációt vont vissza adatbázisából két ismert tudományos kiadó, a Springer és az Institute of Electrical and Electronics Engineers (IEEE), miután egy francia kutató felfedte, hogy ezeket a dolgozatokat valójában számítógép generálta, és amúgy semmi értelmük nem volt.

A Grenoble egyetem kutatója, Cryril Labbé régóta üldözi a szoftverek által generált tudományos publikációkat, az elmúlt két évben pedig sorra fedezett fel olyan 2008 és 2013 között konferenciákra is befogadott absztraktokat és publikációkat, melyeket a német és New York-i székhelyű kiadók is elfogadtak.

A most lebuktatott munkák között akadt olyan is, amit például elvileg egy 2013-as kínai konferenciára fogadtak el. A lebukásokról író Nature megpróbált utánajárni a sztorinak, de a konferencia szervezői nem reagáltak a megkeresésükre, a dolgozat egyik állítólagos szerzője viszont jelentkezett a lapnál, és közölte, fogalma sincs, miért van feltüntetve társszerzőként.

Az egész egy vicces kísérletnek indult

A szoftvergenerált tudományos szövegek egy SCIgen nevű alkalmazással készültek. A programot a MIT kutatói hozták létre, még 2005-ben, egyrészt, mert ezzel akarták bizonyítani, hogy a konferenciák és folyóiratok akár teljesen értelmetlen szövegeket is befogadnak, másrészt meg ahogy ők is mondták, szórakozásként. A SCIgen csak számítástechnikai szakszövegeket állít elő, azzal a módszerrel, hogy releváns szavakat véletlenszerűen pakol mondatokba. Az eredmény tudományos szempontból teljesen értelmezhetetlen zagyvaság, de egy laikus számára akár meggyőző is lehet. És a jelek szerint néha komolyabb szűrökön is át lehet jutni vele.

A program amúgy borzasztóan egyszerűen alkalmazható, kollégáim friss tanulmánya például innen pdf-ben is elérhető:

Hasonló ötlet létezik a fizika területén is, az arXiv vs. snarXiv honlapon például két publikáció címe közül kell megtippelni, melyik a valódi.

A SCIgen szabadon használható, ezért megtippelni sem lehet, hány dolgozat készült már ezzel a módszerrel. A készítői máig kapnak visszajelzéseket, hogy még mindig vannak, akik így próbálják tesztelni folyóiratok és konferenciák minőségi szűrőit. És a jelek szerint vannak esetek, amikor a szűrők nem működnek.

A most lebuktatott dolgozatokat főleg kínai konferenciákon fogadták el, és a feltüntetett szerzők között sok a kínai. Labbé próbálta kinyomozni, hogy mi állhat a tömeges csalás hátterében, de nem nagyon kapott válaszokat. Volt, aki semmit nem tudott neve szerepeltetéséről, volt, aki a rendszer teszteléséről beszélt, de sok helyről válaszokat sem kapott.

Pedig Labbé szerint könnyű kiszúrni a SCIgen-nel készült tanulmányokat, készített is egy honlapot, amin bárki tesztelheti, hogy egy publikáció mögött szoftveragy áll-e.

A mostani esetnél a legnagyobb kérdés persze az, hogy két ismert kiadónál hogyan fordulhatott elő, hogy befogadtak kamu dolgozatokat. A Springer is nyomozása kezdett, próbálják elérni a szerzőket, ugyanakkor a konferenciákra befogadott papírok elvileg átestek szakmai lektorálásán is, még rejtélyesebbé téve ezzel az egész történetet.

Kényszer a publikálásra

Labbé régóta teszteli a minőségi szűrőket, 2010-ben például kitalált egy Ike Antkare nevű szerzőt, és SCIgen segítségével 102 publikációt generált a nevében. Majd pedig minden különösebb nehézség nélkül ezeket bejuttatta a Google Scholar adatbázisába. Erősen felnyomva ezzel Antkare publikációs teljesítményt mérő h-indexét, elérve azt is, hogy egy rövid ideig a világ huszonegyedik legtöbbet idézett szerzőjének számítson a rendszeren belül.

A francia kutató szerint ez az utóbbi felfedezése csak egyetlen tünete annak a spamháborúnak, amit a tudomány szívében vívnak. És amit Labbé szerint a kutatókra nehezedő teljesítménykényszer okozhat.

Komoly tudományos előmenetelhez elengedhetetlen a rengeteg publikáció, és a különböző hivatkozottsági indexeken történő egyre feljebb jutás. A helyzetet tovább bonyolítja a szabad hozzáférésű folyóiratok térnyerése, ahol pénzt kérnek a publikációs kényszerbe szorult kutatóktól. Cserébe viszont úgy fest, vannak köztük, akik sokkal gyengébb minőségbiztosítási eszközökkel dolgoznak, és vannak, akik csak a csalásra utaznak.

John Bohannon, a Science újságírója 2013-ban tesztelte ezen lapok megbízhatóságát, és egészen elképesztő eredményre jutott. A szabad hozzáférésű folyóiratok mögött amúgy igen nemes elv áll: ne a lapot olvasó kutatók fizessenek a lapban fellelhető tudásért, hanem a publikálók, ezzel pedig a tudás szabadabban áramolhasson a világ hátrányosabb helyzetű régióiba is.

Alapesetben, ha valaki egy publikációját elküldi egy szaklapnak, azt előbb elolvassa egy szerkesztő, majd amennyiben elfogadhatónak ítélte, továbbküldi az adott területtel foglalkozó szakértőknek, akik név nélkül értékelik, és ha  minden szereplő rábólint, akkor jelenhet meg csak az írás. Ez az eljárást peer review-nak, magyarul leggyakrabban kollégák általi lektorálásnak nevezik, és viszonylag jól, bár nyilván nem hiba nélkül működő rendszer az ismert szakfolyóiratoknál.

Egy ilyen rendszer fenntartása viszont drága, ráadásul ha megfelelő minőségre törekednek, sok dolgozatot vissza is kell dobniuk. Ami azoknak, akik a publikálóktól kapott pénzből kívánnak megélni, nem feltétlenül előnyös. Bohannon ezért sajátos kísérletbe kezdett, összerakott egy tudományos publikációt egy nem létező afrikai orvosi intézet kitalált biológusától, Ocorrafoo Cobangétől. Cogange zuzmóalapú daganatokat elpusztító molekulákról írt cikket, tele súlyos szakmai és módszertani hibákkal, kitalált szereplőkkel. Az írást aztán 304 szabad hozzáférésű folyóiratnak küldte el.

A 304 folyóiratból 255 befogadta, 157 pedig közlésre alkalmasnak ítélte a kéziratot, és csak 98 helyről utasították azonnal vissza. A 255 lap közül, amelyik befogadhatónak ítélte Bohannon agyszüleményét, elvileg 106 lapnál működött peer review-szűrő, hetven százalékukat viszont még így is átverte.

A több ezer szabad hozzáférésű tudományos folyóirat között egyre több lehet a csaló, bár pontos számukat senki nem ismeri. Ezeknek a lapoknak a többsége Indiában és Afrikában van bejegyezve, de már bukkantak fel hasonló kísérletek az Egyesült Államokban is. A cél egyértelmű: komoly szakmaiság látszatát keltve lehúzni a publikációra jelentkező, és publikációs kényszerbe szorított kutatókat.

Cogange cikke végül sehol nem jelent meg, Bohannon a nevében írt az összes, a publikációt befogadó lapnak, hogy kutatásában súlyos hibát fedezett fel, és ezért kénytelen azt visszavonni.

A Labbé által most lebuktatott publikációk amúgy nem szabad hozzáférésű adatbázisban, hanem előfizetéses ajánlatban kerültek elő. Szerinte ráadásul semmi nem támasztja alá azt a közvélekedést, hogy a szabad hozzáférésű lapoknak szükségszerűen kevésbé szigorú peer review-rendszere lenne, mint az előfizetéses folyóiratoknak.

Hasonló csalásra magyar nyelvű példa nem ugrott be nekünk, nyilván a sokkal szűkebb tudományos közegben ez nehezebben is lenne kivitelezhető, de azért a nagyszerű klasszika-filológus Steiger Kornél csodálatos Heidegger-paródiáját linkeljük.

(via Nature)