Miért nem ment át Eugene Goostman a Turing-teszten?

Az év híre, na jó, a hét híre, oké, a múlt hét híre, miszerint egy számítógépes program a világon elsőként átment a híres Turing-teszten, vagyis egy gépnek sikerült elhitetnie az emberekkel, hogy ő nem gép, hanem ember.

Ahogy vasárnap megírtuk, egy magát 13 éves ukrán kisgyereknek tettető programnak, amit a készítői Eugene Goostmannak kereszteltek el, az emberekből álló zsűri 33 százalákát sikerült átvernie, ami hihetetlen fegyvertény, főleg hogy ez azóta nem sikerült senkinek, hogy Alan Turing angol matematikus híres felvetése 1950-ben megjelent. A Buzzfeed szerint viszont

ezúttal sem sikerült.

Itt vannak az érvek, mármint azon kívül, hogy Murray Shanahan professzor, az Imperial College London mesterségesintelligencia-kutatója szerint a program természetesen nem ment át a teszten, és "szégyenletes", hogy a sajtó így számolt be az eseményről, mert az “csökkenti a komoly mesterségesintelligencia-kutatás értékét”, és “eljelentékteleníti Turing gondolatkísérletét”.

Közvetlenül Shanahan professzor érvei után egyszemélyes zsűrim elfogulatlan értékelését olvashatják.

1.

A 30 százalékos szabály nem Turingtól származik – ő csak azt írta, hogy egy gép akkor megy át a teszten, ha a kérdező ugyanolyan gyakran dönt rosszul, amikor a játékot egy gép és egy ember játssza, mint amikor egy férfi és egy nő.

  • A megállapítás relevanciája: 10/10
  • Indoklás: Valóban nem mindegy, hogy a zsűri harmada vagy éppen fele hisz a gépnek. A 30 százalék teljesen önkényesnek tűnik, így nem is jelent sokat.

2.

Turing valószínűleg nem szabott ötperces határt a tesztnek, bár egy helyütt említi ezt az időtartamot, de azt nem állítja, hogy a becsült feltételeknek való megfelelés egyben azt is jelenti, hogy a program átment a teszten.

  • A megállapítás relevanciája: 8/10
  • Indoklás: öt percig tényleg sokkal könnyebb átverni valakit, mint akár hatig, ötven percről már nem is beszélve. A kérdés, hogy Turing ötperces szabálya tényleg hipotetikus volt és arányokra vonatkozott-e. Kár, hogy nem lehet megkérdezni.

3.

Eugene nem szuperkomuter, hanem egy chatbot. A félreértés valószínűleg a Readingi Egyetem közleményéből származik; azóta javították.

  • A megállapítás relevanciája: 0/10
  • Indoklás: Súlyos tévedés, de abból a szempontból, hogy átment-e Eugene a teszten, tökéletesen érdektelen, hogy nevezik a programot egy sajtóközleményben.

4.

Nem Eugene az első. 1972-ben egy PERRY nevű chatbotról, ami a pszichiáterek 48 százalékát átverte azzal, hogy paranoid skizofrénnek tettette magát, azt állították, hogy ezzel átment a Turing-teszten.

  • A megállapítás relevanciája: 0/10
  • Indoklás: Annak a ténynek, hogy  már korábban is állították ezt egy gépről, semmi köze nincs ahhoz, hogy igaz-e, amit most Egugene-ről állítanak.

5.

Turing átlagembereket akart kérdezőknek azért, hogy a minta reprezentaív legyen az emberiségre. Shanahan szerint a Eugene-t faggatók túl kevesen voltak ehhez.

  • A megállapítás relevanciája: 8/10
  • Indoklás: Tényleg nem mindegy, hány embert ver át a gép, de pontos számok híján tízezer áldozat esetén is lehetne azt mondani, hogy nem reprezentatív a minta. Hol a határ?!?

6.

Az, hogy a program 13 éves, nem anyanyelvű gyereknek tetteti magát, elvben rendben van, de Turing a teszt leírásakor nem arra gondolt, hogy a gép képes-e eljátszani egy adott személy szerepét, aki ráadásul korlátozott kommunikációs képességekkel bír, és kulturális értelemben is különbözik a bíráktól.

  • A megállapítás relevanciája: 7/10
  • Indoklás: Valóban csúsztatásnak tűnik a dolog, nem ér azzal befolyásolni a zsűrit, hogy eleve közöljük vele, hogy emberünk korlátozott képességű.

7.

A Turing-teszt amúgy is rossz módja a mesterséges intelligencia vizsgálatának.

  • A megállapítás relevanciája: 0/10
  • Indoklás: Nem az a kérdés, hogyan viszonyul a mesterséges intelligencia kutatása a Turing-teszthez, hanem hogy Eugene átment-e rajta.

Összegzés: Ezzel az ukrán gyereknek álcázott chatbottal nyilván nem igázta le a gép az emberiséget, de egy lépéssel biztosan közelebb jutott hozzá. A mesterségesintelligencia-kutatóknak pontosan  meg kellene fogalmazniuk a feltételeiket, és akkor legközelebb, amikor egy 13 éves mesterségesintelligencia-kutatónak álcázott robot megy át a Turing-teszten, nem lesz alap a nyavajgásra.