Alaptalanul zárolta a Google egy San Franciscó-i férfi fiókját, aki a kisfia feldagadt nemi szervéről készített képet a gyerekorvosnak. A Google-nek ugyanis van egy olyan mesterséges intelligencián alapuló eszköze, amely érzékeli, ha valaki pornográf gyermekképet tölt fel a felhőbe, vagy küld el üzenetben valakinek.

Az eszköz nem mindig pontos, ahogy ebben az esetben sem volt. De komoly következményeket von maga után, ebből az esetből is rendőrségi ügy lett. A történtekről névtelenül számolt be az édesapa a New York Timesnak.

Távorvoslás járvány közepén

Minden azzal kezdődött, hogy 2021 februárjában, a koronavírus-járvány közepén az édesapa, akit a New York Times Marknak nevez, észrevette, hogy a kisfiával valami nincs rendben. A kisfiú nemi szerve feldagadt, és egyértelműen fájt. Ezért az apa az okostelefonjával képeket készített a duzzadt nemi szervről, hogy figyelemmel tudja kísérni a változásokat.

Mindez péntek este történt, ekkor Mark felesége felhívta az egészségügyi szolgáltatójuk védőnőjét, hogy másnap reggelre hívjanak össze sürgősségi orvosi konzultációt videóhíváson keresztül, ugyanis egyrészt szombat volt, másrészt a koronavírus miatt online történtek ezek a megbeszélések.

Lényegében ugyanez volt Magyarországon, amikor mindenki köhögött a telefonba a háziorvosának, hogy megállapítsa távorvoslásban, hogy mi a baja. A védőnő arra kérte az édesanyát, hogy küldjék el az apa által készített képeket, hogy az orvos a videohívás előtt át tudja nézni azokat.

Mark felesége fogta férje telefonját, és SMS-ben küldött néhány jó minőségű közeli felvételt a fiuk nemi szervéről az iPhone-jára, hogy feltölthesse azokat az egészségügyi szolgáltató üzenetküldő rendszerébe. Az egyik fotón Mark keze is látható volt, amivel segített olyan szögben tartani a kisfiú nemi szervét, hogy jobban látsszon a duzzanat. Az orvos a képeknek köszönhetően gyorsan tudta diagnosztizálni, hogy mi baja a kisfiúnak, felírt antibiotikumot, és szerencsésen meg is szűnt a probléma.

A Google közbelép

A szülőknek az nem jutott eszükbe, hogy a telefonjuk képeihez hozzáférnek a techóriások, és nem is sejtették, hogy hamarosan egy rendőrségi nyomozás közepén találják magukat. A techcégek ugyanis automatikus tárolják, monitorozzák és szűrik az ilyen adatokat, ha bűncselekmény történhetett.

A gyermekvédelmi szakemberek hasznosnak tartják ezt a funkciót, ugyanis rengeteg pornográf gyermekkép terjed a neten, sokan tárolnak a telefonjukon vagy számítógépükön illegális pornográf képeket.

A techóriások évente több millió képet jelölnek meg, amelyeken gyermekek szexuális bántalmazása látható. Csak a Google 2021-ben 600 ezer jelentést tett gyermekpornográf tartalmak miatt, 270 ezer felhasználónak pedig emiatt zárolták is a fiókját. Nem a Google volt a legelső, ami ilyen eszköz segítségével kezdte szűrni a gyermekpornográf képeket. Az első ilyen technológiát, a PhotoDNA-t a Microsoft jelentette meg 2009-ben. Az képes volt arra, hogy a gyermekekről készült képeket digitális kóddá alakítva adatbázis alapján kiszűrje azokat, amelyek gyermekpornográfiát tartalmaznak. Arra is képes volt, hogy érzékelje, ha történt valamilyen képszerkesztés. A Facebook is használta ezt az eszközt.

2018-ban jött az áttörés, amikor a Google kifejlesztett egy mesterséges intelligencián alapuló eszközt, amely képes volt a sosem látott, adatbázisban nem szereplő gyermekpornográf képeket is megtalálni és azonosítani. Ez azért hasznos, mert adott esetben a rendőrség olyan áldozatokat is fel tud kutatni, akik bántalmazása a technológia nélkül valószínűleg rejtve maradna. Most már a Facebook is ezt használja. Az Apple tavaly jelentette be, hogy ők is elkezdik monitorozni az iCloudba feltöltött képeket, hogy kiszűrjék a gyermekpornográf fotókat, de végül ezt az adatvédelmi csoportok ellenállása miatt elvetették.

Ezeknek a képeknek a birtoklása nemcsak az Egyesült Államokban, hanem Magyarországon is büntetendő. A 2018 elején hatályba lépett magyar BTK vonatkozó része szerint ilyen képek birtoklásáért a maximálisan kiszabható büntetés három év szabadságvesztés.

A leghíresebb magyar vonatkozású ügy a perui nagykövet, Kaleta Gábor ügye, aki 19 ezer gyermekpornográf képet tárolt az eszközein, de felfüggesztett börtönnel és 540 ezer forint pénzbüntetéssel megúszta. A Kaleta-ügy nyomán 2022 februárjától amerikai mintára elérhetővé tették az ún. pedofil-nyilvántartást a magyarorszag.hu-n. A lista a nevet, a településszintű címet, a fényképet, illetve a kapcsolódó bűncselekmény részleteit tartalmazza.

Kizárás az online világból

Mark esetében azonban szó sem volt erről – és Jon Callas, az Electronic Frontier Foundation (EFF) szakértője szerint nem ő az egyetlen, aki így járhatott.

Mark telefonja szinkronizálva volt a Google-fiókjával, a telefonjával készített képek pedig automatikusan mentődtek a felhőbe. Két nappal azután, hogy képeket készített a fiáról, kapott a Google-tól egy értesítést, miszerint a fiókját káros tartalom miatt elérhetetlenné tették. Mark azonnal rájött, hogy a Google pornográf képeknek minősíthette a fia fertőzéséről készült képeket.

Mivel egyébként szoftvermérnökként dolgozott, rögtön tisztában volt vele, hogy az ilyen folyamatokban, bár automatikus algoritmus alapján történnek, mindig van egy emberi kéz is, aki ellenőrzi, hogy a gép nem vétett-e hibát.

Mark kérvényezte a Google-nél, hogy láthassa, mi alapján döntöttek a fiókja zárolása mellett. De közben szembesült azzal is, hogy a fiókja zárolása dominóhatást indított el: odalettek az e-mailjei, a kontaktjai, amikhez más szolgáltatókon keresztül sem férhetett hozzá, hiszen minden belépésnél az e-mail címére küldtek megerősítésért üzenetet. Gyakorlatilag a Google teljesen kizárta az online világból.

A cég azt írta Marknak a zárolásról, hogy azért történt, mert „a gyermekpornográf felvételek elfogadhatatlanok, és elkötelezettek vagyunk annak érdekében, hogy ezeknek a tartalmaknak a terjedését megakadályozzuk a saját platformjainkon”. Mark fellebbezett a döntés ellen, de a Google magyarázat nélkül visszautasította.

Ekkor Mark még nem is sejtette, hogy a Google biztonsági csapata egy videóját is megjelölte problémás tartalomként, és hogy már a rendőrségnél van az ügy.

Bűncselekmény hiánya

Nem Mark volt az egyetlen, akit a Google tévesen pécézett ki. Texasban egy neve elhallgatását kérő édesapa nagyon hasonló ügyről számolt be a New York Timesnak. A lap által Cassiónak hívott férfi is valamilyen fertőzést tapasztalt a kisfia nemi szervén, ezért képeket készített, hogy elküldhesse a feleségének. A képeket a Google automatikusan mentette a felhőbe. Cassio éppen házat vásárolt, az ehhez szükséges dokumentumokat e-mailben kapta meg, amikor észrevette, hogy zárolták a fiókját, és ez rengeteg bosszúságot okozott neki.

Jon Callas szerint a telefonokon tárolt képeknek privátnak kellene maradniuk, de a Google azzal védekezik, hogy a cég csak akkor vizsgálja a készített képeket, ha a felhasználó „megerősítő lépést” tesz; ide tartozik például az, amikor a telefonja biztonsági másolatot készít a fényképekről a felhőbe.

Miután a mesterséges intelligencia megjelöli a problémás képeket, egy ember ellenőrzi, hogy azok valóban problémásak-e. Ezután a Google zárolja a felhasználó fiókját, más hasonló, kizsákmányolást, bántalmazást alátámasztó anyagokat keres, majd a törvényi előírás szerint jelentést tesz az Eltűnt és Kizsákmányolt Gyermekek Nemzeti Központjának, a CyberTipline-nak. Ehhez a nonprofit szervezethez tavaly összesen 29,3 millió jelentés érkezett, ami naponta 80 ezer bejelentést jelent.

A CyberTipline munkatársa szerint ezek legtöbbször olyan képek, amelyeket már korábban jelentettek, de folyamatosan keringenek az interneten. Ezért a szervezet körülbelül 80 elemzője azokat a képeket próbálja szűrni, amelyeken potenciálisan egy új áldozat szerepelhet. Ha ilyet találnak, azt azonnal jelentik a rendőrségnek, tavaly ez több mint 4260 bejelentést tett ki, amibe Mark és Cassio ügye is belekerült.

Mark egy héttel a fotók elkészítése után, 2021 decemberében kapott egy levelet a San Franciscó-i rendőrségtől, hogy a Google jelentése alapján nyomozás indult ellene, és szolgáltasson be minden internetes keresési előzményt, a telefonja helymeghatározásait, az üzeneteit, dokumentumait és képeit, amiket a Google-on tárolt.

Mire a férfi felhívta a nyomozót, a rendőrség közölte, hogy bűncselekmény hiányában már lezárták az ügyet, csak se telefonon, se e-mailen nem tudták elérni őt. Mark megkérdezte a rendőrt, hogy nem tudná-e a nyomozás eredményét és ártatlanságát a Google felé is kommunikálni, hogy feloldják a fiókját, de a nyomozó azt mondta, ezt neki kell elintéznie.

A férfi elküldte a Google-nak a rendőrség nyomozati eredményeit, de a Google nem reagált, a fiókja továbbra is zárolva maradt. Két hónap elteltével megkérdezett egy ügyvédet, hogy mennyibe kerülne beperelni a céget, de végül arra jutott, hogy ez nem ér meg hétezer dollárt.

Cassio ügye is eljutott a rendőrségre, őt be is hívták, és amikor megmutatta a gyermekorvossal folyatott beszélgetésüket, hamar tisztázta magát. A Google azonban az ő fiókját sem állította vissza.

A Google kitart a döntése mellett

Kate Klonick, a St. John’s Egyetem jogászprofesszora, aki az online tartalmak moderálását kutatja, azt mondja, hogy a mesterséges intelligencia nem képes szűrni, milyen szándékkal oszt meg valaki egy ilyen képet, így sok ártatlan ember eshet az áldozatává. Szerinte a Google-nak sokkal körültekintőbbnek kellene lennie ezeknek az embereknek a megjelölésénél, ugyanis ez azzal a következménnyel is járhat, hogy például egy szülő alaptalanul elveszti a gyereke felügyeleti jogát.

Carissa Byrne Hessick, az Észak-Karolinai Egyetem jogászprofesszora szerint, aki a gyermekpornográf bűncselekményeket kutatja, nem mindig könnyű körülhatárolni, hogy mi minősül pornográf képnek, és mi nem. Mark és Cassio esetében azért egyértelmű a helyzet, mert azok orvosi céllal készültek, nem volt mögöttük szexuális indíttatás. Ez azonban pusztán a képek megnézésével nem volt egyértelmű, az ő esetükben a kontextus számított. Egyébként a mesterséges intelligencia ki van képezve arra, hogy felismerje, mi a különbség például egy csecsemős fürdetős és egy valóban abuzív kép között.

Suzanne Haney, az Amerikai Gyermekgyógyászati Akadémia Gyermekbántalmazással és Elhanyagolással foglalkozó Tanácsának elnöke azt tanácsolja a szülőknek, hogy sose készítsenek képet a gyerekeik nemi szervéről, orvosi kérésre se, és az pláne eszükbe se jusson, hogy feltöltsék azokat valahova. Ő örül annak, hogy a Google rendelkezik egy ilyen őrző-védő funkcióval.

A lap megkereste a Google-t, ahol azt mondták, ők nem érzékeltek sem pirosságot, sem kiütést Mark gyerekének nemiszervén, és a további átvilágítás során találtak egy videót, amin egy meztelen nő feküdt az ágyban a gyerek mellett, ezért döntöttek a fiók zárolása mellett. Mark egyébként nem emlékezett pontosan erre a videóra, de azt mondja, hogy intim pillanat lehetett valamelyik reggelen, amikor szerette volna megörökíteni a feleségét és a fiát. A felesége azért lehetett meztelen, mert így szoktak aludni.

A Google ennek ellenére mindkét férfi esetében kitart a döntése mellett. Hessick jogászprofesszor szerint bár a mechanizmus örvendetes, muszáj lenne végeznie a Google-nak bizonyos korrekciókat. Kitartani a döntésük mellett és korlátozni két ártatlan ember fiókját viszont sokkal egyszerűbb, máskülönben meg kellene válaszolniuk olyan kérdéseket, hogy mik azok az intim pillanatok, amelyekről illik és nem illik fotót készíteni. Ez eléggé messzire vezetne.