A tanárok közel kétharmada rendszeresen használ mesterségesintelligencia (MI)-alapú tartalomelemző eszközöket a tanulók által megírt szövegek hitelességének ellenőrzésére, azonban ezek a detektorok hibázhatnak is, ami komoly problémákhoz vezethet. 

Ezért hibázhatnak az MI-detektorok 

A mesterséges intelligenciával generált szövegek felismerése komoly kihívássá vált az oktatók körében. A ChatGPT és hasonló eszközök megjelenése után a tanárok különféle MI-detektorokat kezdtek el alkalmazni, hogy azonosítani tudják a mesterségesen generált mondatokat, bekezdéseket vagy akár egész szövegeket. A Center for Democracy & Technology által készített friss felmérésben szereplő  

több mint 450 oktató kétharmada rendszeresen használ MI-ellenőrző eszközöket. 

A detektorok közül a legjobbak kiemelkedően pontosak, de még ezek sem tévedhetetlenek. A Businessweek két népszerű eszközt – GPTZero és Copyleaks – tesztelt ötszáz véletlenszerűen kiválasztott egyetemi esszén, amelyet 2022 nyarán nyújtottak be a Texas A&M Egyetemen, még a ChatGPT megjelenése előtt. Az eredmények szerint a detektorok ezen szövegek 1-2 százalékát tévesen mesterséges intelligencia által generáltnak ítélték, és előfordult, hogy ebben szinte 100 százalékig biztosak voltak. 

Bár ez a hibaarány első látásra alacsonynak tűnik, óriási mennyiségű dolgozat esetében mégiscsak számottevő. A csalás vádja jelentős következményekkel járhat: a meggyanúsított tanulók megbukhatnak, megbélyegző megjegyzéseket kaphatnak vagy akár fegyelmi eljárás is indulhat ellenük. 

A leginkább veszélyeztetett diákok közé azok tartoznak, akik a szokásostól eltérő nyelvezetet használnak, például azok, akiknek nem az angol az anyanyelvük. 

A Stanford Egyetem 2023-as tanulmánya is ezt igazolta: az MI-detektorok rendkívül pontosak voltak a nyolcadikos amerikai diákok esszéinek vizsgálatakor, azonban a nem anyanyelvi angol szövegeket sokkal gyakrabban jelölték meg MI-generáltnak. Ezt felismerve az OpenAI, a ChatGPT fejlesztője a közelmúltban úgy döntött, hogy egyelőre nem teszi közzé az MI-írást detektáló eszközét, attól tartva, hogy az hátrányosan érinthetné a tanulók egy bizonyos részét.  

Az MI-ellenőrző technológiai startupok, például a Copyleaks és a GPTZero, szintén elismerik, hogy eszközeik nem tökéletesek, és nem helyettesíthetik az emberi ítélőképességet. A Copyleaks vezérigazgatója, Alon Yamin szerint az ő technológiájuk 99 százalékos pontosságú, és az oktatási intézményeknek csak javaslatokat ad. 

A GPTZero alapítója, Edward Tian szerint a cégük külön erőfeszítéseket tesz, hogy csökkentse az eredmények elfogultságát, különösen a nem angol anyanyelvű diákok esetében, és egyre nagyobb hangsúlyt helyeznek arra, hogy a tanárok az értékelés során tisztában legyenek az eredmények bizonytalanságával. 

Bizonyítani kényszerülnek a diákok 

A téves vádak miatt a tanulók rendkívüli erőfeszítéseket tesznek, hogy megvédjék a saját munkájuk hitelességét. Egy amerikai diák például felvételt készít az írás folyamatáról, a Google Dokumentumokban pedig folyamatosan követi a változtatásokat, hogy digitális nyomot hagyjon maga után. Nathan Mendoza pedig rendszeresen ellenőrzi a munkáját a GPTZeróval, de szinte több időt tölt azzal, hogy úgy fogalmazzon, hogy ne tűnjön MI-írásnak, mint magával a tényleges feladattal. A tanulók egy része már úgynevezett „MI-humanizáló” eszközöket használ, hogy automatizáltan átírja a munkáját, és így elkerülje a detektorok téves jelzéseit. 

Emellett számos diák lemondott az olyan nyelvi segédeszközökről, mint a helyesírás-javító Grammarly, amely képes a fogalmazásban is segíteni, ám így hozzájárulhat ahhoz, hogy a szövegeket az MI-detektorok mesterségesen generáltnak ítéljék. 

Új rendszerre van szükség 

A mesterséges intelligencia egyre inkább része az oktatásnak, és a tanárok egy része szerint együtt kellene dolgozni vele, mintsem kizárni azt. Adam Lloyd, a Marylandi Egyetem angoltanára inkább a saját megérzésére hagyatkozik, ha pedig kételyei támadnak egy dolgozattal kapcsolatban, személyesen elbeszélget a gyanúba keveredett tanulójával. 

A Bloomberg szerint a diákok és oktatók közötti bizalmatlanság, az MI-detektorok pontatlanságai és a technológiai eszközök népszerűsödése miatt a jelenlegi rendszer hosszú távon fenntarthatatlan. Az oktatási szférának új stratégiákra van szüksége, hogy kiegyensúlyozottabb és igazságosabb környezetet teremtsen mind a diákok, mind a tanárok számára a mesterséges intelligenciával való együttműködéshez.