Eksperimentā četras esejas rakstīja Siguldas Valsts ģimnāzijas vidusskolēni ar noteikumu, ka esejā nedrīkst izmantot mākslīgā intelekta programmu "ChatGPT", bet var lietot dažādus interneta resursus. Savukārt trīs esejas rakstīja robots. Darbus vērtēja septiņi eksperti.
ĪSUMĀ:
- Četras esejas rakstīja 12. klases skolēni, trīs – robots.
- Eseju autorus precīzi noteica tikai ChatGPT lietpratēja, pētniece Iveta Kažoka un viens pedagogs.
- Pārējie pieci skolotāji kļūdījās, mēģinot saprast darba rakstītāju.
- Eseju autorus nepareizi noteica arī roboti detektori.
- Pedagogu vērtējumā labāko eseju uzrakstīja robots.
Eksperimentā – četri skolēni, robots un septiņi vērtētāji
Ģimnāzijas 12. klases skolnieks Justs Jēkabsons atzina, ka esejas skolā liek rakstīt diezgan bieži, it sevišķi bioloģijā. Viņš mākslīgo intelektu izmantojis, bet ir arī pieķerts:
"Es ar labāko draugu ļoti daudzās vietās to izmantojām, mājasdarbus pildot arī. Vienreiz izmantojām pat latviešu valodas prezentācijas uztaisīšanai.
Bet mana kļūda bija tāda, ka nepārbaudīju, un latviešu valodas ziņā tas vēl nav tik labs. Beigās es dabūju divi.
Eseju rakstīja arī 12. klases skolnieks Uldis Andrejs Kurpnieks, kurš ikdienā izmanto plaši zināmo robotu ChatGPT, kas, pēc viņa domām, labi tiek galā ar programmēšanu. Eksperimentā piedalījās arī 12. klases skolnieks Ivars Melnis, kurš mākslīgā intelekta programmu neizmanto, un 12. klases skolniece Elīna Boldāne, kura, esejas rakstot, robotu nelieto, bet to izmanto, piemēram, gatavojoties pārbaudes darbiem, ja kādu lietu neizprot.
Trīs esejas radīja robots. Jautājumus robotam uzdeva angliski un pēc tam viņa sniegto atbildi pārtulkoja latviski jau ar cita robota palīdzību.
Esejas vērtēja seši fizikas skolotāji: Marta Britāla no Rīgas Angļu ģimnāzijas, Valters Kazulis no Jūrmalas Pumpuru vidusskolas, Kārlis Dagis no Jelgavas Valsts ģimnāzijas, Ansis Stabingis no Ādažu brīvās Valdorfa skolas, Eva Ramuse no Rīgas Centra humanitārās vidusskolas un Raitis Streičs – fizikas skolotājs Rīgas 64. vidusskolā, fizikas portāla "FizMix" direktors.
Esejas vērtēja arī domnīcas "Providus" direktore un vadošā pētniece Iveta Kažoka, kura ar ChatGPT aizrāvusies jau kopš tā pirmajām versijām un izmanto tā sniegtās iespējas arī savā darbā.
Kuru eseju rakstīja robots, kuru – skolēns?
Fragments no esejas Nr. 1
"Jau senos laikos cilvēks novēroja, ka vējš spēj kustināt dižus priekšmetus kā kokus. Ar vējautu palīdzību ļaudis spēja izmantot šo vēja spēku, lai kustinātu dzirnakmeņus graudu malšanai. Kad plašāk nāca klajā elektrības esamība un veidi, kā to pielietot un iegūt, nebija vajadzīga liela piepūle, lai izdomātu, ka spēcīgo vēju var izmantot elektroenerģijas ieguvei."
Skolotāju komandai nebija vienota viedokļa – trīs teica, ka šo eseju rakstīja robots, divi – ka skolēns, bet viens atzina – patiešām nezina, kurš.
Šaubījās arī Kažoka, jo esejas struktūra esot, kā mākslīgā intelekta radīta, bet kaut kas ir arī no skolēna:
"Dažu vārdu un dažu teikuma konstrukciju izvēle – "ar vējauta palīdzību ļaudis spēj izmantot šo vēja spēku’". Es nezinu, no kurienes skolēni zina vārdu vējauts, bet varbūt, ka ir kādās grāmatās, līdz ar to man šķita, ka šī eseja ir par labu cilvēkam."
Pareizā atbilde: eseju rakstīja skolēns.
Eseja Nr. 2
"Kad paskatās uz vēja turbīnu, pirmais, kas iekrīt acīs, ir tās lielās lāpstiņas. Šie asmeņi ir īpaši izstrādāti, lai uztvertu vēja enerģiju. Kad vējš plūst pār tiem, tas izraisa pacēlumu, kas ir līdzīgs aerodinamiskajam spēkam, kas liek lidmašīnām lidot. Pēc tam šis pacēlums liek asmeņiem griezties. Asmeņi ir savienoti ar rotoru, un, lāpstiņām griežoties, griežas arī rotors."
"Te ir skaidrs sākums un nobeigums. Tas vienmēr ir mākslīgais intelekts," vērtēja Kažoka.
Un vēl poētismi.
"Latvijas plašajos, zaļajos laukos taps spēcīgs ilgtspējas un progresa simbols – mākslīgais intelekts pavisam noteikti! Ne tāpēc, ka tas ir labi, bet tāpēc, ka latviski tā neraksta. Tas nav mūsu domrakstu stils," turpināja Kažoka.
Četri skolotāji uzskatīja, ka to rakstīja mākslīgais intelekts, divi – ka skolēns.
Pareizā atbilde: eseju rakstīja robots.
Eseja Nr. 3
"Vērpšanas asmeņi ir piestiprināti pie vārpstas, kas ieiet vēja ģeneratora sirdī, kas atrodas sadaļā, ko sauc par gondolu. Šeit vārpstas kustību gaida pārnesumkārba. Pārnesumkārbas galvenā funkcija ir palielināt vārpstas griešanās ātrumu. Kamēr ārējie lāpstiņas vējā var nesteidzīgi griezties, ģeneratora iekšpusē mehānikas burvība pastiprina šo kustību līdz daudz ātrākam tempam, kas nepieciešams efektīvai enerģijas ražošanai."
"Ļoti loģisks un labs izklāsts par to, kādā veidā tā elektrība tiek ģenerēta. Tas nav raksturīgs skolēna līmenim. Plus vēl konstruēts kā stāsts – iedziļināsimies, iepazīstieties. Jā, tas ir raksturīgi šobrīd mākslīgajam intelektam," vērtēja Kažoka.
Arī vārds "asmeņi" liek domāt par angļu valodas vārdu "blades", bet šajā kontekstā tas nebūs īstais vārds.
Pieci pedagogi uzskatīja – tas ir mākslīgā intelekta darbs, bet viens – skolēna.
Pareizā atbilde: eseju rakstīja robots.
"Es atvainojos tam skolēnam, bet mākslīgais intelekts nepārraksta internetā atrodamos resursus, skolēni gan.
Neticu, ka skolēns visu saprot, ko šeit ir uzrakstījis par tehnisko vēja ģeneratoru funkcionēšanu, bet es pilnīgi ticu, ka kaut kur internetā līdzīgs teksts ir atrodams. Mākslīgais intelekts tā nedara," skaidroja pētniece.
Pieci pedagogi domāja, ka šo rakstījis skolēns, viens – ka robots.
Pareizā atbilde: eseju rakstīja skolēns.
Eseja Nr. 5
"Elektroģeneratoram, saņemot mehānisko rotācijas enerģiju, tiek griezta elektroģeneratora ass, uz kuras parasti ir uztīti vadi. Šie vadi, kustoties magnētiskajā laukā, kuru rada magnēti, rodas vados strāva, jo, mainoties magnētiskajai plūsmai vados, rodas elektrodzinējspēks jeb spriegums, kas rada strāvu, kura ir gala elektroenerģija, kuru var vēlāk izmantot."
Kažoka vērtēja:
"Cilvēku nodeva pēdējā rindkopa – "tad īsumā vēja ģeneratoru darbību var paskaidrot šādi" –, un tad ir citāts. Mākslīgais intelekts tā nedara."
Trīs pedagogi domāja, ka tas ir skolēna darbs, viens – eseju rakstīja robots, bet diviem skolotājiem bija grūti pateikt.
Pareizā atbilde: eseju rakstīja skolēns.
"Kad elektrība ir saražota, tā uzreiz nenonāk mūsu mājās. Pirmkārt tā iet caur transformatoru vai nu turbīnas pamatnē, vai tuvējā apakšstacijā. Transformatora uzdevums ir pārveidot elektroenerģiju no ģeneratora uz augstāku spriegumu, padarot to piemērotu piegādei pa elektropārvades līnijām. Augstsprieguma elektroenerģija ir efektīvāka pārvietošanai lielos attālumos, jo tā samazina enerģijas zudumus."
Kažoka atzina – ļoti labi uzrakstīts teksts, tas ir robota rokraksts. Savukārt pedagogu domas dalījās: četri bija par robotu, divi – par skolēnu.
Pedagogi uzskatīja, ka šī, iespējams, ir labākā no visām septiņām esejām – doma ir spēcīga, skaidri noformulēta, vienīgi valoda mazliet lieki izpušķota.
Pareizā atbilde: eseju rakstīja robots.
Redz, robots uzrakstīja labāko šī eksperimenta eseju.
Eseja Nr. 7
"Vēja turbīnas ir ļoti labs alternatīvās enerģijas jeb zaļās enerģijas iegūšanas veids. Šobrīd ir jānodrošina aizvien lielāks elektroenerģijas pieprasījums, un vēja enerģija gan no ekonomiskā, gan vides viedokļa ir ļoti labs risinājums. Mūsdienās, pateicoties tehnoloģijas straujai attīstībai, turbīnas kļūst aizvien lielākas un efektīvākas."
Gan pedagogi, gan arī Iveta Kažoka uzskatīja – tas noteikti ir skolēna darbs.
"Ļoti vienkārši teikumi. Izskatās pēc cilvēka rakstīta teksta, kur cilvēks domā līdzi, ko viņš raksta, bet nemēģina izskaistināt savus teikumus un nelieto terminoloģiju, kas latviešu valodai nav raksturīga,"
skaidroja Kažoka.
Pareizā atbilde: eseju rakstīja skolēns.
Eksperimenta kopvērtējums: "ChatGPT" lietpratējai Ivetai Kažokai ar eseju autoru atpazīšanu veicās precīzi, bet no sešiem pedagogiem tikai viens pilnīgi pareizi noteica, kurš ko ir rakstījis, pārējie skolotāji tomēr kļūdījās.
Secinājums: Ja skolēns grib paslinkot un skolotājs uz nagiem īsti neskatās, tad gana mierīgi var šo darbiņu uzticēt robotam.
Vai robots atpazīst robotu?
Eksperimentā esejas uzdevām atpazīt arī robotiem detektoriem. Šobrīd tādi internetā atrodami vairāki, piemēram, "ZeroGPT", "Scribbr", "Winston AI".
Piemēram, par pirmo eseju visi trīs detektori ar ļoti lielu varbūtību teica, ka tas ir cilvēka darbs, un tā ir taisnība. Taču, piemēram, par septīto eseju, kuru visi pedagogi un arī Kažoka precīzi noteica kā skolēnu darbu, detektori teica pavisam ko citu. "ZeroGPT" uzskatīja, ka 70% teksta ir ģenerējis mākslīgais intelekts, "Scribbr" arī pieļāva, ka tas ir plaģiāts, savukārt "Winston AI" atzina, ka no šī darba cilvēka radīts teksts ir vien 7% – to ir radījis mākslīgais intelekts. Taču kļūdījās – šo eseju rakstīja cilvēks.
Tātad ne cilvēki, ne roboti-detektori spēj precīzi noteikt, kas ir kas.
"Šobrīd mākslīgā intelekta rakstīto tekstu detektori nav tik labi un precīzi, lai spētu noteikt, kas ir rakstīts ar mākslīgā intelekta palīdzību un kas – ne. Ir vairāki pētījumi, kas parāda, ka tieši attiecībā pret cilvēkiem, kuriem angļu valoda nav dzimtā valoda, tie ir vēl sliktāki kā noteicēji. Turklāt tie ir ļoti viegli apejami," norādīja Kažoka.
