Kā darbojas AI teksta detektori un cik tiem var ticēt latviešu valodā

AI detektors nesniedz pierādījumu, bet statistisku novērtējumu: tas aprēķina, cik ļoti teksta valoda atgādina mašīnas rakstītu. Detektori var kļūdīties abos virzienos, īpaši ar īsiem, formulāriem, pārfrāzētiem un nedzimtās valodas tekstiem. Ceļvedī paskaidrots, ko tie mēra, kāpēc latviešu valodā risks ir lielāks un ko darīt, ja darbu atzīmē kļūdaini.

Kā darbojas AI detektori: īsā atbilde

AI teksta detektors nenosaka, kas tekstu uzrakstījis. Tas aprēķina statistisku novērtējumu: cik paredzami ir vārdu izvēle un teikumu uzbūve salīdzinājumā ar tekstiem, uz kuriem detektors tika apmācīts. Ja teksts ir ļoti vienmērīgs un paredzams, rezultāts virzās uz „iespējams, mašīnas rakstīts“. Taču arī cilvēki raksta vienmērīgi un paredzami, tāpēc rezultāts var būt kļūdains, un to nekad nedrīkst izmantot kā vienīgo pierādījumu pret cilvēku.

Šajā ceļvedī paskaidrojam, ko detektori mēra, kāpēc latviešu valoda ar bagāto morfoloģiju un salīdzinoši nelielo atvērto tekstu apjomu ir sarežģīta vide, kādos gadījumos kļūdas ir visbiežākās un ko darīt, ja jūsu darbu kļūdaini atzīmē. Aprakstam izmantojam AdeptWrite AI detektora godīgo aprakstu, bet principi attiecas uz detektoriem kopumā.

Ko detektors faktiski mēra

Detektori neredz, kā teksts tapis. Tie redz tikai gatavu tekstu un meklē tajā pazīmes, kas statistiski biežāk sastopamas mašīnas rakstītos tekstos. Parasti tiek lietotas divas pieejas, un abas var apvienot.

1. Paredzamība (angliski „perplexity“)

Valodas modelis katram nākamajam vārdam piešķir varbūtību. Ja teksts sastāv no vārdiem, kurus modelis lielākoties būtu paredzējis pats, teksts uzskatāms par „paredzamu“. Mašīnas ģenerēts teksts bieži izvēlas visticamākos vārdus, tāpēc tas ir paredzamāks. Cilvēka teksts parasti satur negaidītākas izvēles, bet ne vienmēr: formulāra saziņa, standarta atskaites un skolas eseja arī ir ļoti paredzamas.

2. Teikumu variācija (angliski „burstiness“)

Cilvēki parasti sajauc īsus un garus teikumus, ievieš atkāpes un nevienmērīgu ritmu. Mašīnas teksts bieži ir vienmērīgāks: līdzīgs teikumu garums, līdzīga uzbūve, līdzīgi savienojuma vārdi. Detektors var aprēķināt, cik lielas ir šīs atšķirības, un to izmantot kā vienu no pazīmēm.

3. Mācīti klasifikatori

Daudzi detektori nelieto vienu mērauklu, bet mašīnmācīšanās modeli, kas apmācīts uz lieliem cilvēku un mašīnu tekstu kopumiem. Modelis mācās atšķirt pazīmes: vārdu un burtu virknes, pieturzīmju lietojumu, teikuma garumu, vārdu daudzveidību. Tā rezultāts ir skaitlis, ko detektors pārvērš joslā, piemēram, „iespējams cilvēka rakstīts“, „jaukts vai nenoteikts“ un „iespējams mašīnas rakstīts“.

Visos gadījumos jāatceras, ka tas ir aprēķins, kas balstīts uz paraugiem. Detektors ir tikpat labs, cik labi ir paraugi, uz kuriem tas mācīts, un jauni valodas modeļi raksta citādi nekā tie, kas bija apmācības laikā.

Kāpēc latviešu valodā kļūdu risks ir lielāks

Pamatojoties uz to, kā darbojas šāda veida modeļi, ir vairāki iemesli piesardzībai. Daļu no tiem mēs nevaram apstiprināt ar mērījumiem latviešu valodā, tāpēc tos jālasa kā iemeslus piesardzībai, nevis kā izmērītus faktus.

1. Bagāta morfoloģija. Latviešu valodā viens vārds parādās daudzās formās: students, studenta, studentam, studentu, studentiem, studentos. Statistikas modeļiem, kas skaita vārdu un burtu virknes, tas nozīmē vairāk dažādu formu un mazāk atkārtojumu katrai, tātad datu „retināšanu“. Tāpēc rezultāti kļūst mazāk stabili nekā valodās ar vienkāršāku vārdu formu sistēmu.
2. Mazāks apmācības datu apjoms. Latviešu valodā ir mazāk tekstu nekā angļu valodā, tāpēc gan detektoram, gan ģeneratoram ir mazāk paraugu. Ģenerētais latviešu teksts bieži izskatās neveiklāk nekā angļu, un tas var palīdzēt, bet var arī radīt citus paveidus, uz kuriem detektors nav mācīts.
3. Mazāk izmērītu rādītāju. Detektoru kvalitātes pētījumi lielākoties veikti angļu valodā. Par latviešu valodu ir mazāk neatkarīgu mērījumu. AdeptWrite lapā ir teikts, ka konkrētai valodai detektors var rādīt, ka precizitāte vēl nav izmērīta vai ka valoda netiek atbalstīta, un tas tiek parādīts atklāti, nevis aizstāts ar skaitli.
4. Mācību valoda un oficiālais stils. Lietišķi, juridiski un akadēmiski teksti latviski ir ļoti formulāri: „saskaņā ar“, „tiek veikta“, „nodrošina“, „ņemot vērā“. Šādi cilvēku teksti statistiski var līdzināties mašīnas tekstam.
5. Tulkojumi. Latviski iztulkots teksts bieži ir vienmērīgāks par oriģinālu un var tikt atzīmēts.

Kad detektori kļūdās visbiežāk

Svarīga atziņa: kļūdas notiek abos virzienos. Detektors var atzīmēt cilvēka rakstītu tekstu un var palaist garām mašīnas rakstītu. Tāpēc zems rezultāts nav apliecinājums, ka teksts rakstīts pats, bet augsts rezultāts nav pierādījums par pretējo.

Piemērs: kāpēc godīgs teksts var izskatīties „mašīnisks“

Izdomāts, ilustratīvs piemērs: students raksta ievadu referātam un ievēro skolā mācīto shēmu.

Mūsdienās sociālie tīkli ir kļuvuši par svarīgu mūsu dzīves daļu. Tie sniedz daudzas iespējas, bet arī rada riskus. Šī darba mērķis ir izpētīt sociālo tīklu ietekmi uz jauniešiem. Darbā tiks aplūkoti trīs galvenie aspekti.

Teikumi ir līdzīga garuma, sākas ar ierastiem izteicieniem („Mūsdienās“, „Šī darba mērķis ir“), un nav neviena nepārprotami personiska formulējuma. Šāds teksts ir pilnīgi cilvēciski, bet statistiski ļoti paredzams. Tas ir tieši tas, kas var palielināt „mašīnas“ rādītāju.

Tas pats saturs ar konkrētāku, personiskāku sākumu:

Pērn mūsu klasē vairāk nekā pusei skolēnu telefonā bija vismaz trīs sociālo tīklu lietotnes, un lielākā daļa tās atvēra jau pirms brokastīm. Šajā referātā noskaidroju, kā tas ietekmē jauniešu miegu un mācības.

Tur ir konkrēta vērojuma detaļa, mainīgs ritms un autora balss. Tas nedod garantiju, ka detektors teksts nenosauks par mašīnas rakstītu, bet parāda, kāpēc konkrētība un personiskā pieredze parasti dara tekstu mazāk šablonisku. Svarīgi: mērķis nav „apmānīt detektoru“, bet rakstīt labāku tekstu. Piemēru izdomājām ilustrācijai, un tas nav mērījums.

Kā darbojas AdeptWrite AI detektors

AdeptWrite AI detektors ir veidots, lai nekad nepiedāvātu skaitli kā noteiktu faktu. Tas darbojas šādi.

• Statistiskā daļa tiek izpildīta jūsu pārlūkā: teksts netiek nosūtīts, lai iegūtu pamata novērtējumu.
• Ielīmējiet vismaz 40 vārdu un ne vairāk kā 6000 rakstzīmju.
• Rezultāts ir josla (iespējams cilvēka rakstīts, jaukts vai nenoteikts, iespējams mašīnas rakstīts) ar aptuvenu rādītāju, kas vienmēr tiek rādīts kā aptuvens, nevis kā 0 % vai 100 %.
• Tiek izcelti teikumi, kas visvairāk atgādina mašīnas rakstītu. Tas ir vājāks pierādījums nekā kopējais novērtējums.
• Zem rezultāta tiek parādīti ierobežojumi un brīdinājums, ka rezultātu nedrīkst izmantot kā vienīgo pierādījumu pret cilvēku.
• Neobligātā padziļinātā analīze nosūta tekstu AI modelim kā otru viedokli, bet tikai ar jūsu piekrišanu. Šis apvienotais rezultāts ir eksperimentāls.

Ko rīks nesola: tas nesola noteiktu precizitāti latviešu valodā, nav paredzēts vērtēšanai vai disciplinārlietām, un tas nespēj droši atpazīt pārrakstītu vai „humanizētu“ mašīnas tekstu. Ja detektors konkrētai valodai vēl nav izmērīts vai neatbalsta to, tas to norāda, nevis rāda maldinošu skaitli. Šo tekstu rakstīšanas laikā latviešu valodas izmērītie rādītāji nav publicēti, tāpēc tos šeit nenosaucam.

Ja jūsu darbu kļūdaini atzīmē kā mašīnas rakstītu

Tas notiek un ir nepatīkami. Rīkojieties mierīgi un pa soļiem.

1. Pajautājiet, kas tieši ir atzīmēts un ar kādu rīku. Dažādi detektori dod atšķirīgus rezultātus, un procents bez paskaidrojuma nav pierādījums.
2. Savāciet darba tapšanas pēdas. Melnraksti, dokumenta versiju vēsture (piemēram, tekstapstrādes programmas izmaiņu vēsture), piezīmes, avotu saraksts, laika zīmogi. Tas ir daudz spēcīgāks pierādījums par jebkuru detektora procentu.
3. Esiet gatavi izskaidrot savu darbu. Pārstāstiet tēmu savos vārdos, izskaidrojiet izvēlētos avotus un secinājumus. Pasniedzējs bieži var pārliecināties par autorību sarunā.
4. Norādiet uz detektoru ierobežojumiem. Ir atzīts, ka detektori var kļūdīties, īpaši ar formulāriem un nedzimtās valodas tekstiem. Jūs varat atsaukties uz paša detektora izstrādātāja brīdinājumiem.
5. Iepazīstieties ar savas iestādes kārtību. Studiju nolikumā vai ētikas kodeksā jābūt aprakstītam, kā izskata šādus jautājumus un kā var iesniegt apelāciju. Mēs nenosaucam konkrētus pantus, jo tie atšķiras starp iestādēm.
6. Pārbaudiet paši. Pārbaudiet savu tekstu ar AI detektoru un ar plaģiāta pārbaudi, lai redzētu, kuri teikumi izskatās šabloniski, un pārrakstiet tos konkrētāk.

Padomi pasniedzējiem, redaktoriem un darba devējiem

• Izmantojiet detektora rezultātu kā iemeslu sarunai, nevis kā spriedumu.
• Salīdziniet ar autora iepriekšējiem darbiem: stils, vārdu krājums, tipiskas kļūdas.
• Pieprasiet tapšanas pēdas: plānu, melnrakstu, avotu piezīmes.
• Jautājiet par saturu: ja autors var izskaidrot argumentus un atbildēt uz papildu jautājumiem, tas ir spēcīgāks signāls nekā procents.
• Neizmantojiet vienu rīku. Divi detektori var dot pretējus rezultātus.
• Ņemiet vērā, ka latviski rakstoši cilvēki, kuriem latviešu valoda nav pirmā valoda, ir īpaši pakļauti kļūdainam atzīmējumam.
• Paziņojiet studentiem un autoriem, kādi ir noteikumi par MI izmantošanu, pirms to pārbaudāt.

Kā rakstīt tā, lai teksts būtu uzticams

Mērķis ir nevis pārspēt detektoru, bet uzrakstīt tekstu, kas ir jūsu. Tam palīdz šādi ieradumi.

• Sāciet ar savu pieredzi vai konkrētu piemēru, nevis ar vispārīgu frāzi par „mūsdienām“.
• Mainiet teikumu garumu. Pēc gara teikuma ļaujiet īsu.
• Izvairieties no ierastiem aizpildītājiem, piemēram, „ir svarīgi atzīmēt“, „tādējādi var secināt“.
• Pierakstiet avotus un darba posmus, lai vajadzības gadījumā varētu parādīt, kā darbs tapa.
• Ja izmantojat MI palīdzību, norādiet to tā, kā to prasa noteikumi. Ja izmantojat tulkošanas vai gramatikas rīkus, ņemiet vērā, ka tie var mainīt teksta statistiku, un arī AdeptWrite detektora lapā tas ir minēts kā ierobežojums.
• Pārlasiet un papildiniet ar savu balsi. Pēc pārbaudes ar gramatikas pārbaudi pārlasiet tekstu un atgrieziet vietas, kur rīks izlīdzināja jūsu stilu.
• Pārbaudiet lasāmību ar lasāmības pārbaudi: ļoti vienmērīgs rādītājs visā tekstā dažkārt norāda uz šablonisku rakstību.

Biežākās kļūdas, lietojot detektorus

• Rezultāta uztvere kā sprieduma. Tā ir aplēse.
• Īsu fragmentu pārbaude. Zem apmēram 150 vārdu rezultāts ir daudz mazāk uzticams.
• Viena rīka ticēšana. Salīdziniet un domājiet kritiski.
• Cilvēka vērtējuma aizstāšana ar procentu.
• Pieņēmums, ka „0 %“ nozīmē, ka teksts rakstīts pašu.
• Mēģinājums „apmānīt“ detektoru ar pārfrāzēšanu. Tas ne tikai nav droši, bet arī var pārkāpt noteikumus par godprātību. Labāk ir saprast, kāpēc teksts izskatās šabloniski, un uzrakstīt to labāk.

Noslēgumā

AI detektors ir statistisks palīgs, nevis tiesnesis. Latviešu valodā piesardzība ir vēl svarīgāka, jo valodas formu bagātība un salīdzinoši maz pētījumu apgrūtina mērījumus. Izmantojiet rezultātu kā ierosmi sarunai un labākam tekstam, uzglabājiet darba tapšanas pēdas un nekad nebalstiet lēmumu par cilvēku tikai uz procentu.

← Visi ceļveži