Как работят AI детекторите и може ли да им се вярва: честен преглед за ученици и преподаватели

AI детекторът сравнява текста със статистически белези на машинно писане, например колко предвидими са думите и колко си приличат изреченията, и връща вероятност. Това е оценка, не доказателство. Детекторите грешат, особено при кратки, формални или чужди на автора текстове, затова резултатът не бива да е единствената причина някой да бъде обвинен.

Какво прави един AI детектор

AI детекторът не „чете“ текста като учител и не открива кой го е написал. Той измерва белези в самия текст и ги сравнява с примери, на които е бил обучен: някои са писани от хора, други от езикови модели. На излизане дава число или етикет от рода на „вероятно писано от човек“, „смесено“ или „вероятно от ИИ“.

Важното е какво не прави. Не вижда история на документа, не знае кой е седял пред клавиатурата и не може да докаже авторство. Резултатът е статистическа оценка за това колко текстът прилича на машинен, не факт за произхода му. Тази разлика е основата на всичко по-долу.

Основни подходи: предвидимост, вариация и обучен класификатор

Различните детектори комбинират няколко идеи. Разбирането им помага да се види и къде се чупят.

Нито един от тях не търси „печат“ или скрит знак в текста. Всичко е вероятност, изчислена от стила.

Защо резултатът е вероятност, а не присъда

Дори добре направен детектор бърка в две посоки. Понякога обявява човешки текст за машинен (фалшиво положителен). Понякога пропуска машинен текст (фалшиво отрицателен). Двете грешки се свързват: ако праговете се свалят, за да се хванат повече машинни текстове, се увеличават и грешно обвинените хора.

Затова числото „73 %“ не значи „с 73 % вероятност този текст е от ИИ“. Често то е резултат, калибриран върху тестови данни, в които машинните и човешките текстове са поравно. Реалният текст пред вас може да е различен от тях по жанр, дължина и език, и тогава числото казва по-малко, отколкото изглежда.

Кои текстове детекторите оценяват най-грешно

Особено внимание заслужават няколко случая, които са добре познати при този вид инструменти:

• Кратки текстове. Под около 150 думи сигналът е слаб. Един абзац от домашно или кратък отговор не носи достатъчно информация.
• Формални и шаблонни текстове. Молба до общината, определение в курсова работа, резюме по строго зададен образец и юридически формули са предвидими по природа.
• Автори, за които българският не е майчин език. Простите конструкции, повтарящите се връзки и заучените изрази могат да направят текста по-„равен“, отколкото е типично за роден говорител.
• Редактирани текстове. Чернова от ИИ, която е преработена на ръка, често се губи. Обратно, човешки текст, изгладен с граматичен или перифразиращ инструмент, може да получи етикет „смесено“.
• Нови езикови модели. Нов езиков модел пише различно от моделите, на които детекторът е тестван, и може да остане незабелязан.

Какво е специфично за български и кирилица

Детекторът трябва първо да разпознае писмеността. AI детекторът на AdeptWrite очаква кирилица за български и показва бележка, ако поставите латиница, например текст на „шльокавица“ или английски. Това не е грешка, а предупреждение, че оценката е за друг вид текст.

Втората особеност е данните. Публичните набори за обучение на детектори са много по-богати на английски, отколкото на български. Затова за български не твърдим измерена точност, която да е доказана за училищни и студентски текстове. При детектора на AdeptWrite за езици без достатъчна проверка резултатът идва с бележка, че точността не е измерена, и трябва да се чете с допълнителна предпазливост. Ако видите такава бележка, приемете оценката само като ориентир.

Още нещо, характерно за български: машинните текстове често правят дребни езикови грешки, които не са типични за образован автор, например грешки с членуването („пълен и кратък член“), несъгласуване на род и число или неестествен словоред. Те могат да насочат читателя, но са слаб довод. Студент също бърка члена, а добре проверен машинен текст не го бърка. Затова граматиката сама не доказва нищо.

Как е устроена оценката на AdeptWrite

Инструментът AI детектор показва оценка „≈ NN %“, винаги със знака „≈“ и никога 0 % или 100 %, както и един от три етикета: „вероятно писан от човек“, „смесено или несигурно“ и „вероятно създаден от ИИ“. Към нея добавя:

• изречения, които „звучат машинно“, като по-слаб довод от общата оценка;
• измерените резултати от тест върху непознати за модела текстове и ограниченията, написани открито;
• изричното предупреждение, че резултатът не бива да е единственото доказателство срещу човек.

Минимумът е 40 думи, а на едно пускане се проверяват до 6 000 знака. Основната оценка се изчислява в браузъра ви. По желание можете да поискате допълнителен „дълбок анализ“, който изпраща текста към езиков модел само за тази заявка. Текстът не се съхранява (вижте Политиката за поверителност).

Тук не цитираме цифри за точност, защото за български няма проверка, която да докаже определена стойност. Числата, измерени върху тестовия набор, са публикувани на страницата на инструмента, заедно с езиците, за които са валидни.

Ако текстът ви е отбелязан погрешно: какво да направите

Ако сте написали текста сами и детектор или преподавател го отбелязва, действайте спокойно и подредено:

1. Попитайте на какво се основава твърдението. Резултатът от детектор е сигнал за разговор, не решение. Помолете да видите точния отчет и мястото в текста.
2. Съберете следи от писането. История на версиите в Google Документи или Word, чернови, бележки, източници, които сте ползвали, и снимки на ръкописни планове са по-силни от всеки процент.
3. Бъдете готови да обясните текста устно. Преподавател може да ви помоли да разкажете аргументите, да обясните избор на дума или да допишете абзац на място. Който е писал сам, го прави лесно.
4. Проверете за други причини. Дали сте изгладили текста с автоматичен инструмент? Дали е кратък и шаблонен? Кажете го честно.
5. Потърсете процедурата. Училищата и университетите имат правилници и етични кодекси. Попитайте кой решава и как се обжалва. Ако институцията ви няма изрично правило за ИИ, питайте научния ръководител или класния ръководител какво се допуска.

Не се опитвайте да „надхитрите“ детектора. Преправянето на текст само за да смени етикета не доказва авторство и може да влоши самия текст.

За преподаватели и ръководители: как да използвате резултата отговорно

Ако проверявате работи, детекторът може да е помощен сигнал, но не и основание за санкция. Няколко практични правила:

• Никога не се основавайте само на число. Сравнете с предишни работи на ученика, с устния отговор и с източниците.
• Бъдете особено внимателни към ученици и студенти, които пишат на български като втори език, и към кратки или шаблонни задачи.
• Кажете предварително какво е позволено. Ясно правило за ползване на ИИ (чернова, план, проверка на езика, забрана) предотвратява повечето спорове.
• Приемете, че липсата на сигнал не е доказателство за честност, а наличието му не е доказателство за измама.
• Дайте на автора възможност да отговори, преди да се стигне до решение.

Правилата за допустимо ползване се определят от вашето училище или университет. Тук не можем да ги заместим, затова потърсете актуалния документ на институцията си.

Проверка на практика: примерен абзац

Следният кратък абзац е съставен за целите на това ръководство:

„Градският транспорт е важна част от ежедневието на жителите. Той осигурява връзка между различните части на града. Освен това той допринася за намаляване на замърсяването. Поради това развитието му е от съществено значение.“

Тези четири изречения са с близка дължина, започват по сходен начин и са пълни с общи думи: „важна част“, „освен това“, „от съществено значение“. Детектор вероятно ще ги отчете като по-близки до машинен текст. Но точно така пише и ученик, който бърза с домашно по шаблон. Сега същата мисъл с лични наблюдения:

„Всяка сутрин чакам автобуса на спирката до пазара. Когато закъснее, съм на училище след звънеца. Мисля, че ако автобусите минават по-често, по-малко родители ще карат децата си с кола.“

Втората версия е по-конкретна и с различна дължина на изреченията. Детекторът вероятно ще е по-спокоен, но това не доказва нищо за автора. Пример за по-добър навик: добавяйте реални детайли, собствени наблюдения и източници, защото това прави текста вашият, а не за да заблудите инструмент.

Контролен списък преди да се доверите на резултат

• Текстът има ли поне 150 думи и не е ли само един кратък отговор?
• Езикът и писмеността съвпадат ли с очакваните (кирилица за български)?
• Има ли бележка, че точността за този език не е измерена?
• Може ли авторът да покаже чернови или история на версиите?
• Има ли и други данни освен процента: устен отговор, предишни работи, източници?
• Знаят ли всички правилата на институцията за ИИ?
• Дали текстът не е бил изглаждан с граматичен или перифразиращ инструмент?

Как да използвате инструментите на AdeptWrite разумно

Ако пишете сами и искате да видите как би изглеждал текстът ви пред детектор, поставете го в AI детектор и четете резултата като оценка. За собствените ви цитати и позовавания е по-подходяща Проверка за плагиатство, която търси съвпадения с отворени източници, различна задача от откриването на ИИ. Ако искате да подобрите езика, използвайте Проверка на граматика, но имайте предвид, че текст, коригиран с такива инструменти, също може да получи етикет „смесено“. Повече за границата между чуждо и свое четете в ръководството Какво е плагиатство и в Как да перифразираме текст.

← Всички ръководства