Hoe werkt een AI-detector en hoe betrouwbaar is hij?

Een AI-detector berekent op basis van patronen in woordkeuze en zinsbouw hoe waarschijnlijk het is dat een tekst door een taalmodel is geschreven. De uitkomst is een statistische schatting, geen bewijs. Korte, formele of door tweedetaalschrijvers geschreven teksten worden vaker onterecht gemarkeerd, en bewerkte AI-tekst wordt vaak gemist.

Het korte antwoord

Een AI-detector is een rekenmodel dat een tekst vergelijkt met patronen die het heeft geleerd van een grote verzameling teksten van mensen en van taalmodellen. Het geeft geen antwoord op de vraag "wie heeft dit geschreven?", maar op de vraag "lijkt deze tekst statistisch meer op voorbeelden van AI of op voorbeelden van mensen?". Het resultaat is dus een schatting. Een score is geen bewijs, in geen van beide richtingen: een hoge score kan onterecht zijn en een lage score kan een bewerkte AI-tekst missen.

Dat geldt voor elke detector, ook voor de AI-checker van AdeptWrite. Wie een leerling, student of medewerker wil beoordelen, doet er verstandig aan een detectoruitslag hooguit als aanleiding voor een gesprek te gebruiken en nooit als enig bewijs.

Hoe werkt een AI-detector technisch?

Er bestaan verschillende methoden. De meeste detectoren combineren er een paar.

Voorspelbaarheid van woorden

Een taalmodel schrijft door steeds het volgende woord te kiezen dat statistisch goed past. Daardoor zijn zijn teksten vaak gelijkmatiger en voorspelbaarder dan teksten van mensen, die vaker een onverwacht woord of een ongewone zinswending kiezen. Sommige detectoren meten die voorspelbaarheid met een taalmodel van zichzelf.

Variatie in zinslengte en stijl

Mensen wisselen vaak tussen korte en lange zinnen en laten hun stijl wat schommelen. Door AI geschreven tekst blijft soms opvallend gelijkmatig. Dat zie je terug in kenmerken als zinslengte, woordherhaling en het gebruik van verbindingswoorden. Stilometrie, het meten van schrijfstijl, werkt hiermee.

Een getraind classificatiemodel

Bij deze aanpak laat men een model leren van duizenden voorbeelden van mensenteksten en AI-teksten, en daarna geeft het bij een nieuwe tekst een kans af. De kwaliteit hangt sterk af van de voorbeelden: een model dat is getraind op bepaalde AI-systemen herkent nieuwe systemen minder goed, en een model dat vooral Engels heeft gezien, is voor het Nederlands minder zeker.

Wat dit betekent voor de uitslag

Omdat alle methoden op patronen berusten, is de uitslag nooit zeker. Dezelfde tekst kan bij twee detectoren een heel andere score krijgen, en een tekst die je morgen iets aanpast, kan een andere score krijgen. Dat laat zien dat de score iets zegt over statistische kenmerken, niet over de werkelijke herkomst.

Waarom detectoren zich vergissen

Valse positieven: een mens wordt aangemerkt als AI

Dit is de ernstigste fout, omdat er iemand beschuldigd kan worden. Het risico is groter bij:

• Formele schoolstijl. Een verslag of werkstuk met een vaste opbouw ("In deze alinea wordt besproken dat...", "Samenvattend kan worden gesteld dat...") bestaat uit voorspelbare zinnen. Leerlingen leren die opbouw op school juist aan.
• Schrijvers voor wie Nederlands een tweede taal is. Wie met een beperkte woordenschat en eenvoudige zinnen schrijft, schrijft ook voorspelbaarder. Een inburgeraar, een internationale student of een anderstalige stagiair loopt daarom een groter risico op een onterechte markering. AdeptWrite heeft nog niet voor elke taal gemeten hoe vaak dat gebeurt; zie een "waarschijnlijk AI"-uitslag op zulk werk met extra voorzichtigheid.
• Korte teksten. Een e-mail, een antwoord van drie zinnen of een samenvatting bevat te weinig materiaal voor een betrouwbare schatting.
• Zakelijke standaardtekst. Een bedankbrief, een sollicitatiebrief met vaste formules of een productbeschrijving volgt een sjabloon en lijkt daardoor op wat een model zou maken.
• Tekst die met een hulpmiddel is nagekeken. Een tekst waarin een grammatica- of herschrijftool zinnen heeft aangepast, kan als "gemengd" of "waarschijnlijk AI" worden getoond. Dat geldt ook voor de eigen tools van AdeptWrite.

Hieronder staan twee verzonnen voorbeelden ter illustratie.

Voorbeeld A, door een mens geschreven, maar voorspelbaar: "Het doel van dit onderzoek is inzicht te krijgen in de oorzaken van personeelsverloop. Hiervoor zijn drie interviews afgenomen. De resultaten worden in hoofdstuk 4 besproken." Elke zin is kort, neutraal en volgt de standaardopbouw van een verslag. Een detector kan dit als machinaal lezen, hoewel een mbo-student het gewoon zelf schreef.

Voorbeeld B, persoonlijk en onregelmatig: "Eerlijk gezegd had ik het gesprek met mevrouw Aksoy niet verwacht: ze begon over haar eerste baan bij de bakker, en daar liep alles ineens anders." Met eigen details, een ongewone volgorde en een persoonlijke toon scoort zulke tekst doorgaans lager. Maar ook dat is geen garantie: een model kan zo'n zin nabootsen als je het vraagt.

Valse negatieven: AI-tekst glipt erdoorheen

Een tekst die een taalmodel heeft geschreven en die daarna is herschreven, ingekort of "menselijker" gemaakt, wordt vaak niet herkend. Ook nieuwe modellen worden slechter herkend dan de modellen waarop een detector is getraind. Wie een detectoruitslag "waarschijnlijk mens" krijgt, mag daaruit dus niet afleiden dat er geen AI is gebruikt.

Gemengde teksten

Veel echte teksten zijn deels door een mens en deels door AI geschreven, of door een mens geschreven en door AI verbeterd. Detectoren hebben daar moeite mee, en een uitslag als "gemengd of onzeker" is dan een eerlijker antwoord dan een stellige score.

Wat kan de AI-checker van AdeptWrite wel en niet?

De AI-checker van AdeptWrite geeft een schatting, geen oordeel. Dit is wat je mag verwachten, volgens de beschrijving van de tool:

De tool zegt er zelf bij dat de uitslag nooit het enige bewijs tegen een persoon mag zijn. Hoe nauwkeurig de detector voor het Nederlands is, lees je op de toolpagina onder het kopje over de beperkingen en de werkwijze; daar staan de gemeten cijfers van het model, en dus niet in deze gids. Is de nauwkeurigheid voor een taal nog niet gemeten, dan vermeldt de tool dat ook.

Hoe lees je een AI-score verstandig?

1. Kijk naar het label, niet naar het cijfer. "Gemengd of onzeker" is een volwaardig antwoord. Een cijfer als 62 % is geen kans dat jouw tekst door AI is gemaakt.
2. Bekijk de lengte. Onder de ongeveer 150 woorden wordt een schatting duidelijk zwakker.
3. Lees de gemarkeerde zinnen zelf. Zijn ze vooral standaardformuleringen of opsommingen, dan is dat een verklaring die niets met AI te maken hoeft te hebben.
4. Vergelijk met ander werk van dezelfde schrijver. Past de stijl, woordkeuze en het niveau bij eerdere teksten?
5. Vraag naar het schrijfproces. Concepten, aantekeningen, versiegeschiedenis in een tekstverwerker en een gesprek over de inhoud zeggen meer dan een score.
6. Gebruik meerdere signalen. Een score, een stijlvergelijking en een gesprek samen zijn sterker dan elk afzonderlijk.

Hoe gaan scholen en werkgevers er verstandig mee om?

Hoe een onderwijsinstelling met AI-detectie omgaat, verschilt per school en per vak. Sommige instellingen gebruiken detectoren niet, andere gebruiken ze alleen als signaal, en regels over het gebruik van generatieve AI staan vaak in de onderwijs- en examenregeling of in de richtlijnen bij een vak. Zoek die documenten bij je eigen instelling op; deze gids doet daarover geen uitspraak. Bij een vermoeden van fraude beoordeelt in het Nederlandse hoger onderwijs in de regel de examencommissie, en je hebt meestal recht om je kant van het verhaal te geven.

Praktische afspraken die in elke omgeving helpen:

• Maak vooraf duidelijk wat mag. Mag AI worden gebruikt voor brainstormen, voor spelling, voor een eerste concept? Zeg dat in de opdracht.
• Vraag om het proces, niet alleen het product. Laat tussenversies, bronnen of een korte mondelinge toelichting zien.
• Behandel een score als aanleiding voor een gesprek. Nooit als bewijs of als reden voor een sanctie.
• Houd rekening met tweedetaalschrijvers. Voor hen is het risico op een foute markering groter.
• Schrijf als student of medewerker je proces mee. Bewaar je aantekeningen, je bronnen en de versiegeschiedenis van je document. Dat is je beste verweer als een tool je tekst onterecht markeert.

Voor het onderwerp plagiaat naast AI-gebruik, zie wat is plagiaat en plagiaat controleren. Een plagiaatcheck en een AI-detector meten iets heel anders: de eerste zoekt overeenkomsten met bestaande bronnen, de tweede schat stijlkenmerken in.

Wat kun je zelf doen als je tekst onterecht wordt aangemerkt?

• Bewaar de versiegeschiedenis van je document (in Word of Google Docs) en je aantekeningen.
• Wees bereid om uit te leggen hoe je een passage hebt opgebouwd en welke bronnen je hebt gebruikt.
• Vraag om de reden van de markering en welke aanvullende informatie er is, naast de score.
• Verwijs naar de procedure in de onderwijs- en examenregeling voor bezwaar en beroep.
• Schrijf persoonlijker waar dat past: eigen voorbeelden, eigen redeneringen, concrete details. Dat maakt je tekst beter, en niet alleen minder verdacht.

Veelgemaakte misverstanden

• "Een detector herkent AI altijd." Nee, geen enkele detector doet dat.
• "0 % AI betekent dat een mens het schreef." Nee, het betekent dat het model geen sterke AI-kenmerken zag.
• "Een hoge score bewijst fraude." Nee, een hoge score is een signaal dat om vervolgonderzoek vraagt.
• "Als ik een tool gebruik om te verbeteren, ben ik veilig." Nee. Herschrijven kan de score veranderen, maar of AI-gebruik is toegestaan bepaalt de school of werkgever, niet de score.
• "Foutloos Nederlands is verdacht." Nee. Goed geschreven teksten komen van mensen die goed schrijven. Controleer je spelling gerust in de Woordenlijst Nederlandse Taal van de Taalunie.

Samengevat

Een AI-detector rekent patronen uit, geen herkomst. Hij is nuttig als eerste signaal en onbetrouwbaar als bewijs, zeker bij korte, formele of door tweedetaalschrijvers geschreven teksten. Lees het label en de beperkingen, kijk naar het schrijfproces en gebruik een score nooit als enige grond voor een beschuldiging. Wil je zelf een schatting zien, probeer dan de AI-checker, en lees daar ook de beperkingen.

← Alle gidsen