Com funcionen els detectors de textos d'IA i són fiables?

Un detector de textos d'IA compara les pautes estadístiques d'un escrit (vocabulari previsible, ritme de les frases, connectors) amb les que ha après de textos humans i de textos fets per màquines. El resultat és una estimació, no una prova: pot fallar amb textos curts, traduïts, molt formals o escrits per qui no té el català com a llengua materna, i mai no ha de ser l'única evidència contra ningú.

Què fa realment un detector de textos d'IA?

Un detector d'IA no «llegeix» l'autoria d'un text: calcula fins a quin punt s'assembla, estadísticament, als textos que ha vist com a escrits per màquines. El que ensenya és una puntuació o una etiqueta del tipus «probablement humà», «mixt» o «probablement d'IA». Cap detector no pot saber qui ha escrit un text ni amb quines eines. Només pot dir que les pautes del text s'acosten més a un grup d'exemples o a l'altre.

Aquesta diferència és la clau de tot el que segueix. Una estimació és útil per decidir si val la pena fer una segona lectura; una prova serviria per sancionar algú, i un detector no és una prova.

Com arriba a la seva estimació

Els detectors de textos fan servir, sol o combinat, un d'aquests mètodes.

1. Mesurar com de previsible és el text

Els models de llenguatge escriuen triant, mot a mot, les opcions més probables. Per això el seu text tendeix a ser molt previsible: vocabulari mitjà, frases de llargada semblant, ordre habitual dels elements. Alguns detectors calculen aquesta previsibilitat (en anglès s'anomena perplexity) i també com varia el ritme entre frases curtes i llargues (burstiness). Una persona sol alternar una frase breu amb una de molt llarga; un model, sovint, no.

2. Un classificador entrenat amb exemples

Un altre enfocament és entrenar un model amb molts textos etiquetats com a humans o com a generats per IA, perquè aprengui quines marques separen els dos grups: combinacions de lletres i de paraules, connectors, puntuació, longitud de les frases. És el cas del detector d'AdeptWrite, que combina trets d'aquest tipus en un model estadístic que s'executa al navegador.

3. Una segona opinió amb un altre model

Alguns serveis afegeixen una anàlisi més profunda en què un model de llenguatge llegeix el text i explica quins indicis hi veu. És una opinió més, i també pot errar.

Per què un detector falla (i en català encara pot costar més)

Cap d'aquests mètodes no és infal·lible, i hi ha situacions on els errors són més probables.

Hi ha, a més, un problema específic de les llengües com el català. Molts detectors s'entrenen i s'avaluen sobretot amb anglès; la precisió s'ha de mesurar llengua per llengua i, quan no s'ha mesurat, el resultat s'ha de llegir amb més precaució. Per això un servei honest ho diu en lloc d'ensenyar una xifra única de «precisió» vàlida per a tots els idiomes.

Un exemple de fals positiu

Imagineu aquest paràgraf, escrit per un estudiant de batxillerat que fa poc que viu a Catalunya:

«El canvi climàtic és un problema molt important. Té moltes causes i moltes conseqüències. Una causa és la contaminació. Una altra causa és la crema de combustibles fòssils. Les conseqüències són l'escalfament global i l'augment del nivell del mar.»

Les frases són curtes, correctes, de la mateixa estructura i amb un lèxic bàsic. Un detector hi pot veure «regularitat» i inclinar-se cap a «IA», encara que el text sigui plenament humà. La causa no és que el text no sigui humà, sinó que la seva forma és senzilla i repetitiva, que és justament el tipus d'escrit que els models també produeixen.

El detector d'AdeptWrite: què fa i què no fa

El detector de textos d'IA d'AdeptWrite és una estimació estadística, no una prova. Aquestes són les característiques que podeu comprovar a la mateixa pàgina:

• Mostra un nivell i una puntuació aproximada. El resultat s'expressa amb una de tres etiquetes (probablement humà, mixt o incert, probablement d'IA) i un percentatge amb el signe ≈. No dona mai un 0 % ni un 100 %.
• Aquest percentatge no és la probabilitat que el text sigui d'una IA. És una puntuació de semblança calibrada amb dades de prova.
• Marca les frases que semblen més «de màquina». És una pista més feble que l'estimació global.
• Mostra els límits amb cada resultat, incloent-hi el fet que els textos curts, parafrasejats, simples o escrits per no nadius es valoren pitjor.
• Avisa quan una llengua no s'ha avaluat. Les xifres mesurades de cada llengua es publiquen a la taula de metodologia de la pàgina de l'eina; aquesta guia no en repeteix cap, perquè canvien amb el model.
• Mínim 40 paraules i màxim 6.000 caràcters per execució. Per sota del mínim no dona cap resultat.
• Funciona al navegador. La part estadística es calcula al vostre ordinador. L'anàlisi profunda és opcional: només si la demaneu, envia el text a un model d'IA per a aquella sol·licitud, sense desar-lo.

I el que no fa: no identifica quin model ha generat el text, no demostra l'autoria i no serveix per decidir cap sanció. L'eina ho diu amb una frase clara: no s'ha d'usar mai el resultat com a única evidència contra una persona. Tampoc no s'ha d'esperar que detecti bé un text d'IA que s'hagi reescrit després.

Un detall de transparència: el text corregit o reformulat amb eines d'escriptura amb IA, incloent-hi les d'AdeptWrite, pot quedar com a «mixt» o «probablement d'IA».

Com llegir un resultat pas a pas

1. Comproveu la longitud. Si el text és curt (unes quantes frases), doneu molt menys pes al resultat.
2. Mireu l'etiqueta abans que el percentatge. «Mixt o incert» vol dir exactament això: no sabem.
3. Repasseu les frases marcades. Són una pista, no una conclusió. Pregunteu-vos si són formulaics perquè el gènere ho demana (una carta formal, un resum de manual).
4. Considereu qui ha escrit el text. Si l'autor és aprenent de català, el resultat és menys fiable.
5. Cerqueu altres indicis: esborranys, historial de versions, notes, capacitat de defensar el contingut a viva veu.
6. Decidiu sobre la base de tot plegat, no d'un sol número.

Si un docent o un cap us acusa d'haver fet servir IA

Una acusació basada només en la puntuació d'un detector és feble, i podeu defensar-vos amb calma:

1. Demaneu quina és l'evidència. Pregunteu amb quina eina, quina puntuació i quin text complet. Una puntuació sola no demostra res.
2. Aporteu el procés d'escriptura. L'historial de versions d'un document en línia, els esborranys, les notes manuscrites, les fonts consultades i les captures de pantalla ajuden més que qualsevol discussió sobre percentatges.
3. Ofereu explicar el text. Pregunteu si podeu respondre oralment sobre el contingut: qui sap de què parla pot fer-ho sense dificultat.
4. Consulteu la normativa del vostre centre. Cada universitat o institut té el seu reglament d'honestedat acadèmica i el seu procediment, i els detalls varien. Llegiu el document oficial i, si cal, adreceu-vos al servei d'orientació, al delegat d'estudiants o al síndic o síndica de greuges de la vostra universitat.
5. Demaneu una revisió humana. Teniu dret a rebre una resposta raonada i a un procediment amb garanties.

Si sou vosaltres qui ha de decidir, recordeu que un detector pot donar una pista per començar una conversa, però no substitueix el judici d'una persona ni un procediment amb garanties.

Si heu fet servir IA com a ajuda: sigueu clars

Utilitzar una eina d'IA per generar idees, esbossar un esquema o millorar l'expressió pot ser acceptable o no, segons les normes de l'assignatura o del lloc de treball. La millor protecció és dir-ho: si el reglament demana que s'indiqui l'ús d'IA, indiqueu-lo. Per saber on acaba l'ajuda i on comença el plagi, llegiu Què és el plagi, i per conèixer el funcionament d'aquests assistents, Què és ChatGPT.

I recordeu que l'aprenentatge es produeix escrivint. Un text que ha passat per un detector sense alarmes no és, només per això, bon text; i un text que dona alarma pot ser perfectament honest.

Com escriure de manera que el vostre text se senti propi

Més que intentar «enganyar» cap detector, val la pena treballar el que fa un text bo:

• Poseu-hi exemples concrets vostres: un lloc, una dada que heu recollit, una experiència.
• Varieu la llargada de les frases, i eviteu repetir sempre els mateixos connectors («a més», «en conclusió»).
• Utilitzeu el vostre lèxic. Si una paraula no és vostra, canvieu-la per una que sí que ho sigui.
• Reviseu l'ortografia i la gramàtica amb el corrector gramatical català i el corrector ortogràfic, que detecten errors però no canvien el vostre estil.
• Si el text és un esborrany d'IA, reescriviu-lo amb criteri propi. El humanitzador reescriu un esborrany perquè soni més natural i personal, sense canviar el sentit; és una ajuda d'escriptura, no un mètode per amagar l'ús d'IA davant de ningú que us ho demani, i en cap cas no garanteix un resultat concret al detector.

Resum ràpid

• Un detector d'IA calcula una semblança estadística; no identifica autors.
• El resultat és una estimació, no una prova.
• Falla més amb textos curts, formals, traduïts, simples, mixtos o escrits per no nadius.
• Mai no s'ha de fer servir com a única evidència contra una persona.
• Si us acusen, aporteu el procés d'escriptura i seguiu el procediment del vostre centre.
• El detector d'AdeptWrite demana 40 paraules com a mínim, accepta 6.000 caràcters per execució i mostra els seus límits.

← Totes les guies