Coraz więcej redakcji i zleceniodawców sprawdza teksty specjalnymi programami, które mają wykryć sztuczną inteligencję. Problem w tym, że narzędzia te potrafią uznać za dzieło maszyny tekst napisany przez człowieka, a autor zwykle nie ma jak się obronić.

Oskarżona o użycie AI, choć pisała sama

Sally McGraw, ghostwriterka z ponad 20-letnim doświadczeniem w pisaniu tekstów niebeletrystycznych, ubiegała się o zlecenie przygotowania propozycji książki. Po wysłaniu próbki tekstu dostała wiadomość, że kilka narzędzi do wykrywania AI uznało jej pracę za wygenerowaną maszynowo. Twierdzi, że napisała wszystko samodzielnie.

Zleceniodawczyni potwierdziła, że sprawdzała tekst detektorami, ale zapewniła, że nie one zdecydowały o wyborze innej osoby, tylko doświadczenie i dopasowanie do projektu. McGraw dostała zapłatę za próbki, jednak uważa, że wyniki detektorów kosztowały ją całe zlecenie.

Redaktorzy toną w tekstach od AI

Powód popularności detektorów jest prosty: zalew nadsyłanych materiałów. Neil Clarke, wydawca i redaktor magazynu science fiction Clarkesworld, podaje, że w 2021 roku pismo otrzymywało około 1100 zgłoszeń miesięcznie. Do lutego 2023 roku, gdy ChatGPT, Claude i Gemini stały się powszechnie dostępne, liczba ta się podwoiła, a redakcja musiała czasowo zamknąć przyjmowanie tekstów. Clarke szacuje, że jego własna praca wydłużyła się o około 30 proc.

Sam nie korzysta z detektorów, ale uważa, że mogą pomagać przeciążonym redaktorom, o ile ci weryfikują ich wyniki. Ostrzega też przed zamienianiem podejrzeń w oskarżenia: „Zgłoszenia powinny kończyć się odrzuceniem, a nie oskarżeniem” – powiedział.

Dlaczego detektory się mylą

Badacze zauważają, że różne programy potrafią o tym samym tekście orzec zupełnie co innego. W badaniu opublikowanym w czerwcu w „International Journal for Educational Integrity” porównano cztery popularne detektory na 160 pracach naukowych: w pełni ludzkich, w pełni wygenerowanych, mieszanych oraz takich, w których człowiek przepisał tekst AI. Najlepiej wypadł Pangram, który poprawnie wykrył użycie AI w 37 z 40 prac mieszanych i w 37 z 40 prac przepisanych przez człowieka. Jego szef przyznał, że narzędzie też bywa omylne, zwłaszcza przy krótkich tekstach.

Według Chrisa Callisona-Burcha z University of Pennsylvania wiele detektorów sprawdza, jak przewidywalny jest dany fragment dla modelu językowego. Modele uznają za nietypowo przewidywalne także teksty, na których same były trenowane, więc wcześniej opublikowane książki i artykuły łatwo zostają źle ocenione. Blogerka Janelle Shane przekonała się o tym, gdy detektor wskazał z 98,7-proc. pewnością, że fragment jej własnej książki z 2019 roku napisała maszyna.

Nawet nieopublikowany tekst może wzbudzić alarm przez styl. Do sygnałów należą słowo „delve”, częste myślniki, grupowanie myśli po trzy, zdania zaczynane od przysłówków w rodzaju „notably” czy pytania od razu połączone z odpowiedzią. To jednak nawyki typowe także dla ludzi, a detektory oceniają wzorce w całym tekście, więc pojedynczy myślnik niczego nie dowodzi.

Co to oznacza w praktyce

Stowarzyszenie Authors Guild ostrzegło w maju, że używanie detektorów tworzy atmosferę przypominającą polowanie na czarownice, bo fałszywy alarm może kosztować autora kontrakt i reputację. McGraw przyznaje, że zmieniła sposób pisania: unika pewnych słów i konstrukcji, a czasem pomija przecinki, licząc, że niekonsekwencja pomoże udowodnić ludzkie autorstwo. „Tęsknię za moim myślnikiem” – mówi.

Dla polskiego czytelnika to nie jest odległy problem. Detektory AI są dostępne globalnie i mogą być używane wobec tekstów w różnych językach, także przez redakcje, agencje, firmy czy uczelnie. Z przedstawionych badań nie wynika jednak, jak skuteczne są one dla języka polskiego, więc tym bardziej warto traktować ich wynik ostrożnie.

Praktyczna wskazówka dla autorów i zleceniodawców jest podobna:

• wynik detektora to najwyżej sygnał do dalszej weryfikacji, a nie dowód;
• warto zachowywać wersje robocze i historię edycji dokumentu, które pokazują proces pisania;
• przy krótkich tekstach ryzyko pomyłki jest większe.

Źródło: NPR – „Your writing was flagged as AI. What does that actually mean?”