Co je GPTZero? Jak jej používat k detekci textu generovaného umělou inteligencí

Základní body

• GPTZero je nástroj pro odhalování textů vytvořených umělou inteligencí (AI), který pedagogům pomáhá rozlišovat mezi originálními a AI generovanými texty. Využívá analýzu míry zmatenosti a rozmanitosti struktury textu.
• GPTZero nabízí jak bezplatnou, tak i prémiové verze s různými funkcemi a limity. Prémiové verze umožňují uživatelům analyzovat i miliony slov za měsíc.
• I přes snahu GPTZero o minimalizaci falešných pozitivních výsledků, neměli by se učitelé na jeho výsledky zcela spoléhat a měli by je používat s opatrností, aby nedocházelo k nespravedlivému hodnocení.

Od svého uvedení na trh se ChatGPT od společnosti OpenAI stal středem zájmu vzdělávacích institucí po celém světě. Studenti ho totiž začali využívat k psaní esejí a podvádění při plnění úkolů. Vzhledem k tomu, jak přirozeně text vygenerovaný chatbotem vypadá, je pro vyučující obtížnější rozpoznat, zda je studentská práce originální.

Aby pomohl učitelům s hodnocením prací studentů, vyvinul absolvent informatiky nástroj GPTZero. Tento nástroj má za cíl rozpoznat, zda byl text vygenerován umělou inteligencí.

Všechno to zní skvěle, ale je GPTZero opravdu schopný detekovat texty vytvořené umělou inteligencí a jak přesné jsou jeho výsledky?

Co je GPTZero a jak funguje?

GPTZero je nástroj pro analýzu textu, vyvinutý Edwardem Tianem. Má za cíl pomoci učitelům odlišit plagiáty od původních děl. Nástroj analyzuje míru "zmatenosti" a rozmanitost struktury textu, aby určil, zda byl text vytvořen umělou inteligencí, nebo člověkem.

Podívejme se, co přesně tyto pojmy znamenají:

• "Zmatenost" měří náhodnost textu v rámci zpracování přirozeného jazyka (NLP). Text psaný člověkem bývá méně strukturovaný a nepředvídatelnější, a proto má vyšší míru "zmatenosti". Text generovaný AI by naopak měl mít nízké skóre "zmatenosti".
• "Rozmanitost" zohledňuje další proměnné, které se nevejdou do konceptu "zmatenosti", a tím zlepšuje analýzu textu. Tento pojem se týká výskytu neobvyklých prvků v náhodných shlucích. Text generovaný AI má tendenci mít konzistentnější strukturu než text psaný lidmi. "Rozmanitost" nám tedy pomáhá tento rozdíl identifikovat.

GPTZero Classic je veřejně přístupný od začátku roku 2023 a je zdarma k použití. Bezplatná verze má ovšem limit 5000 znaků na dokument a najednou je možné analyzovat pouze tři dokumenty.

GPTZero nabízí tři prémiové verze pro uživatele, kteří potřebují analyzovat miliony slov měsíčně: Essential (10 $ měsíčně), Premium (16 $ měsíčně) a Professional (23 $ měsíčně). Prémiové verze mají vyšší limit znaků na dokument a umožňují provádět více skenů za hodinu, kromě dalších výhod.

Pro získání přístupu k prémiovým verzím postupujte takto:

Po přihlášení si můžete porovnat dostupné plány a vybrat ten, který nejlépe vyhovuje vašim potřebám.

Alternativně, pokud jste na domovské stránce GPTZero, můžete kliknout na tlačítko "Upgrade" v dolní části textového pole. Zde si můžete prohlédnout, porovnat a zakoupit placený plán.

Jak používat GPTZero k odhalení textu generovaného AI

Na rozdíl od ChatGPT není pro používání GPTZero vyžadována žádná registrace. K nástroji máte přístup přes webovou stránku.

Klikněte na tlačítko "Zkontrolovat původ".

Po dokončení skenování vám GPTZero oznámí, zda text napsal člověk, nebo zda byl vygenerován umělou inteligencí.

Jak používat rozšíření GPTZero Origin k odhalení textu generovaného AI

Stažením bezplatného rozšíření Origin od GPTZero do vašeho prohlížeče Chrome můžete skenovat celé webové stránky a Dokumenty Google a hledat text generovaný umělou inteligencí. Tato nová funkce zjednodušuje proces ověřování informací online.

Pro naskenování webové stránky nebo dokumentu Google klikněte na tlačítko "Origin" na obrazovce a vyberte možnost "Skenovat celou stránku".

Nyní se vám zobrazí výsledky, a budete tak moci zjistit, zda byl text napsán člověkem nebo vytvořen AI.

Použití GPTZero k analýze vašeho psaní

Funkce, která odlišuje GPTZero od některých jiných nástrojů pro detekci AI, je možnost analyzovat vaše vlastní vzory psaní. Platforma nabízí historii skenování, kterou můžete využít ke kontrole jakéhokoli textu, který jste pomocí tohoto nástroje naskenovali.

Kliknutím na konkrétní výsledek vyhledávání se zobrazí podrobnější informace o vašem psaní. Získáte tak přehled o tom, proč byl váš text označen jako vytvořený člověkem nebo umělou inteligencí.

Pokud například GPTZero označí vámi napsaný text jako generovaný AI, analýza vám ukáže důvody, proč tomu tak je, například, že obsah byl málo komplikovaný a příliš strukturovaný. Tyto problémy můžete opravit, a tím zlepšit kvalitu, čitelnost a autenticitu svého obsahu.

Dokáže GPTZero správně rozpoznat text generovaný AI?

Pro otestování přesnosti detekce AI textů v GPTZero analyzujeme tři různé texty: text generovaný AI, text napsaný člověkem a text generovaný AI, který byl následně přeformulován jiným nástrojem. Podívejme se, jak GPTZero na jednotlivé vstupy reaguje.

1. Analýza textu generovaného AI v GPTZero

Pro analýzu textu generovaného AI nejdříve vygenerujeme text pomocí ChatGPT, což je chatbot s umělou inteligencí, který používá technologii GPT. Postupujte následovně:

Při tomto testu GPTZero vykazovalo u textů generovaných AI smíšené výsledky. Někdy nástroj vůbec nerozpoznal, že byl text generován AI, jindy však správně určil, že většinu textu vytvořila AI.

K vygenerování textu pro analýzu můžete použít i jiné AI nástroje pro psaní.

2. Analýza přeformulovaného textu generovaného umělou inteligencí v GPTZero

Pro přeformulování textu si můžete vybrat z mnoha dostupných nástrojů. My jsme v tomto případě použili Scribbr. Pokud chcete použít stejný nástroj, postupujte takto:

Klikněte na tlačítko "Parafráze".

Zjistili jsme, že mírné přeformulování ztěžuje GPTZero určení, zda byl text vytvořen AI, ale celkově byly výsledky opět smíšené. Nutno dodat, že kvalita přeformulovaného textu byla velmi nízká. Text vlevo je původní, text vpravo je přeformulovaná verze.

3. Analýza obsahu psaného člověkem v GPTZero

V některých případech mohou nástroje jako GPTZero vykazovat falešně pozitivní výsledky, což znamená, že označí něco za nesprávné, ačkoli tomu tak není. Abychom zjistili, zda GPTZero vykazuje falešně pozitivní výsledky, provedli jsme v nástroji několik testů s různými texty napsanými lidmi.

Výsledky GPTZero byly ve většině případů přesné, i když jedna věta byla označena jako potenciálně AI vygenerovaná.

Měli byste věřit výsledkům GPTZero?

Na základě provedených testů může být spoléhání se pouze na výsledky tohoto nástroje riskantní. Ve skutečnosti se při každém vygenerování výsledků zobrazuje upozornění, které varuje pedagogy, aby se na výsledky tohoto nástroje nespoléhali.

Pokud tedy sám vývojář nástroje nemůže zaručit, že jsou jeho výsledky spolehlivé, neměli by se na ně pedagogové plně spoléhat. Proč? Protože by bylo nespravedlivé, aby student dostal špatnou známku jen proto, že GPTZero vygenerovalo falešně pozitivní výsledek.

Snahy GPTZero o minimalizaci falešně pozitivních výsledků

I když má GPTZero ještě dlouhou cestu před sebou, udělal významný pokrok ve snižování počtu falešných poplachů. Nový model hlubokého učení, který společnost nasadila, tyto snahy podpořil a díky němu je tento nástroj pro detekci AI mnohem spolehlivější než konkurenční služby.

Nový model hlubokého učení používá rozmanitější ověřovací datovou sadu, která čerpá ze zdrojů jako vzdělávací texty, novinové články, příspěvky na sociálních sítích a obsah z otázek a odpovědí. Tato rozšířená a rozmanitá datová sada umožňuje GPTZero lépe rozlišovat mezi daty generovanými lidmi a daty generovanými AI. Kromě toho společnost také tvrdí, že jsou předpovědi GPTZero nyní "jistější" než dříve.

Nevěřte vždy výsledkům detekce AI

Jako potenciální protilátka na technologii GPT společnosti OpenAI má GPTZero velký potenciál; má ovšem před sebou ještě dlouhou cestu. V současné chvíli se na něj nelze plně spolehnout. Nicméně, překonají budoucí verze GPTZero všechna omezení a budou dokázat s přesností zachytit obsah vytvořený AI? Na to si budeme muset počkat.