Rostoucí diskuse o roli umělé inteligence ve správě věcí veřejných se zintenzivnila nedávnými bezpečnostními odhaleními, což vyvolalo ostrou kritiku od vlivných osobností, jako je spoluzakladatel Etherea Vitalik Buterin. Jeho nedávné komentáře, které následovaly po objevení kritické zranitelnosti v ChatGPT, podtrhují zásadní problém: inherentní náchylnost pokročilých systémů AI k manipulaci a zneužití, což vede k přehodnocení jejich vhodnosti pro administrativní funkce.
Zranitelnost, kterou odhalili experti z EdisonWatch, se objevila po integraci protokolu Model Context Protocol (MCP) do ChatGPT dne 10. září 2025. Tento protokol umožňuje chatbotu připojit se k různým externím službám, včetně Gmailu a Kalendáře. Zakladatel EdisonWatch Aito Miyamura demonstroval, že útočník, znající pouze e-mailovou adresu cíle, by mohl získat neoprávněný přístup k uživatelským datům. Toho je dosaženo odesláním pozvánky do kalendáře, která obsahuje příkaz pro „jailbreak“. Klíčové je, že uživatel nemusí pozvánku přijmout; zneužití se spustí, když oběť později vyzve ChatGPT k otevření kalendáře, což potenciálně vede AI k exfiltraci citlivých informací útočníkovi.
Buterin tento incident rychle označil za silný argument proti konceptu „správy AI“. Dne 13. září 2025 zveřejnil na X (dříve Twitter) prohlášení, že „naivní ‚správa AI‘ je špatný nápad“. Rozvedl, že svěřování kritických administrativních úkolů AI, jako je přidělování finančních prostředků, by nevyhnutelně přilákalo škodlivé aktéry k implementaci „jailbreaků“ za účelem odklonění zdrojů. Tato perspektiva zdůrazňuje základní dilema: čím více kontroly získají systémy AI, tím atraktivnějšími cíli se stávají pro sofistikované zneužití, což vyvolává otázky ohledně jejich důvěryhodnosti ve vysoce rizikových prostředích.
Jako alternativu Buterin navrhuje svůj koncept „info financí“, přístup zaměřený na otevřený trh pro velké jazykové modely (LLM), který upřednostňuje úplnou transparentnost a ověřitelnost uživateli. V rámci tohoto systému by měli jak vývojáři, tak jejich publikum přímý zájem na rychlém identifikování a nápravě jakýchkoli zranitelností nebo chyb. Buterin naznačuje, že takový samoregulační rámec by vyžadoval dobře navržený motivační mechanismus a dohled od odborné poroty složené ze skutečných uživatelů, aby byla zajištěna globální validace a důvěra.
Objev EdisonWatch a Buterinova následná kritika slouží jako zásadní připomínka technologických a etických úvah, které jsou vlastní rychlému vývoji AI. Jelikož se technologie AI stále hlouběji integrují do společenských a ekonomických infrastruktur, zajištění robustní bezpečnosti, provozní transparentnosti a přísného dohledu zůstává prvořadé pro zmírnění systémových rizik a podporu odpovědného vývoje.