Zásadní body
- Deepfakes představují závažná rizika pro společnost, včetně šíření nepravdivých informací, poškození reputace prostřednictvím manipulace s identitou a vyvolávání konfliktů s dopadem na národní bezpečnost.
- Ačkoli umělá inteligence nabízí nástroje pro detekci deepfakes, nejsou bezchybné a lidský úsudek zůstává klíčový při jejich identifikaci.
- Lidé a detekční systémy AI mají odlišné silné a slabé stránky v odhalování deepfakes. Kombinace jejich schopností může zvýšit úspěšnost v detekci a minimalizaci hrozeb spojených s touto technologií.
Deepfakes ohrožují různé oblasti společnosti. Schopnost rozpoznat falešný obsah je nezbytná pro boj proti dezinformacím, ale s pokrokem umělé inteligence se objevuje otázka, komu můžeme v boji proti deepfakes důvěřovat: člověku, nebo stroji?
Hrozby spojené s Deepfakes
S rozvojem AI se rizika spojená s deepfakes stávají stále závažnější. Následuje přehled některých hlavních problémů, které deepfakes představují:
- Dezinformace: Falešná videa a audionahrávky mohou šířit nepravdivé zprávy.
- Manipulace s identitou: Deepfakes mohou poškodit reputaci osob a oklamat ty, kteří je znají.
- Národní bezpečnost: Možnost zfalšování nahrávky politického lídra a vyvolání konfliktu je velkou hrozbou.
- Sociální nepokoje: Klamavá videa a audionahrávky mohou být použity k vyvolávání hněvu a nepokojů mezi skupinami obyvatelstva.
- Kybernetická bezpečnost: Kyberzločinci využívají technologie klonování hlasu pomocí AI k cílení na jednotlivce s přesvědčivými zprávami od známých osob.
- Soukromí a souhlas: Zneužití deepfakes se rovná manipulaci s podobiznami lidí bez jejich souhlasu.
- Důvěra a spolehlivost: Pokud nelze rozlišit pravdu od lži, přesné informace ztrácejí důvěryhodnost.
Deepfakes se stávají stále realističtějšími, proto je potřeba vyvinout spolehlivé metody a nástroje pro jejich odhalování. AI nabízí jeden z takových nástrojů v podobě modelů pro detekci deepfakes. Nicméně, podobně jako algoritmy určené k rozpoznávání textů generovaných umělou inteligencí, ani tyto nástroje nejsou dokonalé.
Lidský úsudek je v současnosti dalším nástrojem, na který se můžeme spolehnout. Jsme tedy lepší v identifikaci deepfakes než samotné algoritmy?
Dokáží algoritmy detekovat Deepfakes lépe než lidé?
Hrozba, kterou představují deepfakes, je natolik vážná, že technologické společnosti a výzkumné skupiny investují značné prostředky do výzkumu a vývoje. V roce 2019 společnosti jako Meta, Microsoft a Amazon nabídly odměny ve výši 1 000 000 USD v rámci Deepfake Detection Challenge pro vytvoření co nejpřesnějšího detekčního modelu.
Nejvýkonnější model dosáhl přesnosti 82,56 % na veřejně dostupné sadě videí. Při testování na „černé skříňce“ s 10 000 neznámými videi však přesnost klesla na pouhých 65,18 %.
Existuje také mnoho studií, které analyzují výkon AI nástrojů pro detekci deepfakes ve srovnání s lidmi. Výsledky se liší, ale obecně se zdá, že lidé dosahují srovnatelné, nebo dokonce lepší úspěšnosti než detekční nástroje.
Studie z roku 2021 publikovaná v PNAS zjistila, že „běžní lidští pozorovatelé“ dosahovali mírně vyšší přesnosti než pokročilé nástroje pro detekci deepfakes. Nicméně studie také ukázala, že lidé i AI modely jsou náchylní k různým typům chyb.
Zajímavý je i výzkum Univerzity v Sydney, který naznačuje, že lidský mozek je nevědomky efektivnější v odhalování deepfakes než naše vědomé úsilí.
Identifikace vizuálních vodítek v Deepfakes
Detekce deepfakes je komplexní a vyžaduje analýzu, která se liší v závislosti na charakteru nahrávky. Například notoricky známé deepfake video severokorejského vůdce Kim Čong-una z roku 2020 je v podstatě videem mluvící hlavy. V tomto případě by efektivní metoda pro detekci deepfakes mohla být analýza vizémů (pohyby úst) a fonémů (fonetické zvuky) za účelem nalezení nesrovnalostí.
Lidští odborníci, běžní diváci a algoritmy mohou provádět tento druh analýzy, i když s různými výsledky. MIT definuje osm otázek, které pomohou odhalit deepfakes:
- Zaměřte se na obličej. Pokročilé manipulace v deepfakes se často týkají transformace obličeje.
- Prohlédněte si obličej a čelo. Zdá se vám pokožka příliš hladká nebo vrásčitá? Je stárnutí pleti v souladu se stárnutím vlasů a očí? Deepfakes mohou být v některých ohledech nekongruentní.
- Věnujte pozornost očím a obočí. Objevují se stíny na místech, kde je očekáváte? Deepfakes nemusí plně zachytit přirozenou fyziku scény.
- Prohlédněte si brýle. Je na nich odlesk? Není ho příliš mnoho? Mění se úhel odlesku s pohybem osoby? Deepfakes nemusí úplně respektovat přirozenou fyziku světla.
- Věnujte pozornost vousům nebo jejich absenci. Vypadají vousy přirozeně? Deepfakes mohou přidat nebo odstranit knír, licousy nebo bradku, ale nemusí být schopny dokonale zreplikovat změny v porostu.
- Prohlédněte si znaménka na obličeji. Vypadá znaménko přirozeně?
- Sledujte frekvenci mrkání. Mrká osoba dostatečně, nebo příliš málo?
- Věnujte pozornost pohybům rtů. Některé deepfakes jsou založeny na synchronizaci rtů. Vypadají pohyby rtů přirozeně?
Nejnovější AI nástroje pro detekci deepfakes analyzují stejné faktory, ovšem s různou úspěšností. Odborníci na data neustále vyvíjejí nové metody, jako je detekce přirozeného průtoku krve v obličeji mluvících osob. Nové a vylepšené přístupy by mohly v budoucnu vést k tomu, že AI nástroje pro detekci deepfakes budou trvale překonávat lidské schopnosti.
Detekce zvukových stop v Deepfakes
Detekce deepfake audia představuje zcela jinou výzvu. Bez vizuálních vodítek a možnosti identifikace audiovizuálních nesrovnalostí se detekce deepfakes opírá hlavně o analýzu zvuku (v některých případech může pomoci ověření metadat).
Studie publikovaná University College London v roce 2023 zjistila, že lidé dokážou detekovat falešnou řeč v 73 % případů (angličtina a mandarínština). Podobně jako u deepfake videí, lidští posluchači intuitivně rozpoznávají nepřirozené vzory řeči generované AI, i když nemohou přesně specifikovat, co se jim zdá nevhodné.
Mezi běžné znaky patří:
- Zamlouvaní
- Nedostatek výrazu
- Šum v pozadí
- Nekonzistence hlasu a řeči
- Nedostatek „plnosti“ v hlase
- Příliš skriptovaný projev
- Nedostatek nedokonalostí (zadrhávání, opravy, odkašlávání atd.)
Algoritmy dokáží analyzovat řeč na stejné signály deepfakes, ale nové metody zdokonalují tyto nástroje. Výzkum USENIX identifikoval vzory v rekonstrukci hlasového traktu AI, které nejsou schopné napodobit přirozenou řeč. Závěr je, že generátory hlasu AI produkují zvuk odpovídající úzkým hlasovým traktům, což neodpovídá přirozeným pohybům lidské řeči.
Dřívější výzkum z Institutu Horsta Görtze analyzoval pravé a zfalšované audio v angličtině a japonštině a objevil jemné rozdíly ve vyšších frekvencích mezi pravou a zfalšovanou řečí.
Nekonzistence hlasového traktu a vysokých frekvencí jsou rozpoznatelné lidmi i modely AI. U vysokofrekvenčních rozdílů by modely AI mohly být teoreticky přesnější – i když to samé platí i pro deepfakes AI.
Lidé i algoritmy jsou klamáni Deepfakes, ale odlišnými způsoby
Studie naznačují, že lidé i moderní AI detekční nástroje jsou přibližně stejně schopni identifikovat deepfakes. Úspěšnost se může pohybovat mezi 50 % a 90 %, v závislosti na parametrech testu.
Dále, jak lidé, tak stroje jsou klamáni deepfakes podobným způsobem. Klíčové je ale to, že jsme náchylní k podvodům odlišnými způsoby, což by mohlo být naší největší výhodou při řešení nebezpečí spojených s deepfakes. Kombinace silných stránek lidí a AI nástrojů pro detekci deepfakes může zmírnit jejich slabiny a zlepšit úspěšnost.
Například MIT výzkum zjistil, že lidé byli lepší v rozpoznávání deepfakes světových lídrů a známých osobností než AI modely. Také se ukázalo, že modely AI měly problémy s nahrávkami s více lidmi, což mohlo být způsobeno trénováním algoritmů na nahrávkách s jednotlivými mluvčími.
Naopak, stejná studie ukázala, že modely AI předčí lidi v rozpoznávání deepfakes z nahrávek nízké kvality (rozmazané, zrnité, tmavé), které by mohly být záměrně použity k oklamání lidských diváků. Podobně moderní metody detekce AI, jako je sledování průtoku krve v obličeji, zahrnují analýzu, které lidé nejsou schopni.
S vývojem dalších metod se schopnost AI detekovat známky, které lidé nejsou schopni, bude dále zlepšovat, ale také se zlepší její schopnost klamat. Velkou otázkou zůstává, zda technologie detekce deepfakes bude i nadále překonávat samotné deepfakes.
Odlišný pohled na svět v éře Deepfakes
AI nástroje pro detekci deepfakes se budou nadále vyvíjet stejně jako kvalita samotného deepfake obsahu. Pokud schopnost AI klamat převýší její schopnost detekce (jako je tomu u textu generovaného AI), lidský úsudek může být jediným nástrojem, který nám zbude v boji proti deepfakes.
Každý má povinnost naučit se rozpoznávat znaky deepfakes. Kromě ochrany proti podvodům a bezpečnostním hrozbám je vše, o čem diskutujeme a sdílíme online, náchylné k dezinformacím, pokud ztratíme přehled o realitě.