Co je Zero Shot Learning a jak může zlepšit AI

Klíčové věci

• Zobecnění je nezbytné v hlubokém učení, aby se zajistily přesné předpovědi s novými daty. Učení s nulovým záběrem toho pomáhá dosáhnout tím, že umožňuje umělé inteligenci využívat stávající znalosti k vytváření přesných předpovědí pro nové nebo neviditelné třídy bez označených dat.
• Zero-shot učení napodobuje, jak se lidé učí a zpracovávají data. Poskytnutím dalších sémantických informací může předem vyškolený model přesně identifikovat nové třídy, stejně jako se člověk může naučit identifikovat kytaru s dutým tělem tím, že pochopí její vlastnosti.
• Zero-shot učení zlepšuje AI tím, že zlepšuje zobecnění, škálovatelnost, snižuje nadměrné vybavení a je nákladově efektivní. Umožňuje trénovat modely na větších souborech dat, získat více znalostí prostřednictvím přenosu učení, lépe porozumět kontextu a snížit potřebu rozsáhlých označených dat. Jak se umělá inteligence rozvíjí, učení nulového výstřelu bude ještě důležitější při řešení složitých výzev v různých oblastech.

Jedním z největších cílů hlubokého učení je trénovat modely, které získaly zobecněné znalosti. Zobecnění je nezbytné, protože zajišťuje, že se model naučil smysluplné vzorce a může dělat přesné předpovědi nebo rozhodnutí, když čelí novým nebo neviditelným datům. Trénink takových modelů často vyžaduje značné množství označených dat. Taková data však mohou být nákladná, pracná a někdy i nemožná.

K překlenutí této mezery je implementováno učení Zero-shot, které umožňuje AI využívat své stávající znalosti k vytváření poměrně přesných předpovědí navzdory nedostatku označených dat.

Co je Zero-Shot Learning?

Učení s nulovým výstřelem je specifickým typem techniky transferového učení. Zaměřuje se na použití předem trénovaného modelu k identifikaci nových nebo nikdy předtím neviděných tříd jednoduše tím, že poskytuje další informace, které popisují podrobnosti o nové třídě.

Použitím obecných znalostí modelu o určitých tématech a poskytnutím extra sémantiky tomu, co hledat, by měl být schopen docela přesně určit, jaký předmět má za úkol identifikovat.

Řekněme, že potřebujeme identifikovat zebru. Nemáme však model, který by taková zvířata identifikoval. Takže získáme již existující model, který vycvičí, aby identifikoval koně a řekl modelu, že koně s černými a bílými pruhy jsou zebry. Když začneme vyvozovat model tím, že poskytneme obrázky zeber a koní, je velká šance, že model identifikuje každé zvíře správně.

Stejně jako mnoho technik hlubokého učení, učení s nulovým výstřelem napodobuje, jak se lidé učí a zpracovávají data. O lidech je známo, že se přirozeně učí nula. Pokud jste měli za úkol najít v obchodě s hudebninami kytaru s dutým tělem, můžete mít problémy s hledáním. Ale jakmile vám řeknu, že duté tělo je v podstatě kytara s otvorem ve tvaru písmene F na jedné nebo obou stranách, pravděpodobně ji okamžitě najdete.

Jako příklad ze skutečného světa použijme klasifikační aplikaci zero-shot od open source hostitelského webu LLM Hugging Face pomocí modelu clip-vit-large.

Tato fotografie zobrazuje obraz chleba v tašce s potravinami připoutané na vysoké židli. Vzhledem k tomu, že model byl trénován na velké datové sadě obrázků, model pravděpodobně dokáže identifikovat každou položku na fotografii, jako je chléb, potraviny, židle a bezpečnostní pásy.

Nyní chceme, aby model klasifikoval obrázek pomocí dříve neviditelných tříd. V tomto případě by nové nebo neviditelné třídy byly „Uvolněný chléb“, „Bezpečný chléb“, „Sedací chléb“, „Řízení potravin“ a „Bezpečný obchod s potravinami“.

Všimněte si, že jsme záměrně použili neobvyklé neviditelné třídy a obrázky, abychom demonstrovali účinnost klasifikace zero-shot na obrázku.

Po odvození modelu byl schopen s přibližně 80% jistotou klasifikovat, že nejvhodnější klasifikace pro obrázek je „Bezpečný chléb“. Je to pravděpodobně proto, že si modelka myslí, že vysoká židle je více pro bezpečnost než sezení, relaxaci nebo řízení.

Skvělý! Osobně bych s výstupem modelu souhlasil. Ale jak přesně model k takovému výstupu přišel? Zde je obecný pohled na to, jak učení nulovým výstřelem funguje.

Jak funguje Zero-Shot učení

Zero-shot učení může pomoci předem vyškolenému modelu identifikovat nové třídy bez poskytnutí označených dat. Ve své nejjednodušší formě se učení s nulovým výstřelem provádí ve třech krocích:

1. Příprava

Zero-shot učení začíná přípravou tří typů dat

• Viděná třída: Data použitá při trénování předem trénovaného modelu. Model již poskytuje viděné třídy. Nejlepší modely pro učení s nulovým výstřelem jsou modely trénované na třídách úzce souvisejících s novou třídou, kterou chcete, aby model identifikoval.
• Unseen/Novel Class: Data, která nebyla nikdy použita při trénování modelu. Tato data budete muset upravit sami, protože je nemůžete získat z modelu.
• Sémantická/pomocná data: Extra bity dat, které mohou pomoci modelu identifikovat novou třídu. Může to být ve slovech, frázích, vložených slovech nebo názvech tříd.

2. Sémantické mapování

Dalším krokem je zmapování vlastností neviditelné třídy. To se provádí vytvořením vložení slov a vytvořením sémantické mapy, která spojuje atributy nebo charakteristiky neviditelné třídy s poskytnutými pomocnými daty. Učení přenosu AI tento proces mnohem zrychluje, protože mnoho atributů souvisejících s neviditelnou třídou již bylo zmapováno.

3. Odvozování

Odvozování je použití modelu ke generování předpovědí nebo výstupu. Při klasifikaci obrazu s nulovým snímkem se na daném obrazovém vstupu generují vložení slov a poté se vykreslují a porovnávají s pomocnými daty. Úroveň jistoty bude záviset na podobnosti mezi vstupními a poskytnutými pomocnými údaji.

Jak Zero-Shot Learning zlepšuje AI

Zero-shot learning zlepšuje modely umělé inteligence tím, že řeší několik problémů ve strojovém učení, včetně:

• Vylepšené zobecnění: Snížení závislosti na označených datech umožňuje trénovat modely ve větších souborech dat, což zlepšuje zobecnění a činí model robustnějším a spolehlivějším. Jak se modely stávají zkušenějšími a zobecňují se, může být dokonce možné, že se modely naučí spíše zdravý rozum než typický způsob analýzy informací.
• Škálovatelnost: Modely lze neustále trénovat a získávat více znalostí prostřednictvím přenosu učení. Společnosti a nezávislí výzkumníci mohou své modely neustále vylepšovat, aby byly v budoucnu schopnější.
• Snížená šance přefitování: K přefitování může dojít v důsledku toho, že model je trénován na malém souboru dat, který neobsahuje dostatek rozmanitosti, aby reprezentoval všechny možné vstupy. Trénink modelu pomocí učení typu zero-shot snižuje šance na přemontování tím, že trénuje model tak, aby lépe porozuměl tématům v kontextu.
• Nákladově efektivní: Poskytování velkého množství označených dat může vyžadovat čas a zdroje. Pomocí učení přenosu nulového záběru lze trénovat robustní model s mnohem kratším časem a označenými daty.

Jak se umělá inteligence rozvíjí, techniky jako učení s nulovým výstřelem budou ještě důležitější.

Budoucnost Zero-Shot učení

Zero-shot učení se stalo nezbytnou součástí strojového učení. Umožňuje modelům rozpoznat a klasifikovat nové třídy bez explicitního školení. S neustálým pokrokem v architektuře modelů, přístupech založených na atributech a multimodální integraci může učení typu zero-shot výrazně pomoci učinit modely mnohem přizpůsobivějšími při řešení složitých výzev v robotice, zdravotnictví a počítačovém vidění.