Máte chuť si sestavit vlastní aplikaci s generativní umělou inteligencí? Zde je přehled modelů umělé inteligence, které vám pomohou na startovní čáře.
Modely umělé inteligence představují sítě neuronů, jež dosahují mimořádných výsledků při plnění konkrétních úkolů. Patří sem konvoluční neuronové sítě pro kategorizaci a segmentaci obrazů, rozsáhlé jazykové modely s předchozím tréninkem, difúzní modely pro tvorbu obrázků a další.
V poslední době se modely umělé inteligence určené pro generativní aplikace – ať už jde o obrázky, mluvený projev, text a další – těší značné popularitě. Je to důsledkem jak pokroků ve výzkumu, tak i dostupnosti výpočetně náročných technologií.
Následuje stručný přehled oblíbených modelů AI, které si podrobněji probereme dále.
| Schopnosti | Model | Klíčové vlastnosti |
| GPT-4 | Velký jazykový model pro vývoj aplikací LLM. | |
| Llama | Různé aplikace NLP, včetně chatbotů a asistentů kódování. | |
| Sokol | Velký jazykový model s otevřeným kódem pro aplikace LLM. | |
| Stabilní difúze | Transformace textu na obrázek, změna a úprava obrázků. | |
| DALL-E 2 | Generování obrázků z textových popisů. | |
| Šepot | Rozpoznávání řeči, překlad jazyků a detekce jazyka. | |
| StabilníLM | Odlehčený velký jazykový model s otevřeným kódem. | |
| KLIP | Široká škála úkolů NLP, včetně odpovídání na otázky a sumarizace textu. | |
| InternLM | Rozsáhlý jazykový model s otevřeným kódem pro aplikace LLM. | |
| Segmentovat model čehokoli | Univerzální řešení segmentace obrazu. | |
| WaveGAN | Generování audio záznamů. | |
| CycleGAN a pix2pix | Překlad obrázků z jednoho formátu do druhého. | |
| BioGPT | Generování a analýza biomedicínských textů. |
Od tvorby uměleckých děl pomocí umělé inteligence až po vývoj personalizovaného asistenta pro programování – můžete vyvinout nepřeberné množství generativních aplikací umělé inteligence v souladu s vašimi zájmy. Následuje několik zajímavých modelů umělé inteligence, které stojí za to prozkoumat, spolu s jejich klíčovými schopnostmi.
Začněme!
GPT-4
ChatGPT se stal součástí každodenního života, pomáhá nám od plánování dovolených až po tvorbu motivačních dopisů. GPT-4, jeho nástupce, je ještě sofistikovanější jazykový model.
Je to nejvýkonnější systém umělé inteligence od OpenAI, který disponuje lepšími schopnostmi uvažování a výkonem než ChatGPT.
Zde je technické vysvětlení, jak funguje GPT-4 a jak s ním můžete tvořit aplikace.
K ChatGPT máte přístup prostřednictvím bezplatného účtu OpenAI. Pro přístup ke GPT-4 je ovšem nutné mít předplatné ChatGPT Plus.
Níže je seznam aplikací, které lze sestavit za využití těchto rozsáhlých jazykových modelů:
- Personalizovaní chatboti
- Vylepšení platforem CRM
- Odpovídání na otázky na základě specifických textových korpusů
- Úkoly, jako je sumarizace a generování textu
Dále se podíváme na některé jazykové modely s otevřeným zdrojovým kódem.
Lama
Meta AI v únoru 2023 představila Lama, základní jazykový model s 65 miliardami parametrů. Následně byla vydána Llama 2 s vylepšeními oproti předchozí verzi. Máte přístup k následujícímu:
- Llama Chat: Vyladěná Llama 2
- Code Llama: Založena na Llama 2; trénována na více než 500 miliardách tokenů kódu; podporuje generování kódu v nejpopulárnějších programovacích jazycích
Modely Llama si můžete stáhnout a používat po odeslání žádosti o přístup. Podívejte se na tento tutoriál, který vás provede používáním LLama 2 v aplikacích Python:
Sokol
Sokol je další jazykový model s otevřeným zdrojovým kódem od Technology Innovation Institute (SAE). Všechny modely ze sady Falcon LLM jsou open source a volně dostupné. Lze je tak použít pro vývoj aplikací založených na LLM.
V současné době existují čtyři velikosti modelů: 1,3B, 7,5B, 40B a 180B. Model 180B byl trénován na datovém souboru o velikosti 3,5 bilionu tokenů, což mu umožňuje dosahovat lepších výsledků v několika srovnávacích testech. Falcon LLM dosahuje srovnatelných výsledků jako ostatní špičkové LLM s otevřeným kódem.
Falcon 180B open-source LLM dosahuje výkonu téměř srovnatelného s GPT-4. Podívejte se na tento návod, kde se dozvíte o Falcon 180B, jeho použití, hardwarových požadavcích a srovnání s GPT-4:
Stabilní difúze
Stabilní difúze je model pro generování obrázků z textu a další kreativní aplikace s umělou inteligencí. Lze jej použít i pro úpravy obrázků a tvorbu nových variant.
Stabilní difúze XL, vydaná v červenci 2023, přináší vylepšení, jako jsou:
- generování detailních obrázků z kratších textových zadání
- schopnost generovat podpůrný text v rámci obrázků
- úprava a překreslování obrázků
- interakce se zdrojovým obrázkem pro generování variant
Pokud vás zajímá, jak fungují difúzní modely, které stojí za touto magií, podívejte se na bezplatný kurz Jak fungují difúzní modely od DeepLearning.AI.
DALL-E 2
DALL-E 2 od OpenAI je dalším populárním modelem pro tvorbu obrázků z textu. Můžete ho využít k generování realistických obrázků a umění z textového popisu v přirozeném jazyce.
Použití je možné v následujících případech:
- generování obrázků z textových zadání
- úprava a překreslování obrázků
- generování variant obrázků
K DALL-E 2 máte přístup prostřednictvím OpenAI API nebo webového rozhraní laboratoří OpenAI.
Šepot
Open AI Šepot je model pro rozpoznávání řeči, který lze použít pro širokou škálu aplikací, včetně:
- identifikace jazyka
- rozpoznávání řeči, například transkripce zvukových souborů
- překlad řeči
Zde je návod, jak převést řeč na text pomocí OpenAI Whisper API:
Model můžete otestovat instalací Whisper (openai-whisper) pomocí pip a přístupem k API z Python skriptu pro transkripci zvukových souborů. Následně můžete použít další velké jazykové modely pro shrnutí transkripce a vytvoření kanálu pro zpracování zvuku → souhrn.
StabilníLM
StabilníLM je sada LLM s otevřeným zdrojovým kódem od Stability AI. Aktuálně jsou dostupné verze s 3 a 7 miliardami parametrů. Budoucí verze nabídnou větší modely s 15 až 65 miliardami parametrů.
Pokud si tedy přejete experimentovat s odlehčenými LLM s otevřeným kódem ve svých aplikacích, můžete vyzkoušet StableLM.
KLIP
KLIP je zkratka pro Contrassive Language-Image Pre-training. Jedná se o multimodální neuronovou síť trénovanou na rozsáhlém souboru dat párů (text, obrázek). Model využívá data přirozeného jazyka a snaží se naučit – z popisů v přirozeném jazyce – sémantiku obrázků. CLIP dokáže predikovat nejpřesnější textový popis pro daný obrázek.
Díky CLIP můžete provádět klasifikaci obrázků s nulovým snímkem – bez nutnosti nákladného předtrénování a jemného dolaďování. Můžete také využít schopnosti CLIP a vektorových databází k tvorbě zajímavých aplikací v oblastech, jako jsou:
- vyhledávání obrázků pomocí textu a naopak
- reverzní vyhledávání obrázků
Segmentovat model čehokoli
Segmentace obrázků spočívá v identifikaci pixelů, které patří ke konkrétnímu objektu v obrázku. Meta AI vydala Segmentovat model čehokoli (SAM), který lze použít k segmentaci jakéhokoli obrázku a následnému vyjímání objektů z něj.
Zdroj obrázku: SegmentAnything
Pomocí výzev můžete specifikovat, co má být na obrázku segmentováno. SAM v současnosti podporuje následující výzvy: ohraničující rámečky, masky a body popředí a pozadí. Model se také vyznačuje vynikající schopností zobecnění nulového snímku na dříve neviděných snímcích, a tak není potřeba žádný explicitní trénink.
Vyzkoušejte si SAM model ve svém prohlížeči!
InternLM
InternLM je jazykový model s otevřeným kódem. Můžete si vyzkoušet základní model 7B a chatovací model s otevřeným kódem. Model podporuje kontextové okno 8K. InternLM dále podporuje funkce pro interpretaci kódu a volání funkcí.
InternLM je rovněž k dispozici v knihovně transformátorů HuggingFace. Můžete využít lehký předtréninkový rámec. Podporuje také vývoj a nasazování aplikací pomocí LMDeploy. S InternLM tak můžete tvořit komplexní generativní NLP aplikace.
WaveGAN
WaveGAN je model pro generování zvuku. Pomáhá syntetizovat surový zvuk ze vzorků skutečných zvukových dat.
WaveGAN můžete trénovat na libovolném souboru zvukových nahrávek a syntetizovat zvuk bez rozsáhlého předběžného zpracování.
CycleGAN a Pix2Pix
Dosud jsme se věnovali převodu řeči na text, textu na obrázek a dalším modelům pro různé úlohy zpracování přirozeného jazyka. Co ale když potřebujete provést překlad z obrázku do jiného obrázku? Zde můžete použít CycleGAN pro naučení mapování ze zdrojové domény do cílové domény za účelem provedení překladu obrázků.
Například pokud máte obrázek jezera v zimě, možná budete chtít stejný obrázek převést do letní podoby. Nebo pokud máte obrázek koně, můžete ho chtít nahradit zebrou a přitom zachovat stejné pozadí. CycleGAN je pro takové úlohy ideální.
Model pix2pix lze použít pro převod z jednoho obrázku na jiný; mezi klíčové vlastnosti modelu patří:
- rekonstrukce objektů z obrysových map a
- kolorování obrázků
Implementace PyTorch CycleGAN a pix2pix najdete na GitHubu.
BioGPT
BioGPT od společnosti Microsoft je transformační model, který můžete využít pro analýzu a generování biomedicínských textů. Využívá implementace modelů sekvence-sekvence poskytované fairseq.
Fairseq z výzkumu Facebooku (nyní Meta AI) je sada nástrojů, která nabízí implementace modelů pro úlohy jako:
- jazykové modelování
- překlad
- shrnutí textů
Oba předtrénované modely a vyladěné modely jsou dostupné. Model si můžete stáhnout buď z URL adresy, nebo z HuggingFace.
Modely BioGPT jsou rovněž součástí knihovny transformátorů HuggingFace. Pokud tedy pracujete v biomedicínském oboru, můžete BioGPT využít k tvorbě specifických aplikací.
Závěrem
Doufám, že jste našli několik užitečných modelů, které můžete použít pro tvorbu generativních AI aplikací. Ačkoli tento seznam není úplný, probrali jsme některé z nejoblíbenějších modelů, jež můžete použít pro vývoj aplikací pro generování textu a zvuku, převod řeči na text, vyhledávání obrázků a mnoho dalšího.
Při vývoji aplikací s využitím rozsáhlých jazykových modelů byste si měli být vědomi běžných úskalí, jako jsou fakticky nesprávné informace a halucinace. Můžete se také setkat s omezeními při jemném dolaďování modelů, protože tento proces je často náročný na zdroje.
Pokud jste vývojáři, je čas zapojit se do AI revoluce a začít budovat zajímavé AI aplikace! Tyto modely si můžete vyzkoušet v Google Colab nebo jiných interaktivních prostředích pro práci s daty.