Chcete si vytvořit vlastní generativní AI aplikace? Zde je seznam modelů umělé inteligence, které vám pomohou začít.
Modely umělé inteligence jsou architektury neuronových sítí, které fungují extrémně dobře na konkrétních úkolech. Patří mezi ně architektury konvolučních neuronových sítí pro klasifikaci a segmentaci obrázků, generativní předem trénované modely velkých jazyků, difúzní modely pro úlohy generování obrázků a
V poslední době se modely umělé inteligence pro generativní aplikace umělé inteligence – pro obrázky, řeč, text a další – staly velmi populární. Což je dáno jak pokrokem ve výzkumu, tak přístupem k vysoce výkonným počítačům.
Zde je rychlý souhrn oblíbených modelů AI, o kterých budu diskutovat níže.
Schopnosti ModelKeyGPT-4K vytváření aplikací založených na LLM lze použít velký jazykový model s otevřeným zdrojovým kódemLamaRůzné aplikace NLP, od chatbotů po asistenty kódováníSokolVelký jazykový model s otevřeným zdrojovým kódem lze použít k vytváření aplikací založených na LLMStabilní difúzePřevod textu na obrázek, překreslování obrázku, překreslování a převzorkováníDALL-E 2Generování textu na obrázekŠepotRozpoznávání řeči, překlad jazyka a detekce jazykaStabilníLMOpen source odlehčený velký jazykový modelKLIPRůzné úkoly NLP, jako je odpovídání na otázky, sumarizace a generování textuInternLMVelký jazykový model s otevřeným zdrojovým kódem; lze použít k vytváření aplikací založených na LLMSegmentovat model čehokoliZobecnění nulového záběru pro různé úlohy segmentace obrazuWaveGANGenerování zvukuCycleGAN a pix2pixPřeklad z obrázku na obrázekBioGPTGenerování a dolování biomedicínských textů
Od umění AI po vytvoření personalizovaného asistenta kódování můžete vytvořit řadu generativních aplikací AI na základě vašich zájmů. Zde uvádíme některé zajímavé modely umělé inteligence, které můžete prozkoumat – spolu s jejich klíčovými schopnostmi.
Začněme!
Table of Contents
GPT-4
ChatGPT se stal součástí našich každodenních úkolů, od generování itineráře pro vaše nadcházející cestovní plány až po vypracování průvodních dopisů, které odpovídají popisu práce. GPT-4jeho nástupce, je ještě výkonnější velký jazykový model.
Je to nejvýkonnější systém umělé inteligence OpenAI s lepšími schopnostmi uvažování a výkonem než ChatGPT.
Zde je technická přednáška o tom, jak GPT-4 funguje a jak s ním můžete vytvářet aplikace.
K rozhraní ChatGPT můžete přistupovat pomocí a bezplatný účet OpenAI. Pro přístup ke GPT-4 byste však měli mít předplatné ChatGPT Plus.
Zde je několik aplikací, které můžete vytvořit pomocí těchto velkých jazykových modelů:
- Vlastní chatboti
- Zlepšení platforem CRM
- Odpovědi na otázky na zakázkovém korpusu
- Další úkoly, jako je sumarizace a generování textu
Dále se podíváme na některé modely velkých jazyků s otevřeným zdrojovým kódem.
Lama
Meta AI uvolněna Lama, základní model velkého jazyka s parametry 65B v únoru 2023. Následně byla vydána LLama 2 s podstatnými vylepšeními oproti předchozí verzi. Máte přístup k následujícímu:
- Llama Chat: Vyladěná Llama 2
- Code Llama: Postaveno na Llama 2; vyškoleni na více než 500B tokenů kódu; podporuje generování kódu ve všech nejpopulárnějších programovacích jazycích
Modely Llama si můžete stáhnout a používat žádost o přístup. Podívejte se na tento tutoriál, kde se dozvíte, jak používat LLama 2 ve vašich aplikacích Python:
Sokol
Sokol je dalším jazykovým modelem s otevřeným zdrojovým kódem od Technology Innovation Institute (SAE). Všechny modely v sadě Falcon LLM jsou open source a jsou k dispozici pro otevřený přístup. Můžete je tedy použít k vytváření aplikací založených na LLM.
V současné době existují čtyři velikosti modelů: 1,3B, 7,5B, 40B a 180B. pro lepší výkon než v několika benchmarcích byl model 180B trénován na datové sadě 3,5T tokenů. Falcon LLM funguje na stejné úrovni jako ostatní přední open-source LLM.
Falcon 180B open-source LLM dosahuje výkonu blízkého výkonu GPT-4. Podívejte se na tento tutoriál, který popisuje Falcon 180B, jak jej můžete používat, hardwarové požadavky a jak porovnat s GPT-4:
Stabilní difúze
Stabilní difúze model převodu textu na obrázek pro generování obrázků a další kreativní aplikace umělé inteligence. Lze jej také použít pro převzorkování obrazu a malování.
Stabilní difuze XLvydaný v červenci 2023, nabízí několik vylepšení, včetně:
- generování popisných obrázků z mnohem kratších výzev
- schopnost generovat podpůrný text v rámci obrázků
- malování obrazů a malování obrazů
- interakce se zdrojovým obrázkem za účelem generování variant
Pokud se chcete dozvědět, jak fungují modely difúze – metoda, která stojí za magií – podívejte se Jak fungují modely difúzebezplatný kurz od DeepLearning.AI.
DALL-E 2
DALL-E 2 od Open AI je další populární model generování textu na obrázek. Můžete jej použít ke generování realistických obrázků a umění z textu – popisu v přirozeném jazyce.
Může být použit pro následující úkoly:
- generování obrázků z textových výzev
- obrazové malby a malby
- generování variací obrazu
K DALL-E 2 můžete přistupovat přes OpenAI API nebo Webové rozhraní laboratoří OpenAI.
Šepot
Otevřete AI Šepot je model rozpoznávání řeči, který lze použít pro velké množství aplikací, včetně:
- identifikace jazyka
- úlohy rozpoznávání řeči, jako je přepis zvukových souborů
- překlad řeči
Zde je návod, jak převést řeč na text pomocí OpenAI Whisper API:
Chcete-li model vyzkoušet, můžete nainstalovat whisper (openai-whisper) pomocí pip a přistupovat k API ze skriptu Python pro přepis zvukových souborů. Dále můžete použít další velké jazykové modely pro shrnutí přepisu a vytvoření zvukového souboru → souhrnný kanál.
StabilníLM
StabilníLM je open-source LLM sada od Stability AI. Aktuálně jsou k dispozici parametry 3B a 7B. Následující verze budou zahrnovat větší modely s parametry 15B – 65B.
Pokud tedy chcete ve svých aplikacích experimentovat s lehkými LLM s otevřeným zdrojovým kódem, můžete vyzkoušet StableLM.
KLIP
KLIP je zkratka pro Contrassive Language-Image Pre-training. Je to neuronová síť, multimodální model, trénovaný na velkém souboru dat (text, obrázek) párů. Model využívá data přirozeného jazyka a snaží se naučit – z popisů přirozeného jazyka – sémantiku obrázků. Model CLIP je schopen předvídat nejrelevantnější text daného obrázku.
Pomocí funkce CLIP můžete provádět klasifikaci snímků s nulovým snímkem – bez nákladného předběžného školení a jemného dolaďování. Dále můžete využít schopnosti CLIP a vektorových databází k vytváření zajímavých aplikací v:
- vyhledávání textu na obrázek a obrázku na obrázek
- zpětné vyhledávání obrázků
Segmentovat model čehokoli
Segmentace obrazu je úkolem identifikace pixelů patřících ke konkrétnímu objektu v obraze. Meta AI uvolněna Segmentovat model čehokoli (SAM) které lze použít k segmentaci libovolného obrázku a vyříznutí objektů z nich.
Zdroj obrázku: SegmentCokoliv
Pomocí výzev můžete určit, co se má v obrázku segmentovat. SAM aktuálně podporuje následující výzvy: ohraničovací rámečky, masky a body popředí a pozadí. Model má také vynikající výkon zobecnění nulového snímku na dříve neviděných snímcích. Není tedy potřeba žádné výslovné školení.
Vyzkoušejte Model SAM ve vašem prohlížeči!
InternLM
InternLM je jazykový model s otevřeným zdrojovým kódem. Můžete si vyzkoušet základní model 7B a model chatu s otevřeným zdrojovým kódem. Model podporuje kontextové okno 8K. InternLM navíc podporuje funkce interpretace kódu a volání funkcí.
InternLM je také k dispozici v knihovně transformátorů HuggingFace. Můžete využít lehký předtréninkový rámec. Podporuje také vytváření a nasazování aplikací pomocí LMDeploy. S InternLM tak můžete vytvářet end-to-end generativní NLP aplikace.
WaveGAN
WaveGAN je model pro generování zvuku. Pomáhá syntetizovat nezpracovaný zvuk ze vzorků skutečných zvukových dat.
WaveGAN můžete trénovat na datové sadě libovolných zvukových souborů a syntetizovat zvuk bez rozsáhlého předběžného zpracování.
CycleGAN a Pix2Pix
Dosud jsme se zabývali převody řeči na text, textem na obrázek a dalšími modely pro různé úlohy zpracování přirozeného jazyka. Ale co když chcete provést překlad z obrázku na obrázek? Zde můžete použít CycleGAN naučit se mapování ze zdrojové domény do cílové domény za účelem provedení překladu z obrázku na obrázek.
Například vzhledem k obrázku jezera v zimě můžete chtít přeložit stejný obrázek, když je léto. Na obrázku koně možná budete chtít nahradit koně zebrou při zachování stejného pozadí. CycleGAN je pro takové úkoly velmi vhodný.
Model pix2pix lze použít pro převod z obrázku na obrázek; Mezi klíčové vlastnosti modelu patří:
- rekonstruování objektů z okrajových map a
- kolorování obrázků
Můžete najít implementace PyTorch CycleGAN a pix2pix na GitHubu.
BioGPT
BioGPT od společnosti Microsoft je model transformátoru, který můžete použít pro aplikace dolování biomedicínských dat a generování textu. Využívá implementace modelu sekvence-posloupnosti poskytované společností fairseq.
Fairseq z výzkumu Facebooku (nyní Meta AI) je sada nástrojů, která poskytuje implementace modelů sekvencí po sekvencích pro úkoly, jako jsou:
- jazykové modelování
- překlad
- shrnutí
Oba předtrénované modely a jsou k dispozici vyladěné kontrolní body modelu. Model si můžete stáhnout buď z adresy URL, nebo z hubu HuggingFace.
Modely BioGPT jsou také součástí knihovny transformátorů HuggingFace. Pokud tedy pracujete v biomedicínském prostoru, můžete použít BioGPT k vytváření doménově specifických aplikací.
Zabalit se
Doufám, že jste našli několik užitečných modelů, se kterými můžete vytvářet generativní aplikace AI. Ačkoli tento seznam není vyčerpávající, probrali jsme některé z nejoblíbenějších modelů, které můžete použít k vytváření aplikací pro generování textu a zvuku, přepis řeči na text, vyhledávání obrázků a další.
Když vytváříte aplikace pomocí velkých jazykových modelů, měli byste si být vědomi běžných úskalí, jako jsou fakticky nesprávné informace a halucinace. A můžete se setkat s omezeními při jemném ladění modelů, protože proces jemného ladění je často náročný na zdroje.
Takže pokud jste vývojáři, je čas připojit se k AI revoluci a začít budovat zajímavé AI aplikace! Tyto modely si můžete vyzkoušet v Google Colab nebo jiných sešitech pro spolupráci s daty.