AI Gemini od Googlu je tu, ale je lepší než ChatGPT?

Klíčové věci

• Model AI Gemini od Googlu má tři varianty, Ultra, Pro a Nano, zaměřené na různé úkoly a úrovně složitosti.
• Gemini Ultra vykazuje slibné výsledky v klíčových benchmarcích AI, ale od prosince 2023 není k dispozici pro veřejné použití. Google říká, že by měl být dostupný v lednu 2024.
• Gemini Pro je k dispozici a i když funguje docela dobře, v současné době nedokáže sesadit GPT-4 z trůnu.

Google neustále slibuje, že jeho model Gemini AI bude lepší než OpenAI GPT-4, model, který pohání ChatGPT Plus. Nyní, když byl spuštěn Google Gemini, můžeme jej konečně otestovat a zjistit, jak si Gemini stojí v porovnání s GPT-4.

Když Google v březnu 2023 spustil Bard, bylo mnoho důvodů k nadšení. Konečně by byl narušen monopol ChatGPT OpenAI a dostali bychom důstojnou konkurenci.

Bard však nikdy nebyl tím AI titánem, ve kterého lidé doufali, a GPT-4 zůstává dominantní generativní platformou AI chatovacích botů. Nyní je tu Gemini od Googlu – ale je dlouho očekávaný model umělé inteligence lepší než ChatGPT?

Co je model AI Gemini od Googlu?

Gemini je nejschopnější generativní model AI od Googlu, který dokáže porozumět různým datovým formátům, včetně textu, zvuku, obrázků a videa, a pracovat s nimi. Je to pokus společnosti Google vytvořit jednotný model umělé inteligence, který bude čerpat ze svých nejschopnějších technologií umělé inteligence. Gemini bude k dispozici ve třech variantách:

Gemini Ultra: Největší a nejschopnější varianta navržená pro zvládnutí vysoce komplexních úkolů.

Gemini Pro: Nejlepší model pro škálování a poskytování vysokého výkonu v celé řadě úkolů, ale méně schopný než Ultra.

Gemini Nano: Nejúčinnější model navržený pro nasazení úloh na zařízení. Vývojáři mohou například použít Gemini Nano k vytváření mobilních aplikací nebo integrovaných systémů, což přináší výkonnou umělou inteligenci do mobilního prostoru.

Na svém oficiálním blogu Klíčové slovo, Google říká, že Gemini Ultra překonává nejmodernější v několika benchmarcích. Google tvrdí, že Gemini Ultra poráží přední GPT-4 v několika klíčových benchmarcích.

S bezprecedentním skóre 90,0 % v přísném benchmarku MMLU je Gemini Ultra prvním modelem, který v tomto mnohostranném testu zahrnujícím 57 subjektů překonal výkon na lidské úrovni.

Google

Gemini Ultra dokáže také porozumět, vysvětlit a generovat vysoce kvalitní kód v některých z nejpopulárnějších světových programovacích jazyků, včetně Go, JavaScript, Python, Java a C++. Na papíře jsou to všechno skvělé výsledky. Ale to jsou všechno benchmarky a benchmarky ne vždy vyprávějí celý příběh. Jak dobře si Blíženci vedou v úkolech v reálném světě?

Jak používat Google Gemini AI

Ze tří variant modelu Gemini AI můžete Gemini Pro začít používat právě teď. Gemini Pro je aktuálně k dispozici na chatbotu Bard od Googlu. Chcete-li používat Gemini Pro s Bardem, přejděte na bard.google.com a přihlaste se pomocí svého účtu Google.

Google říká, že Gemini Ultra bude spuštěn v lednu 2024, takže jsme se zatím museli spokojit s testováním Gemini Pro proti ChatGPT.

Jak se Gemini srovnává s GPT-3.5 a GPT-4

Když je uveden na trh jakýkoli nový model umělé inteligence, je testován proti modelům GPT AI OpenAI, které jsou obecně přijímány jako nejmodernější model, proti kterému by ostatní modely měly čelit. Pomocí Bard a ChatGPT jsme tedy otestovali schopnosti Gemini v matematice, kreativním psaní, generování kódu a přesném zpracování obrazových vstupů.

Počínaje nejjednodušší matematickou otázkou, jakou jsme mohli myslet, jsme oba chatboty požádali, aby vyřešili: -1 x -1 x -1.

Bard šel první. Otázku jsme zopakovali dvakrát a všichni se vrátili se špatnými odpověďmi. Odpověď jsme sice dostali na třetí pokus, ale to se nepočítá.

Vyzkoušeli jsme ChatGPT běžící na GPT-3.5. První soud to vyřešil správně.

Abychom otestovali schopnosti Gemini interpretovat obrázky, zadali jsme mu za úkol interpretovat některé populární memy. To odmítlo s tím, že nedokáže interpretovat obrázky s lidmi v něm. ChatGPT, provozující GPT-4V, byl ochoten a schopen tak učinit bezchybně.

Pokusili jsme se o další pokus, jak jej přimět interpretovat obrázek a zároveň testovat jeho schopnost řešit problémy a kódovat. Dali jsme Bardovi, který běží na Gemini Pro, snímek obrazovky a požádali jsme ho, aby interpretoval a napsal kód HTML a CSS, aby se snímek obrazovky replikoval.

Zde je zdrojový snímek obrazovky.

Níže je uveden pokus Gemini Pro interpretovat a replikovat snímek obrazovky pomocí HTML a CSS.

A tady je pokus GPT-4 o replikaci snímku obrazovky. Výsledek není překvapivý, vezmeme-li v úvahu, že GPT-4 byl historicky silný v kódování. Již dříve jsme demonstrovali použití GPT-4 k vytvoření webové aplikace od nuly.

Požádali jsme Gemini Pro, aby vytvořil báseň o Tesle (značce elektromobilů). Ukázala nepatrná zlepšení oproti předchozím testům, které jsme provedli v minulosti. Zde je výsledek:

V tuto chvíli jsme si mysleli, že srovnání výsledků s GPT-3.5 spíše než s přeplňovaným GPT-4 by bylo vhodnější. Požádali jsme tedy ChatGPT s GPT-3.5, aby vytvořil podobnou báseň.

Může to být osobní volba, ale přístup Gemini Pro se zdá být lepší. Ale necháme vás být soudcem.

Je Gemini lepší než ChatGPT?

Než Google spustil Bard, mysleli jsme si, že to bude soutěž ChatGPT, na kterou jsme čekali – nebylo. Nyní je tu Gemini a zatím se Gemini Pro nezdá jako model, který by ChatGPT dal úder.

Google říká, že Gemini Ultra bude mnohem lepší. Skutečně doufáme, že ano a že splňuje nebo překračuje požadavky uvedené v oznámení Gemini Ultra. Ale dokud neuvidíme a nevyzkoušíme nejlepší verzi generativního nástroje AI od Googlu, nebudeme vědět, jestli dokáže sesadit ostatní konkurenty modelů AI. V současné době zůstává GPT-4 nesporným šampionem modelů AI.