Proč Gemini 1.5’s One Million Token Context mění hru

Klíčové věci

  • Google Gemini 1.5 zavádí kontextové okno s jedním milionem tokenů, čímž překonává konkurenty jako Claude a ChatGPT.
  • Větší kontextové okno zvyšuje výkon modelu AI a snižuje chyby, ale nemusí zaručit celkový úspěch.
  • Větší kontextové okno Gemini 1.5 by mohlo výrazně zvýšit přesnost, snížit chyby a zlepšit porozumění.

Google Gemini 1.5 nyní přichází s masivním kontextovým oknem s jedním milionem tokenů, které převyšuje jeho přímou konkurenci v ChatGPT, Claude a dalších chatbotech AI.

Zní to jako masivní upgrade a mohl by Gemini odlišit. Je trochu obtížné pochopit jeho plný rozsah – ale obrovské kontextové okno Gemini by mohlo změnit hru.

Co je kontextové okno?

Při odpovídání na vaše dotazy, jako je vysvětlování konceptu nebo shrnutí textu, mají modely umělé inteligence limit na množství dat, které mohou vzít v úvahu, aby vygenerovaly odpověď. Limit velikosti textu, který může vzít v úvahu, se nazývá kontextové okno.

Zde je další způsob, jak se na to podívat. Řekněme, že jdete do obchodu s potravinami pro nákup potravin bez seznamu potravin. Limit počtu potravin, které si při nakupování zapamatujete, je vaše kontextové okno. Čím více potravin si zapamatujete, tím vyšší je šance, že si nezkazíte nákupní plány. Podobně, čím větší je kontextové okno modelu AI, tím vyšší je šance, že si model zapamatuje vše, co potřebuje, aby vám poskytl nejlepší výsledky.

  6 nejlepších ECAD software pro navrhování elektronických produktů

V době psaní tohoto článku je kontextové okno Claude 2.1 společnosti Anthropic 200k největším kontextovým oknem ze všech obecně dostupných modelů umělé inteligence. Následuje GPT-4 Turbo se 128k kontextovým oknem. Google Gemini 1.5 přináší jeden milion kontextového okna, čtyřikrát větší než cokoliv na trhu. To vede k velké otázce: co je důležitého na kontextovém okně s jedním milionem tokenů?

Proč je kontextové okno Gemini 1.5 velkým problémem

Smartmockups

Abychom to uvedli do jasnější perspektivy, kontextové okno Claude AI 200 000 znamená, že dokáže strávit knihu o přibližně 150 000 slovech a poskytnout na ni odpovědi. To je masivní. Ale Gemini 1.5 od Googlu by dokázal strávit 700 000 slov najednou!

Když vložíte velký textový blok do AI chatbotů, jako je ChatGPT nebo Gemini, pokusí se strávit co nejvíce textu, ale kolik toho dokáže strávit, závisí na jeho kontextovém okně. Pokud tedy vedete konverzaci, která obsahuje 100 000 slov na modelu, který zvládne pouze 28 000 slov, a pak začnete klást otázky, které vyžadují úplnou znalost celé konverzace v hodnotě 100 000 slov, nastavujete ji na selhání.

  Jak dočasně zakázat oznámení ve Firefoxu

Představte si, že sledujete pouze 20 minut hodinového filmu, ale budete požádáni o vysvětlení celého filmu. Jak dobré by byly vaše výsledky? Buď odmítnete odpovědět, nebo si prostě něco vymyslíte, což je přesně to, co by udělal chatbot AI, což vedlo k halucinacím AI.

Nyní, pokud si myslíte, že jste nikdy nemuseli nakrmit 100 000 slov do chatbota, není to všechno. Kontextové okno přesahuje pouze text, který vložíte do modelu AI v jediné výzvě. Modely umělé inteligence berou v úvahu celou konverzaci, kterou jste vedli během chatu, aby zajistily, že jejich odpovědi budou co nejrelevantnější.

Takže, i když ho nekrmíte knihou o 100 000 slovech, vaše konverzace tam a zpět a odpovědi, které poskytuje, to vše přispívá k výpočtu kontextového okna. Zajímá vás, proč ChatGPT nebo Gemini od Googlu neustále zapomínají věci, které jste jim řekli dříve v konverzaci? Pravděpodobně došel prostor kontextového okna a začal zapomínat.

Větší kontextové okno je důležité zejména pro úkoly vyžadující hluboké porozumění kontextu, jako je shrnutí dlouhých článků, zodpovězení složitých otázek nebo udržování koherentního vyprávění v generovaném textu. Chcete napsat román o 50 000 slovech, který bude mít konzistentní příběh? Chcete model, který dokáže „sledovat“ a odpovídat na otázky v jednohodinovém videosouboru? Potřebujete větší kontextové okno!

  14 nejlepších šablon plánování projektu k dokumentaci výstupů a fází

Stručně řečeno, větší kontextové okno Gemini 1.5 může výrazně zlepšit výkon jeho modelu AI, snížit halucinace a výrazně zvýšit přesnost a schopnost lépe dodržovat pokyny.

Splní Gemini 1.5 očekávání?

Pokud vše půjde podle plánu, Gemini 1.5 by mohl potenciálně překonat nejlepší modely AI na trhu. Vzhledem k mnoha selháním Googlu při vytváření stabilního modelu umělé inteligence je však důležité, abychom byli opatrní. Samotné vybuzení kontextového okna modelu automaticky nezlepší model.

200k kontextové okno Claude 2.1 jsem používal měsíce od jeho vydání a jedna věc je mi jasná – větší kontextové okno může skutečně zlepšit kontextovou citlivost, ale problémy s výkonem základního modelu mohou způsobit, že větší kontext bude problémem. vlastní.

Změní nám Google Gemini 1.5 hru? Sociální média jsou v současné době plná zářivých recenzí Gemini 1.5 od uživatelů s raným přístupem. Většina 5hvězdičkových recenzí však pochází z uspěchaných nebo zjednodušených případů použití. Dobré místo, kde si můžete ověřit, jak by si Gemini 1.5 vedli ve volné přírodě, je uvnitř společnosti Google Technická zpráva Gemini 1.5 [PDF]. Zpráva ukazuje, že ani během „řízeného testování“ model nedokázal načíst všechny drobné detaily dokumentů v rámci velikosti svého kontextového okna.

Kontextové okno s milionem tokenů je skutečně působivý technický výkon, ale bez možnosti spolehlivého načtení detailů dokumentu má větší kontextové okno malou praktickou hodnotu a mohlo by se dokonce stát příčinou poklesu přesnosti a halucinací.