Table of Contents
Klíčové věci
- Le Chat, AI chatbot od Mistral AI, je slibný, ale za ChatGPT zaostává v kreativitě a programovacích dovednostech.
- Le Chatovy kódovací schopnosti jsou horší než ChatGPT, selhávají v základních úkolech, ale vyniká v uvažování selským rozumem.
- Zatímco Le Chat může mít potenciál, potřebuje další vylepšení, než bude soutěžit s nejlepšími chatboty AI, jako je ChatGPT.
Mistral’s Le Chat získává na popularitě v komunitě chatbotů s umělou inteligencí a někteří pozorovatelé jej označují za potenciálního soupeře ChatGPT.
Ale opravdu stojí tento začínající AI chatbot za titul? Je Mistral’s Le Chat lepší než ChatGPT?
Co je Le Chat Mistral AI?
Le Chat je konverzační AI chatbot vyvinutý francouzským AI startupem Mistral AI. Je poháněn několika velkými jazykovými modely vlastněnými Mistral, včetně Mistral Large, Mistral Small a Mistral Next, z nichž všechny si můžete vybrat pro interakci s chatbotem AI. Přestože jde o relativně nového účastníka v prostoru chatbotů AI, je vysoce hodnocen kvůli výkonu svých modelů AI navzdory jejich menší velikosti ve srovnání s průmyslovými těžkými váhami, jako jsou Gemini a GPT-4.
Abyste pochopili, co to znamená, představte si, že si hrajete se stavebnicemi. Čím více bloků máte, tím složitější a podrobnější struktury můžete stavět, že? Modely AI Language jsou trochu podobné. Dodávají se ve velikostech, obvykle vyjádřených počtem parametrů. Možná jste tedy v modelech AI slyšeli termíny jako „parametry 7B“ nebo „parametry 70B“. Počet parametrů je jako počet stavebních bloků, kterým musí model porozumět a generovat odpovědi. Pokud má tedy jazykový model více parametrů, může porozumět a generovat komplexnější a lepší odpovědi.
Nyní, zatímco GPT-4 má odhadem 1,76 bilionu parametrů, Mistral AI se odhaduje na 7 až 56 miliard parametrů. Vidíte ten rozdíl ve velikosti? Takže schopnost Mistral AI podávat slušný výkon je jedním z důvodů humbuku.
Ačkoli se Le Chat netěší takové úrovni publicity, jakou se těší ChatGPT, ani hodnotě značky jako Gemini, propracoval se do konverzace vždy, když se diskutuje o potenciální konkurenci ChatGPT. Ale zaslouží si místo na stole?
Přemýšlel jsem o tom samém, a abych to zjistil, rozsáhle jsem testoval Le Chat, abych zjistil, jak se porovnává s ChatGPT.
Le Chat vs. ChatGPT: Kreativita
Kreativita je jednou z nejdůležitějších metrik pro posuzování výkonu konverzačního AI chatbota. Pamatujte, že účelem chatbota s umělou inteligencí je replikovat nebo napodobovat konverzační schopnosti a tvůrčí talent lidí ve velkém měřítku. Díky tomu je kreativita velmi důležitou silou pro každého chatbota s umělou inteligencí. Svět experimentuje s ChatGPT více než rok a jeho tvůrčí schopnosti jsou nepopiratelné. Jak se ale Le Chat srovnává? Oba chatboty jsme podrobili sérii testů kreativity.
Začal jsem tím, že jsem se obou chatbotů zeptal: „Jak byste se popsali umělci?“ otestovat jejich schopnost používat kreativní a nápaditá slova ke konceptualizaci sebe sama.
Zde je návod, jak by se ChatGPT popsal umělci:
A takto by se Le Chat popsal také:
Obě odpovědi byly vhodné svým vlastním jedinečným způsobem. ChatGPT více investoval do používání živých snímků a metafor k popisu sebe sama, což demonstrovalo kreativní talent. Na druhou stranu je Le Chatova odpověď velmi informativní a zaměřená na popis její podstaty jako AI chatbota. Někdo může říci, že postrádá kreativní talent a umělecký přístup, který reakce ChatGPT vykazuje. Nicméně řeknu, že upřednostňuji snazší odpověď Le Chat na abstraktní popis ChatGPT.
Poté jsem požádal ChatGPT a Le Chat, aby napsali rapovou píseň o zbohatnutí z pěstování okurek – ošemetný požadavek, který jsme použili k testování kreativity jiných chatbotů. Kolik rapových písní o okurkách najdete na webu?
Zde je odpověď ChatGPT:
A zde je odpověď Le Chat:
Může to být subjektivní problém, ale odpověď ChatGPT se zde zdála jako lepší možnost. Texty Le Chat vypadaly dost rozvláčně a nečetly se jako něco, co by vydal rapper. Abychom otestovali, jak by oba texty zněly, kdyby se z nich měla vytvořit hudba, použili jsme hudební generátor Suno AI ke generování hudby z textů. Tři ze tří pokusů zněly texty ChatGPT mnohem lépe. Níže jsou uvedeny dvě ukázky z obou chatbotů s umělou inteligencí, můžete se sami rozhodnout, který chatbot si vedl lépe.
Ukázky generované z textů ChatGPT
Ukázka 1:
Ukázka 2:
Ukázky generované z textů Mistral Le Chat
Ukázka 1:
Ukázka 2:
Vyzkoušel jsem několik dalších kreativních úkolů, jako jsou básně, psaní článků a navrhování složitých pracovních e-mailů s chatboty AI. Navzdory velkému slibu byl Le Chat ve všech případech jasně překonán ChatGPT. Je důležité zdůraznit, že jednou z oblastí, kde byl Le Chat obzvláště silný, bylo vytváření článků, i když s některými složitými styly nabádání. Co se však týče všestranné kreativity, medaili patří ChatGPT.
Le Chat vs. ChatGPT: Programovací dovednosti
Znalosti v kódování se staly klíčovým požadavkem pro velké chatboty s umělou inteligencí. Psaní slušného kódu je základní dovednost, ale aby skutečně vynikl mezi elitou, musí chatbot s umělou inteligencí prokázat svou zdatnost ve vytváření kódu, který dokáže efektivně vyřešit různorodou řadu složitých problémů. Dříve jsme vytvořili celou webovou aplikaci od nuly pomocí ChatGPT, která demonstruje její pozoruhodné schopnosti jako programovací nástroj. Ale jak dobrý je Le Chat v psaní kódu?
Pověřil jsem oba chatboty, aby napsali jednoduchou aplikaci pro seznam úkolů pomocí CSS, HTML a JavaScript. ChatGPT neměl žádný problém s dobrými výsledky. Zkopíroval jsem vygenerovaný kód a zobrazil jsem si jeho náhled v prohlížeči a zde je to, co ChatGPT vytvořil:
Pokaždé, když jsme výzvu zopakovali, ChatGPT vytvořil funkční aplikaci se seznamem úkolů pomocí různých stylů. V žádném případě vygenerovaný kód nefungoval.
Když jsem zkoušel stejnou výzvu s Le Chat, vygenerovalo to, co se zdálo být srozumitelný kód, ale když jsme to zkusili spustit v prohlížeči, nebylo to funkční. Po trojím zopakování výzvy žádná instance nevytvořila kód, který by mohl dokončit nastavenou úlohu. Selhal v jedné z nejzákladnějších úloh kódování – červené vlajky!
Samozřejmě nebudu Le Chat soudit podle jednoho neúspěšného testu. Dále jsem oba chatboty požádal, aby vygenerovali JavaScript a PHP kód pro šifrování a dešifrování textu. V tomto druhém testu vytvořily ChatGPT i Le Chat funkční kód, který by mohl plnit stanovený úkol. Le Chatova verze však vypadala jako to, co by napsal nezkušený programátor na základní úrovni. Kód ChatGPT byl na druhou stranu úplnější a vypadal, jako by jej psal zkušený programátor.
Zopakoval jsem několik dalších programovacích testů zahrnujících hledání a opravu chyb a ChatGPT trvale překonal Le Chat. V některých případech Le Chat ani nevěděl, co má dělat. Je velká šance, že se Le Chat v některých oblastech vyrovná ChatGPT, ale nezdá se, že by dovednosti kódování byly jednou z nich.
Le Chat vs. ChatGPT: Zdravý rozum a logické uvažování
Zajímavým zvratem u chatbotů s umělou inteligencí je jejich schopnost snadno řešit složité úkoly, ale selhávají u jednoduchých, jejichž dokončení vyžaduje základní zdravý rozum. Mnoho chatbotů, jak těch zavedených, jako je ChatGPT, tak nově příchozích, jako je Le Chat, má problémy s řešením úkolů, které vyžadují lidský zdravý rozum a logické uvažování. Jak se tedy Le Chat a ChatGPT srovnávají na této frontě?
Zeptal jsem se obou chatbotů: „Pokud máte třílitrovou láhev a pětilitrovou láhev. Jak můžete změřit 4 litry vody pomocí 3-litrových a 5-litrových lahví?
ChatGPT vyřešil problém s vkusem:
Le Chat se pokusil o stejný úkol a dokázal problém vyřešit, i když použil jiný přístup.
Oba chatboti si v tomto testu vedli srovnatelně.
Dále jsme oběma chatbotům položili trikovou otázku: „Pokud se vesmírná loď z Marsu rozlomí na dvě části, přičemž jedna část se zřítí do Atlantského oceánu u Brazílie a druhá do Tichého oceánu u Japonska, kam pohřbíte přeživší?
ChatGPT trik prohlédl a odpovídajícím způsobem odpověděl:
Le Chat také dokázal prokouknout trik a podle toho také odpověděl:
Zkoušel jsem více trikových otázek a zdálo se, že ChatGPT i Le Chat jsou docela zběhlí v zacházení se zdravým rozumem a logickými úvahami. U složitějších logických otázek však může správné odpovědi poskytnout pouze ChatGPT.
Zatímco Le Chat vyvolal určitý rozruch jako potenciální „zabiják ChatGPT“, naše testování ukazuje, že má stále co dělat, než se skutečně vyrovná těžkým vahám světa AI chatbotů. Ačkoli Le Chat prokázal působivé schopnosti v oblastech, jako je uvažování selským rozumem, jeho kreativní výstup a kódovací dovednosti znatelně zaostávaly za ChatGPT. Francouzská umělá inteligence je rozhodně slibná, ale hype stroj možná trochu předbíhá.
Stejně jako mnoho ctižádostivých soutěžících před ním, i Le Chat potřebuje neustálé zdokonalování a školení, než bude připraven na velkou ligu. Prozatím jsou AI chatboti jako ChatGPT stále jednoznačně nespornými králi světa AI chatbotů. Pole soutěžících se ale jen více zaplňuje, a tak si lídři nemohou dovolit usnout na vavřínech.