S několika chatboty dostupnými online může být extrémně obtížné vybrat toho, který vyhovuje vašim potřebám. I když můžete porovnat libovolné dva chatboty ručně, bude to vyžadovat značný čas a úsilí.
Lepším a jednodušším způsobem je použít Chatbot Arena k porovnání různých LLM, které pohánějí populární chatboty. Nabízí několik režimů pro porovnávání různých modelů, které vysvětlíme níže.
Table of Contents
Co je Chatbot Arena?
Chatbot Arena, vytvořená organizací LMSYS Org, je platformou pro srovnávání různých LLM. K hodnocení různých modelů používá systém Elo Rating.
Chatbot Arena nabízí uživatelům několik způsobů, jak porovnávat a hodnotit LLM. Na základě odeslané zpětné vazby Chatbot Arena řadí různé LLM ve veřejném žebříčku. Projekt je sponzorován HuggingFace, open-source alternativou k ChatGPT.
Jak porovnat anonymní LLM s Chatbot Arena
Bitevní režim Chatbot Arena vám umožňuje anonymně porovnávat LLM. Můžete například porovnat ChatGPT (GPT 3.5) a Claude. To znamená, že Chatbot Arena sama vybere libovolné dva jazykové modely a bez zveřejnění jejich názvů vám je umožní porovnat.
Jakmile zadáte první výzvu, Chatbot Arena načte odpovědi z obou modelů a zobrazí je vedle sebe. Platforma vám umožňuje regenerovat odpovědi (pro obě LLM) a vymazat historii pro zahájení jiné konverzace. Můžete klást další otázky, dokud nevyberete jasného vítěze.
Poté si můžete vybrat, zda je lepší model A nebo B. Při výběru vítěze Chatbot Arena odhalí jména obou robotů. Tento režim funguje skvěle, protože vaše rozhodnutí není ovlivněno vaším předchozím vnímáním nebo oblíbeností modelů. Chatbot Arena vám také umožňuje upravit parametry, jako je teplota, Top P a maximální výstupní tokeny.
Jak porovnat vybrané LLM s Chatbot Arena
Pokud chcete porovnat jakékoli dva konkrétní LLM, můžete přepnout do režimu vedle sebe v Chatbot Areně. Kromě toho, že si LLM můžete vybrat sami, funguje tento režim téměř stejně jako bitevní režim. Můžete upravit parametry, regenerovat odpovědi, vymazat historii a nakonec vybrat vítěze.
Počet LLM dostupných v tomto režimu je však omezený. Můžete si vybrat různé verze Llama 2, Vicuna a ChatGLM. Ačkoli populární LLM, jako GPT-4, GPT-3.5, Claude 1, Claude 2 atd., jsou v současné době v tomto režimu nedostupné, Chatbot Arena je plánuje přidat.
Porovnejte LLM pomocí Chatbot Arena
Ať už hledáte vhodného chatbota pro vaše potřeby nebo jen chcete otestovat různé LLM, Chatbot Arena je skvělá platforma.
Poskytuje zjednodušený způsob porovnání různých jazykových modelů vedle sebe. A protože si udržuje žebříček na základě zpětné vazby od uživatelů, můžete si přímo prohlížet hodnocení různých modelů, aniž byste sami spouštěli testy.