Table of Contents
Klíčové věci
- Méně cenzury: Místní LLM nabízejí svobodu diskutovat o podnětných tématech bez omezení uvalených na veřejné chatboty, což umožňuje otevřenější konverzace.
- Lepší soukromí dat: Díky použití místního LLM zůstanou všechna vygenerovaná data ve vašem počítači, což zajistí soukromí a zabrání přístupu společností provozujících veřejně přístupné LLM.
- Offline použití: Místní LLM umožňují nepřetržité používání ve vzdálených nebo izolovaných oblastech bez spolehlivého přístupu k internetu, což v takových scénářích představuje cenný nástroj.
Od příchodu ChatGPT v listopadu 2022 se termín velký jazykový model (LLM) rychle změnil z úzce specializovaného termínu pro AI pitomce na módní slovo na rtech každého. Největším lákadlem místního LLM je schopnost replikovat schopnosti chatbota, jako je ChatGPT, na vašem počítači bez zavazadel verze hostované v cloudu.
Existují argumenty pro a proti nastavení místního LLM na vašem počítači. Přerušíme humbuk a přineseme vám fakta. Měli byste používat místní LLM?
Výhody používání místních LLM
Proč jsou lidé tak nadšeni nastavením vlastních velkých jazykových modelů na svých počítačích? Jaké jsou některé praktické výhody kromě humbuku a vychloubání?
1. Méně cenzury
Když byly ChatGPT a Bing AI poprvé online, věci, které byli oba chatboti ochotni říct a udělat, byly stejně fascinující jako alarmující. Umělá inteligence Bing se chovala vřele a mile, jako by měla emoce. ChatGPT byl ochoten použít nadávky, pokud jste se zeptali hezky. V té době by vám oba chatboti dokonce pomohli vyrobit bombu, pokud byste použili správné výzvy. Může to znít jako všechny odstíny špatnosti, ale schopnost dělat cokoli byla symbolem neomezených schopností jazykových modelů, které je poháněly.
Dnes jsou oba chatboti tak přísně cenzurováni, že vám nepomohou ani napsat fiktivní kriminální román s násilnými scénami. Někteří AI chatboti nebudou ani mluvit o náboženství nebo politice. Ačkoli LLM, které můžete nastavit lokálně, nejsou zcela bez cenzury, mnoho z nich rádo udělá věci, které by vedly k zamyšlení, které veřejně přístupní chatboti neudělají. Pokud tedy nechcete, aby vám robot přednášel o morálce při probírání témat, která vás osobně zajímají, může být správná cesta vedení místní LLM.
2. Lepší ochrana osobních údajů
Jedním z hlavních důvodů, proč se lidé rozhodnou pro místní LLM, je zajistit, aby vše, co se děje na jejich počítači, zůstalo v jejich počítači. Když používáte místní LLM, je to jako soukromá konverzace ve vašem obývacím pokoji – nikdo venku vás nemůže poslouchat. Ať už experimentujete s údaji o své kreditní kartě nebo vedete citlivé osobní rozhovory s LLM, všechna výsledná data jsou uložena. pouze na vašem počítači. Alternativou je použití veřejně přístupných LLM, jako je GPT-4, které poskytují odpovědným společnostem přístup k informacím o vašem chatu.
3. Offline použití
Vzhledem k tomu, že internet je široce dostupný a dostupný, může se offline přístup zdát triviálním důvodem pro použití místního LLM. Offline přístup se může stát obzvláště kritickým ve vzdálených nebo izolovaných místech, kde je internetová služba nespolehlivá nebo nedostupná. V takových scénářích se místní LLM fungující nezávisle na internetovém připojení stává zásadním nástrojem. Umožňuje vám pokračovat v tom, co chcete, bez přerušení.
4. Úspora nákladů
Průměrná cena za přístup ke schopnému LLM, jako je GPT-4 nebo Claude 2, je 20 $ měsíčně. I když se to nemusí zdát jako alarmující cena, za tuto částku stále získáte několik nepříjemných omezení. Například s GPT-4, ke kterému se přistupuje přes ChatGPT, vám zůstane 50 zpráv za tři hodiny. Tyto limity můžete překonat pouze přechodem na plán ChatGPT Enterprise, který by mohl stát tisíce dolarů. S místním LLM, jakmile nastavíte software, nebudete muset platit žádné měsíční předplatné ve výši 20 USD nebo opakované náklady. Je to jako koupit si auto místo spoléhání se na služby spolujízdy. Zpočátku je to drahé, ale postupem času ušetříte.
5. Lepší přizpůsobení
Veřejně dostupné chatboty s umělou inteligencí omezily přizpůsobení kvůli obavám o bezpečnost a cenzuru. S lokálně hostovaným asistentem AI můžete model plně přizpůsobit svým specifickým potřebám. Asistenta můžete vyškolit na proprietárních datech přizpůsobených vašim případům použití, čímž zvýšíte relevanci a přesnost. Právník by například mohl optimalizovat svou místní umělou inteligenci, aby generoval přesnější právní poznatky. Klíčovou výhodou je kontrola nad přizpůsobením pro vaše jedinečné požadavky.
Nevýhody používání místních LLM
Než provedete přechod, měli byste zvážit některé nevýhody používání místního LLM.
1. Intenzivní na zdroje
Chcete-li provozovat výkonné místní LLM, budete potřebovat špičkový hardware. Myslete na výkonné procesory, spoustu paměti RAM a pravděpodobně vyhrazený GPU. Neočekávejte, že notebook s rozpočtem 400 USD poskytne dobrý zážitek. Odezvy budou bolestně pomalé, zejména u větších modelů AI. Je to jako provozování špičkových videoher – pro optimální výkon potřebujete robustní specifikace. Možná budete potřebovat i specializovaná řešení chlazení. Pointa je, že místní LLM vyžadují investici do špičkového hardwaru, aby dosáhly rychlosti a odezvy, kterou si užíváte na webových LLM (nebo se dokonce zlepšily). Výpočetní nároky na vašem konci budou značné ve srovnání s používáním webových služeb.
2. Pomalejší odezvy a horší výkon
Běžným omezením místních LLM je pomalejší doba odezvy. Přesná rychlost závisí na konkrétním modelu AI a použitém hardwaru, ale většina nastavení zaostává za online službami. Poté, co zažili okamžité odpovědi od ChatGPT, Bard a dalších, se místní LLM mohou cítit otřesně pomalí. Slova pomalu odtékají proti tomu, aby byla rychle vrácena. To neplatí univerzálně, protože některá lokální nasazení dosahují dobrého výkonu. Průměrní uživatelé však čelí prudkému poklesu ze svižného webového zážitku. Připravte se tedy na „kulturní šok“ od rychlých online systémů po pomalejší místní ekvivalenty.
Stručně řečeno, pokud nebudete houpat absolutně špičkové nastavení (mluvíme o AMD Ryzen 5800X3D s Nvidia RTX 4090 a dostatečnou RAM k potopení lodi), celkový výkon vašeho místního LLM nebude porovnejte s online generativními chatboty AI, na které jste zvyklí.
3. Komplexní nastavení
Nasazení místního LLM je složitější než pouhé přihlášení k webové službě AI. S připojením k internetu by váš účet ChatGPT, Bard nebo Bing AI mohl být připraven začít zobrazovat výzvy během několika minut. Nastavení úplného lokálního zásobníku LLM vyžaduje stažení rámců, konfiguraci infrastruktury a integraci různých komponent. U větších modelů může tento složitý proces trvat hodiny, a to i s nástroji, které mají za cíl zjednodušit instalaci. Některé nejmodernější systémy umělé inteligence stále vyžadují hluboké technické znalosti, aby mohly fungovat lokálně. Na rozdíl od webových modelů umělé inteligence typu plug-and-play tedy správa vlastní umělé inteligence vyžaduje značné technické a časové investice.
4. Omezené znalosti
Mnoho místních LLM uvízlo v minulosti. Mají omezené znalosti o aktuálním dění. Pamatujete si, když ChatGPT neměl přístup k internetu? Kdy mohl poskytnout odpovědi pouze na otázky týkající se událostí, které nastaly před zářím 2021? Ano? Podobně jako u prvních modelů ChatGPT jsou lokálně hostované jazykové modely často trénovány pouze na datech před určitým datem uzávěrky. V důsledku toho nemají povědomí o posledním vývoji po tomto okamžiku.
Místní LLM navíc nemají přístup k živým internetovým datům. To omezuje užitečnost pro dotazy v reálném čase, jako jsou ceny akcií nebo počasí. Chcete-li si užít zdání dat v reálném čase, budou místní LLM obvykle vyžadovat další vrstvu integrace se službami připojenými k internetu. Přístup k internetu je jedním z možných důvodů
zvažte upgrade na ChatGPT Plus
!
Měli byste použít místní LLM?
Místní velké jazykové modely poskytují lákavé výhody, ale mají také skutečné nevýhody, které je třeba zvážit, než se do toho pustíte. Menší cenzura, lepší soukromí, offline přístup, úspora nákladů a přizpůsobení jsou přesvědčivým důvodem pro místní nastavení LLM. Tyto výhody však něco stojí. Se spoustou volně dostupných LLM online může být naskočení do místních LLM jako plácnutí po mouše perlíkem – možné, ale přehnané. Pamatujte však, že pokud je to zdarma, jste pravděpodobně produktem vy a data, která generujete. Takže dnes neexistuje žádná definitivní správná nebo špatná odpověď. Zhodnocení vašich priorit určí, zda je nyní ten správný čas na změnu.