Změna paradigmatu v AI a strojovém učení

Federated představuje přestávku od tradičního způsobu shromažďování dat a trénování modelů strojového učení.

Díky federovanému učení těží vývoj strojového učení z levnějšího školení, které respektuje soukromí dat. Tento článek popisuje, co je to federované učení, jak funguje, aplikace a rámce.

Co je federované učení?

Zdroj: Wikipedie

Federated Learning je posun v tom, jak jsou trénovány modely strojového učení. Ve většině modelů strojového učení se data shromažďují do centrálního úložiště od několika klientů. Z tohoto centrálního úložiště se trénují modely strojového učení a poté se používají k předpovědím. Federated Learning dělá opak. Místo odesílání dat do centrálního úložiště klienti trénují modely na svých datech. To jim pomáhá udržet jejich soukromá data v soukromí.

Čtěte také: Vysvětlení nejlepších modelů strojového učení

Jak funguje federované učení?

Učení ve federovaném učení se skládá z řady atomických kroků, které vytvářejí model. Tyto kroky se nazývají výuková kola. Typické nastavení učení iteruje těmito koly a zlepšuje model v každém kroku. Každé výukové kolo zahrnuje následující kroky.

Typické výukové kolo

Nejprve si server vybere model, který se má trénovat, a hyperparametry, jako je počet kol, klientské uzly k použití a podíl uzlů použitých v každém uzlu. V tomto okamžiku je model také inicializován s počátečními parametry pro vytvoření základního modelu.

Dále klienti získají kopie základního modelu k trénování. Těmito klienty mohou být mobilní zařízení, osobní počítače nebo servery. Trénují model na svých místních datech, čímž se vyhnou sdílení citlivých dat se servery.

Jakmile klienti natrénují model na svých místních datech, pošlou jej zpět na server jako aktualizaci. Po přijetí na server se aktualizace zprůměruje spolu s aktualizacemi od ostatních klientů, aby se vytvořil nový základní model. Vzhledem k tomu, že klienti mohou být nespolehliví, někteří klienti v tomto okamžiku nemusí posílat své aktualizace. V tomto okamžiku server zpracuje všechny chyby.

Než bude možné základní model znovu nasadit, je nutné jej otestovat. Server však neukládá data. Proto je za účelem testování modelu zaslán zpět klientům, kde je testován proti jejich lokálním datům. Pokud je lepší než předchozí základní model, převezme se a použije se místo něj.

Zde je a užitečný průvodce o tom, jak funguje federované učení od týmu federovaného učení v Google AI.

Centralizované vs. federované vs. heterogenní

V tomto nastavení je centrální server zodpovědný za řízení učení. Tento typ nastavení je známý jako centralizované federované učení.

Opakem centralizovaného učení by bylo decentralizované federované učení, ve kterém se klienti koordinují peer-to-peer.

Další nastavení se nazývá heterogenní učení. V tomto nastavení nemusí mít klienti nutně stejnou architekturu globálního modelu.

Výhody federovaného učení

• Největší výhodou používání federovaného učení je, že pomáhá udržovat soukromá data v soukromí. Klienti sdílejí výsledky školení, nikoli data použitá při školení. Protokoly lze také zavést pro agregaci výsledků, takže je nelze propojit s konkrétním klientem.
• Snižuje také šířku pásma sítě, protože mezi klientem a serverem nejsou sdílena žádná data. Místo toho dochází k výměně modelů mezi klientem a serverem.
• Snižuje také náklady na tréninkové modely, protože není potřeba kupovat drahý tréninkový hardware. Místo toho vývojáři využívají k trénování modelů hardware klienta. Vzhledem k malému množství dat nezatěžuje zařízení klienta.

Nevýhody federovaného učení

• Tento model závisí na účasti mnoha různých uzlů. Některé z nich nejsou kontrolovány vývojářem. Není tedy zaručena jejich dostupnost. Díky tomu je tréninkový hardware nespolehlivý.
• Klienti, na kterých se trénují modely, nejsou zrovna výkonná GPU. Místo toho jsou to normální zařízení, jako jsou telefony. Tato zařízení, dokonce ani v souhrnu, nemusí být dostatečně výkonná ve srovnání s clustery GPU.
• Federované učení také předpokládá, že všechny klientské uzly jsou důvěryhodné a pracují pro obecné blaho. Některé však nemusí a mohou vydávat špatné aktualizace způsobující posun modelu.

Aplikace federovaného učení

Federated Learning umožňuje učení při zachování soukromí. To je užitečné v mnoha situacích, například:

• Předpovědi dalšího slova na klávesnici smartphonu.
• Zařízení IoT, která mohou lokálně trénovat modely podle konkrétních požadavků situace, ve které se nacházejí.
• Farmaceutický a zdravotnický průmysl.
• Obranný průmysl by také těžil z tréninkových modelů bez sdílení citlivých dat.

Rámce pro federované učení

Existuje mnoho rámců pro implementaci vzorů federovaného učení. Mezi ty nejlepší patří NVFlare, FATE, Flower a PySft. Přečtěte si tuto příručku pro podrobné srovnání různých rámců, které můžete použít.

Závěr

Tento článek byl úvodem do Federated Learning, jak to funguje, stejně jako výhody a nevýhody jeho implementace. Kromě toho jsem také pokryl oblíbené aplikace a frameworky používané k implementaci Federated Learning do produkce.

Dále si přečtěte článek o nejlepších platformách MLOps pro trénování modelů strojového učení.