Sestavení jednoho modelu strojového učení je poměrně snadné. Vytváření stovek nebo tisíců modelů a opakování těch stávajících je těžké.
Je snadné se ztratit v chaosu. Tento chaos se zhoršuje, když pracujete jako tým, protože nyní musíte sledovat, co všichni dělají. Vnést řád do chaosu vyžaduje, aby celý tým sledoval proces a dokumentoval své aktivity. To je podstata MLOps.
Table of Contents
Co je MLOps?
Zdroj: ml-ops.org
Podle MLOps.org se Machine Learning Operationalization snaží vybudovat ucelený proces vývoje strojového učení pro navrhování, vytváření a správu reprodukovatelného, testovatelného a vyvíjejícího se softwaru založeného na ML. MLOps jsou v podstatě principy DevOps aplikované na strojové učení.
Stejně jako DevOps je klíčovou myšlenkou MLOps automatizace, která snižuje manuální kroky a zvyšuje efektivitu. Stejně jako DevOps také MLOps zahrnuje jak kontinuální integraci (CI), tak kontinuální doručování (CD). Kromě těchto dvou zahrnuje také Continuous Training (CT). Další aspekt CT zahrnuje rekvalifikaci modelů s novými daty a jejich opětovné nasazení.
MLOps je tedy inženýrská kultura, která podporuje metodický přístup k vývoji modelu strojového učení a automatizaci různých kroků v metodě. Proces primárně zahrnuje extrakci dat, analýzu, přípravu, trénování modelu, hodnocení, obsluhu modelu a monitorování.
Výhody MLOps
Obecně platí, že výhody použití principů MLOps jsou stejné jako výhody standardních operačních postupů. Výhody jsou následující:
- Dobře definovaný proces poskytuje plán všech klíčových kroků, které je třeba při vývoji modelu učinit. Tím je zajištěno, že nebudou vynechány žádné kritické kroky.
- Kroky procesu, které lze automatizovat, lze identifikovat a automatizovat. To snižuje množství opakované práce a zvyšuje rychlost vývoje. Eliminuje také lidské chyby a zároveň snižuje množství práce, kterou je třeba udělat.
- Je snazší posoudit pokrok ve vývoji modelu tím, že budete vědět, v jaké fázi procesu se model nachází.
- Pro týmy je snazší komunikovat, protože existuje sdílený slovník pro kroky, které je třeba podniknout během vývoje.
- Proces lze opakovaně aplikovat na vývoj mnoha modelů, což poskytuje způsob, jak zvládnout chaos.
Takže v konečném důsledku je úlohou MLOps ve strojovém učení poskytnout metodický přístup k vývoji modelů, který lze co nejvíce automatizovat.
Platformy pro budování potrubí
Abychom vám pomohli implementovat MLOps do vašich kanálů, můžete použít jednu z mnoha platforem, o kterých zde budeme diskutovat. I když se jednotlivé funkce těchto platforem mohou lišit, v podstatě vám pomohou udělat následující:
- Uložte všechny své modely spolu s jejich přidruženými metadaty modelu – jako jsou konfigurace, kód, přesnost a experimenty. Zahrnuje také různé verze vašich modelů pro správu verzí.
- Uložte metadata datové sady, jako jsou data, která byla použita k trénování modelů.
- Sledujte modely ve výrobě, abyste zachytili problémy, jako je drift modelu.
- Nasadit modely do výroby.
- Vytvářejte modely v prostředí s nízkým nebo žádným kódem.
Pojďme prozkoumat nejlepší platformy MLOps.
MLFlow
MLFlow je možná nejoblíbenější platforma pro správu životního cyklu strojového učení. Je to zdarma a open source. Poskytuje následující funkce:
- sledování pro zaznamenávání vašich experimentů strojového učení, kódu, dat, konfigurací a konečných výsledků;
- projekty pro zabalení vašeho kódu do formátu, který lze snadno reprodukovat;
- nasazení pro nasazení vašeho strojového učení;
- registr pro ukládání všech vašich modelů v centrálním úložišti
MLFlow se integruje s oblíbenými knihovnami strojového učení, jako jsou TensorFlow a PyTorch. Integruje se také s platformami, jako jsou Apache Spark, H20.asi, Google Cloud, Amazon Sage Maker, Azure Machine Learning a Databricks. Funguje také s různými poskytovateli cloudu, jako je AWS, Google Cloud a Microsoft Azure.
Azure Machine Learning
Azure Machine Learning je komplexní platforma pro strojové učení. Spravuje různé činnosti životního cyklu stroje ve vašem potrubí MLOPs. Tyto činnosti zahrnují přípravu dat, vytváření a školení modelů, ověřování a zavádění modelů a správu a monitorování nasazení.
Azure Machine Learning vám umožňuje vytvářet modely pomocí preferovaného IDE a rámce podle výběru, PyTorch nebo TensorFlow.
Integruje se také s ONNX Runtime a Deepspeed pro optimalizaci vašeho tréninku a odvození. To zlepšuje výkon. Využívá infrastrukturu AI v Microsoft Azure, která kombinuje GPU NVIDIA a síť Mellanox, aby vám pomohla vytvořit clustery strojového učení. Pomocí AML můžete vytvořit centrální registr pro ukládání a sdílení modelů a datových sad.
Azure Machine Learning se integruje s akcemi Git a GitHub a vytváří pracovní postupy. Podporuje také hybridní nebo multi-cloudové nastavení. Můžete jej také integrovat s dalšími službami Azure, jako je Synapse Analytics, Data Lake, Databricks a Security Center.
Google Vertex AI
Google Vertex AI je sjednocená platforma dat a umělé inteligence. Poskytuje vám nástroje, které potřebujete k sestavení vlastních a předem vycvičených modelů. Slouží také jako end-to-end řešení pro implementaci MLOps. Aby bylo používání jednodušší, integruje se s BigQuery, Dataproc a Spark pro bezproblémový přístup k datům během školení.
Kromě API poskytuje Google Vertex AI nástrojové prostředí s nízkým a žádným kódem, takže je mohou používat i nevývojáři, jako jsou obchodní a datoví analytici a inženýři. Rozhraní API umožňuje vývojářům jej integrovat se stávajícími systémy.
Google Vertex AI vám také umožňuje vytvářet generativní aplikace AI pomocí Generative AI Studio. Umožňuje snadné a rychlé nasazení a správu infrastruktury. Mezi ideální případy použití Google Vertex AI patří zajištění připravenosti dat, inženýrství funkcí, školení a ladění hyperparametrů, poskytování modelů, ladění a porozumění modelu, monitorování modelu a správa modelu.
Databricks
Databricks je datové jezero, které vám umožňuje připravovat a zpracovávat data. S Databricks můžete spravovat celý životní cyklus strojového učení od experimentování až po výrobu.
Databricks v podstatě poskytuje spravované MLFlow poskytující funkce, jako je protokolování datových verzí reklam modelů ML, sledování experimentů, poskytování modelů, registr modelů a sledování metrik reklam. Registr modelů vám umožňuje ukládat modely pro reprodukovatelnost a registr vám pomáhá sledovat verze a fázi životního cyklu, ve které se nacházejí.
Nasazení modelů pomocí Dataricks lze provést jediným kliknutím a budete mít koncové body REST API, které můžete použít k předpovědi. Kromě jiných modelů se dobře integruje se stávajícími předtrénovanými generativními a velkými jazykovými modely, jako jsou ty z knihovny transformátorů hugging face.
Dataricks poskytuje kolaborativní notebooky Databricks, které podporují Python, R, SQL a Scala. Kromě toho zjednodušuje správu infrastruktury tím, že poskytuje předkonfigurované clustery, které jsou optimalizovány pro úlohy strojového učení.
AWS SageMaker
AWS SageMaker je cloudová služba AWS, která vám poskytuje nástroje, které potřebujete k vývoji, školení a nasazení vašich modelů strojového učení. Primárním účelem SageMakeru je automatizovat únavnou a opakující se manuální práci spojenou s vytvářením modelu strojového učení.
Výsledkem je, že vám poskytuje nástroje pro vytvoření produkčního kanálu pro vaše modely strojového učení pomocí různých služeb AWS, jako jsou instance Amazon EC2 a úložiště Amazon S3.
SageMaker pracuje s notebooky Jupyter nainstalovanými na instanci EC2 spolu se všemi běžnými balíčky a knihovnami potřebnými pro kódování modelu strojového učení. Pro data je SageMaker schopen stahovat data z Amazon Simple Storage Service.
Ve výchozím nastavení získáte implementace běžných algoritmů strojového učení, jako je lineární regrese a klasifikace obrázků. SageMaker také přichází s monitorem modelu, který poskytuje nepřetržité a automatické ladění pro nalezení sady parametrů, které poskytují nejlepší výkon pro vaše modely. Nasazení je také zjednodušené, protože svůj model můžete snadno nasadit do AWS jako zabezpečený koncový bod HTTP, který můžete sledovat pomocí CloudWatch.
DataRobot
DataRobot je oblíbená platforma MLOps, která umožňuje správu napříč různými fázemi životního cyklu strojového učení, jako je příprava dat, experimentování s ML, ověřování a modely řízení.
Disponuje nástroji pro automatizaci probíhajících experimentů s různými zdroji dat, testování tisíců modelů a vyhodnocování těch nejlepších pro nasazení do produkce. Podporuje vytváření modelů pro různé typy modelů AI pro řešení problémů v časových řadách, zpracování přirozeného jazyka a počítačovém vidění.
S DataRobotem můžete stavět pomocí hotových modelů, takže nemusíte psát kód. Případně se můžete rozhodnout pro přístup založený na kódu a implementovat modely pomocí vlastního kódu.
DataRobot je dodáván s notebooky pro psaní a úpravy kódu. Případně můžete použít API, abyste mohli vyvíjet modely v IDE dle vašeho výběru. Pomocí GUI můžete sledovat experimenty svých modelů.
Spusťte AI
Run AI se pokouší vyřešit problém nedostatečného využití infrastruktury AI, zejména GPU. Tento problém řeší podporou viditelnosti veškeré infrastruktury a zajištěním jejího využití během školení.
Chcete-li to provést, umístěte Run AI mezi váš software MLOps a hardware firmy. Při obsazení této vrstvy jsou pak všechny tréninkové úlohy spouštěny pomocí Run AI. Platforma zase naplánuje spuštění každé z těchto úloh.
Neexistují žádná omezení ohledně toho, zda musí být hardware založen na cloudu, jako je AWS a Google Cloud, místní nebo hybridní řešení. Poskytuje týmům Machine Learning vrstvu abstrakce tím, že funguje jako platforma pro virtualizaci GPU. Úlohy můžete spouštět z Jupyter Notebooku, bash terminálu nebo vzdáleného PyCharm.
H2O.ai
H2O je open source platforma pro distribuované strojové učení. Umožňuje týmům spolupracovat a vytvářet centrální úložiště pro modely, kde mohou vědci experimentovat a porovnávat různé modely.
Jako platforma MLOps poskytuje H20 řadu klíčových funkcí. Za prvé, H2O také zjednodušuje nasazení modelu na server jako koncový bod REST. Poskytuje různá témata nasazení, jako je A/B test, modely Champoion-Challenger a jednoduché nasazení s jedním modelem.
Během školení ukládá a spravuje data, artefakty, experimenty, modely a nasazení. To umožňuje reprodukovatelnost modelů. Umožňuje také správu oprávnění na úrovni skupin a uživatelů pro řízení modelů a dat. Zatímco model běží, H2O také poskytuje monitorování v reálném čase pro drift modelu a další provozní metriky.
Přechod papírového prostoru
Gradient pomáhá vývojářům ve všech fázích vývojového cyklu Machine Learning. Poskytuje notebooky poháněné open-source Jupyter pro vývoj modelů a školení v cloudu pomocí výkonných GPU. To vám umožní rychle prozkoumat a vytvořit prototypy modelů.
Zaváděcí kanály lze automatizovat vytvořením pracovních postupů. Tyto pracovní postupy jsou definovány popisem úkolů v YAML. Díky pracovním postupům je vytváření modelů nasazení a poskytování služeb snadno replikovatelné, a tudíž škálovatelné.
Jako celek poskytuje Gradient kontejnery, stroje, data, modely, metriky, protokoly a tajné informace, které vám pomohou spravovat různé fáze procesu vývoje modelu strojového učení. Vaše potrubí běží na klastrech Gradiet. Tyto clustery jsou buď na Paperspace Cloud, AWS, GCP, Azure nebo na jiných serverech. S Gradientem můžete interagovat pomocí CLI nebo SDK programově.
Závěrečná slova
MLOps je výkonný a všestranný přístup k vytváření, nasazení a správě modelů strojového učení ve velkém měřítku. MLOps je snadno použitelný, škálovatelný a bezpečný, takže je dobrou volbou pro organizace všech velikostí.
V tomto článku jsme se zabývali MLOPs, proč je důležité je implementovat, co to obnáší a různými populárními platformami MLOps.
Dále si možná budete chtít přečíst naše srovnání Dataricks vs. Snowflake.