Data Mesh je datová architektura, jejímž cílem je vytvořit sdílenou centrální autoritu pro data v celé organizaci.
Snaží se vytvořit kulturu a správu kolem dat, která umožní samoobslužné, autonomní týmy a umožní jim spolupracovat a inovovat pomocí dat. Pojďme pochopit, o čem Data Mesh je.
Table of Contents
Co je Data Mesh?
Jednoduše řečeno, Data Mesh je decentralizovaná architektura pro správu dat v rámci organizace, což znamená, že je navržena tak, aby poskytovala kontrolu a vlastnictví dat týmům, které je používají, spíše než aby je centralizovala do jedné skupiny nebo oddělení.
Zdůrazňuje důležitost dat jako klíčového aktiva. Je navržen tak, aby pomáhal organizacím dosáhnout lepší správy dat, kvality dat a integrace dat a zároveň podporoval kulturu rozhodování založeného na datech.
Architektura datové sítě
Architektura Data Mesh obvykle zahrnuje tři hlavní komponenty: zdroje dat, infrastrukturu a doménově orientované datové kanály spravované funkčními vlastníky.
Image Credit: Microsoft
Tyto tři komponenty jsou propojeny a integrovány, spíše než aby šlo o izolovaná sila dat. V architektuře Data Mesh jsou týmy odpovědné za data, která používají, včetně jejich kvality, přístupu a zabezpečení.
Tento decentralizovaný přístup pomáhá zajistit, aby se data využívala efektivně a aby týmy měly potřebné informace k přijímání informovaných rozhodnutí. Podporuje také kulturu rozhodování založeného na datech tím, že činí data dostupnějšími, transparentnějšími a důvěryhodnějšími.
Kroky potřebné k návrhu architektury datové sítě
Chcete-li implementovat datovou síť v rámci organizace, můžete provést následující kroky:
#1. Identifikujte obchodní domény
Prvním krokem při implementaci datové sítě je identifikace obchodních domén v rámci organizace. To jsou oblasti podnikání, které jsou zodpovědné za poskytování hodnoty zákazníkům. Každá obchodní doména by měla mít jasného vlastníka, který je odpovědný za data používaná v rámci této domény.
#2. Zavést správu dat
Měl by být vytvořen jasný rámec pro správu údajů, aby bylo zajištěno, že údaje budou používány odpovědně a eticky. To zahrnuje stanovení rolí a odpovědností za správu dat, stanovení standardů pro kvalitu a přesnost dat a definování procesů pro přístup k datům a jejich použití.
#3. Definujte vlastnictví dat
Každá obchodní doména by měla být odpovědná za data, která používá, včetně jejich kvality a přesnosti. To znamená, že obchodní doména by se měla podílet na vytváření a údržbě dat, stejně jako na jejich používání a šíření.
#4. Podporujte datovou gramotnost
Aby mohli zaměstnanci činit informovaná rozhodnutí na základě dat, je důležité podporovat datovou gramotnost v rámci organizace. Toho lze dosáhnout prostřednictvím školicích a vzdělávacích programů a také poskytnutím přístupu k nástrojům a zdrojům, které zaměstnancům umožňují pracovat s daty.
#5. Demokratizovat přístup k datům
Datová síť podporuje demokratizaci dat, což znamená, že data by měla být zpřístupněna všem zaměstnancům. Toho lze dosáhnout poskytnutím nástrojů a zdrojů, které zaměstnancům umožní přístup a používání dat z celé organizace.
#6. Implementujte datové operace
Aby bylo zajištěno, že data jsou správně spravována a udržována, je důležité zavést procesy a postupy pro datové operace. To zahrnuje úkoly, jako je příjem dat, transformace dat a ukládání a načítání dat.
Principy datové sítě
Datová síť je implementována prostřednictvím sady principů a postupů, které mají za cíl vytvořit kulturu rozhodování založeného na datech a umožňují zaměstnancům snadnější přístup k datům z celé organizace a jejich používání.
Mezi tyto čtyři zásady patří:
Obrazový kredit: altexsoft
#1. Doménově orientované decentralizované vlastnictví dat a architektura
Tento princip zdůrazňuje důležitost organizování dat kolem obchodních domén, přičemž každá obchodní jednotka odpovídá za data, která používá, a kvalitu těchto dat. To pomáhá zajistit, že data jsou v souladu s potřebami podniku a jeho zákazníků, a umožňuje obchodním jednotkám snadněji přistupovat a používat data z jiných částí organizace.
#2. Data jako produkt
Tento princip zachází s daty jako s cenným aktivem, které by mělo být spravováno a řízeno jako produkt. To zahrnuje definování datových produktů, vytvoření týmů datových produktů a vytvoření plánu datových produktů.
#3. Samoobslužná datová infrastruktura jako platforma
Podporuje vytvoření samoobslužného modelu pro data, kde mají obchodní jednotky větší kontrolu nad daty, která používají, a mohou snadněji přistupovat a používat data z jiných částí organizace.
#4. Federované výpočetní řízení
Tento princip vytváří rámec pro správu dat, který bere v úvahu potřeby a cíle více zúčastněných stran, včetně obchodních jednotek, IT a datových vědců. Tento přístup pomáhá zajistit, aby byla data využívána odpovědně a eticky, a podporuje datovou gramotnost a rozhodování na základě dat v rámci organizace.
Význam datové sítě
Existuje několik důvodů, proč by organizace mohla zvážit přijetí datové sítě:
Vylepšená kvalita a přesnost dat
Uspořádáním dat kolem obchodních domén a stanovením jasného vlastnictví a správy může datová síť pomoci zlepšit kvalitu a přesnost dat v rámci organizace. To může pomoci zajistit, aby data byla v souladu s potřebami podniku a jeho zákazníků, a může podpořit informovanější rozhodování.
Vylepšená dostupnost a použitelnost dat
Datová síť podporuje demokratizaci dat, což znamená, že data by měla být zpřístupněna všem zaměstnancům. Toho lze dosáhnout poskytnutím nástrojů a zdrojů, které zaměstnancům umožní přístup a používání dat z celé organizace. Tím, že umožňuje zaměstnancům snadněji přistupovat k datům a používat je, může datová síť pomoci zlepšit datovou gramotnost a rozhodování na základě dat v rámci organizace.
Větší kontrola nad daty
S datovou sítí získají obchodní jednotky větší kontrolu nad daty, které používají, a nad kvalitou těchto dat. To může pomoci zajistit, aby data byla v souladu s potřebami podniku a aby k nim mohli lidé, kteří je potřebují, snadněji přistupovat a používat je.
Lepší správa dat
Data mesh podporuje vytvoření jasných rámců správy dat, které pomáhají zajistit, aby byla data využívána odpovědně a eticky. To zahrnuje stanovení rolí a odpovědností za správu dat, stanovení standardů pro kvalitu a přesnost dat a definování procesů pro přístup k datům a jejich použití.
Celkově může přijetí datové sítě pomoci organizacím více využívat jejich datová aktiva a podporovat kulturu rozhodování založeného na datech.
Data Mesh vs. Data Lake
Datová síť a datové jezero mají několik rozdílů, pokud jde o jejich zaměření, organizaci dat, důraz na správu dat a gramotnost a přístup k přístupu k datům a jejich používání.
Zde je srovnání datové sítě a datového jezera v tabulkové podobě:
Data MeshData Lake Zaměřuje se na potřeby firmy a jejích zákazníků Zaměřuje se na technické aspekty ukládání a zpracování dat Uspořádá data kolem obchodních domén Uspořádá data do hierarchické struktury souborů Data vlastní a spravují obchodní jednotky K datům může přistupovat více oddělení nebo týmů Klade důraz na správu dat a datovou gramotnostIt nezaměřuje se nutně na správu dat nebo datovou gramotnost Umožňuje kulturu rozhodování založeného na datechPoskytuje centralizované úložiště pro ukládání a zpracování datPodporuje samoobslužný přístup k datůmPřístup k datům a jejich používání může vyžadovat zásah ITPodporuje demokratizaci datMůže mít omezený přístup k datům kvůli bezpečnosti nebo obavy o soukromí Dodržuje zásady návrhu řízeného doménou Nedodržuje konkrétní návrhový rámec Zahrnuje procesy a postupy datových operací Nemusí mít specifické procesy pro datové operace Může vyžadovat více plánování a návrhu předem Může být flexibilnější a umožňuje ukládání dat ad hoc stáří a zpracování
Datové jezero je centrální úložiště, které vám umožňuje ukládat všechna vaše strukturovaná i nestrukturovaná data v jakémkoli měřítku. Je to místo, kde se ukládají data v jejich nezpracované a granulované podobě, než dojde k jakémukoli zpracování nebo transformaci. To umožňuje organizacím ukládat a analyzovat data flexibilněji a nákladově efektivněji než tradiční datové sklady.
Zatímco datová síť je navržena tak, aby umožnila týmům vlastnit a spravovat svá vlastní data, spíše než se spoléhat na centralizovanou skupinu, která by za ně spravovala data.
Výukové zdroje datové sítě
Na internetu je k dispozici mnoho zdrojů informací o datové síti a může být zdrcující hledat ty nejužitečnější. Naučit se datovou síť správným způsobem je důležité, abyste zajistili, že budete dobře rozumět konceptům a budete je moci efektivně aplikovat ve své práci.
Tyto zdroje mohou poskytnout základ pro pochopení principů a postupů datové sítě a mohou vám pomoci vybudovat dovednosti, které potřebujete k efektivní správě a analýze dat v prostředí datové sítě.
#1. Data Mesh – moderní koncept decentralizované správy dat
V tomto kurzu Udemy se školitel zabývá základy architektury datové sítě pro efektivní správu dat. A také poskytuje různé případové studie o implementaci datové sítě.
Tento kurz na Udemy je možné dokončit do týdne, v závislosti na vašem rozvrhu a množství času, které jste schopni kurzu věnovat. Je však důležité mít na paměti, že kurz je navržen tak, aby poskytl komplexní přehled datové sítě, a jako takový může vyžadovat více času k úplnému pochopení a vstřebání materiálu.
#2. Data Mesh: Kompletní mistrovská třída
Pro jednotlivce, kteří chtějí pokročit ve svých profesích, je tento kurz datové sítě vynikající. Tento kurz pokrývá každé téma související s návrhem datové sítě a architektury datových produktů,
Na konci tohoto kurzu budete schopni implementovat koncept datové sítě v reálných podnicích. Pro zahájení tohoto kurzu nejsou vyžadovány žádné předchozí znalosti o datové síti,
#3. Data Mesh: Poskytování hodnoty řízené daty v měřítku
Tato kniha představuje koncept datové sítě a poskytuje jasný přehled o tom, jak navrhnout architekturu datové sítě, a průvodce pro strategii a provádění datové sítě.
Mnoho recenzentů zjistilo, že kniha je užitečným a praktickým průvodcem pro pochopení principů a vzorců datové sítě a pro její implementaci v organizacích.
Závěr
Datová síť je návrhový vzor a kulturní rámec pro budování organizace založené na datech. Je založen na myšlence vytvořit „jediný zdroj pravdy“ pro data v rámci organizace a podporovat koncept dat jako produktu.
Toho je dosaženo pomocí decentralizované správy dat, ve které jsou mezifunkční týmy odpovědné za kvalitu, dostupnost a údržbu dat v rámci své domény.
Data mesh také zdůrazňuje důležitost vytvoření jasného porozumění datovým kontraktům mezi různými týmy a podporuje používání nástrojů a platforem pro zjišťování dat pro usnadnění sdílení dat v rámci organizace.
Doufám, že vám tento článek pomohl při poznávání datové sítě a jejích principů. Také by vás mohlo zajímat informace o virtualizaci dat.