Společnost Microsoft přeměnila své služby Azure na cloudová řešení podnikové úrovně zahrnující špičkové funkce, jako je správa a analýza dat.
Microsoft spustil Azure SQL Data Warehouse, když se rozhodl používat cloud. Microsoft prosazuje Azure SQL Data Warehouse s velkou energií. Jedná se o flexibilní službu správy databází, která kombinuje funkce elastického datového skladu.
Table of Contents
Co je Azure SQL Data Warehouse?
Azure SQL Data Warehouse (nyní nazývaný Azure Synapse Dedicated SQL Pool, cloudový datový sklad, umožňuje vytvářet a dodávat datový sklad v Microsoft Azure. Azure Data Warehouse dokáže zpracovávat velké množství relačních i nerelačních dat. Nabízí Možnosti datového skladu SQL a platforma cloud computingu.
Nativně podporuje SQL servery a může migrovat stávající SQL servery do SQL Data Warehouse. Můžete také použít stejné dotazy a konstrukce. Kromě toho mají předplatitelé okamžitý přístup k škálování, pozastavení a zmenšení zdrojů datového skladu.
Používá se k poskytování kompletního řešení datového skladu založeného na SQL podnikové třídy. Může být také použit následujícími způsoby:
- Migrace stávajících datových skladů (on-premises) do cloudu
- Poskytujte řešení datového skladu pro aplikace a služby, které potřebují ukládání a načítání dat za běhu – jako jsou webové aplikace.
- Hybridní řešení datového skladu, které se připojuje k datovému skladu hostovanému v Azure a serveru SQL na místě.
Nejlepší funkcí Azure SQL Data Warehouse je jeho elastická povaha. Umožňuje škálovatelnost a schopnost samostatně spravovat úložiště i výpočetní zdroje. Vytváří win/win platformu, kde uživatelé platí pouze za to, co používají a kdy to používají.
Výpočetní stránka Azure SQL Data Warehouse je založena na Data Warehouse Unit (DWU), která sleduje výpočetní prostředky, jako jsou I/O úložiště a paměť ve všech zúčastněných výpočetních uzlech.
Azure SQL Data Warehouse nabízí funkci zabezpečení připojení. To vám umožňuje omezit přístup na konkrétní IP adresy nebo rozsahy IP pomocí pravidel brány firewall. Integrace s ověřováním Azure Active Directory (AAD) vám umožní připojit se k Azure SQL Data Warehouse pomocí identit z Azure AD.
Vícevrstvé šifrování poskytuje ochranu v klidu, v pohybu a při používání, aby byla vaše data chráněna před zneužitím. K dispozici jsou další nástroje pro audit a monitorování dat a identifikaci narušení bezpečnosti.
V kombinaci s dalšími nástroji Microsoftu nabízí Azure SQL Data Warehouse bezkonkurenční výkon, což je velká výhoda oproti jiným srovnatelným službám na trhu.
Vyhrazený fond SQL Azure Synapse
Azure Synapse SQL Pool Dedicated SQL Pool (dříve Azure SQL Data Warehouse) je databanka s masivním paralelním zpracováním podobná škálovacím databázovým technologiím založeným na sloupcích, jako je Snowflake a Amazon Redshift. Pro koncového uživatele vypadá jako tradiční SQL Server, ale neukládá a nezpracovává data na jednom uzlu.
To může výrazně zlepšit výkon datových skladů, které jsou větší než několik terabajtů, ale pro menší implementace mohou existovat lepší řešení.
Základní architektura je velmi odlišná od tradičních SQL Serverů. To znamená, že syntaxe a metody vývoje jsou také odlišné.
Distribuce jsou mapovány na výpočetní uzly ve vyhrazeném fondu SQL. Fond přemapuje vaše distribuce na výpočetní uzly, když si zakoupíte další výpočetní zdroje.
Pomocí jednoduchých dotazů PolyBase SQL můžete importovat velká data a poté použít modul distribuovaných dotazů pro vysoce výkonnou analýzu.
Vyhrazený fond SQL, dříve SQL DW, poskytne vašemu podniku jediný zdroj pravdy, který vám umožní integrovat a analyzovat data rychleji a poskytuje robustnější přehledy.
Jaký je rozdíl mezi vyhrazenými fondy SQL Azure Synapse a vyhrazenými fondy SQL v pracovním prostoru Azure Synapse Analytics?
PowerShell je jednou z nejvíce matoucích oblastí v dokumentaci mezi „vyhrazeným fondem SQL (dříve SQLDW) a vyhrazeným fondem SQL „Synapse Analytics“.
Původní implementace SQL DW používá logický server podobný Azure SQL DB. Sdílí se modul PowerShell s názvem Az.Sql.
Tento modul vytvoří nový fond SQL (dříve SQLDW) pomocí rutiny New.AzSqlDatabase. Má parametr „Edition“, který vám umožňuje určit, že chcete DataWarehouse.
Synapse Analytics přišla s novým modulem PowerShell od Az.Synapse, když byla poprvé vydána. Chcete-li vytvořit vyhrazený fond SQL v pracovním prostoru Synapse Analytics, použijte New-AzSynapseSqlPool.
Tento modul PowerShell nevyžaduje, abyste zahrnuli parametr „Edition“, protože se používá pouze pro artefakty Synapse.
Vyhrazený fond SQL poskytuje výpočty a úložiště založené na T-SQL. Data lze načítat, modelovat a zpracovávat v Synapse, aby poskytovaly rychlejší přehled.
Azure Synapse nabízí kromě vyhrazených fondů SQL také fondy SQL Serverless a Apache Spark. Můžete si vybrat ten správný na základě vašich požadavků.
Bezserverový fond SQL vám umožňuje dotazovat se na data uložená ve vašem datovém jezeře.
Co dělá vyhrazený fond SQL Azure Synapse?
Azure Synapse Dedicated SQL Pool používá škálovatelnou architekturu k distribuci výpočtu dat mezi více uzlů. Výpočet můžete škálovat nezávisle na úložišti, protože výpočet je odlišný od úložiště.
Bezserverové fondy SQL jsou bez serveru a automaticky se škálují tak, aby splňovaly požadavky na zdroje dotazů. Přizpůsobuje se měnícím se topologiím přidáním, odebráním nebo selháním uzlů. Tím zajistíte, že váš dotaz bude mít dostatečné zdroje a bude možné jej úspěšně dokončit.
Synapse SQL je založen na architektuře založené na uzlech. Synapse SQL používá architekturu založenou na uzlech. Aplikace se mohou připojit k uzlu Control a vydávat příkazy T-SQL. Toto je jediný bod pro Synapse SQL.
Ovládací uzly Azure Synapse SQL používají modul distribuovaných dotazů, který optimalizuje dotazy pro paralelní zpracování a poté předává operace výpočetním uzlům, aby mohly pracovat paralelně.
Řídicí uzel fondu SQL bez serveru využívá modul DQP (Distributed Query Processing engine) k optimalizaci a organizaci distribuovaného provádění.
Toho se dosáhne rozdělením uživatelského dotazu na menší dotazy, které lze provést na Compute uzlech. Každý úkol je distribuovaná prováděcí jednotka. Načítá data z jiných úloh, seskupuje soubory a čte je z úložiště.
Výpočetní uzly ukládají všechna uživatelská data a spouštějí paralelní dotazy. Data Movement Service (DMS), interní služba na systémové úrovni, přesouvá data mezi uzly, aby umožňovala paralelní dotazy a vrací přesné výsledky.
Synapse SQL používá Azure Storage pro zabezpečení uživatelských dat. Azure Storage ukládá a spravuje vaše data. Za použití úložiště se platí zvlášť.
Funkce vyhrazených fondů SQL Azure Synapse
Zde jsou hlavní funkce Azure Synapse SQL Pool:
- V datovém jezeře se můžete ptát na data v různých formátech, jako jsou Parquet, JSON a CSV.
- Uživatelé mohou zobrazit nejnovější data pomocí relační abstrakce.
- T-SQL vám umožňuje transformovat data v jezeře jednoduchým a škálovatelným způsobem
- Data vědci mohou rychle prozkoumat strukturu a obsah jezerních dat pomocí OPENROWSET nebo funkcí automatického odvození schémat.
- Datoví inženýři mohou využít tento fond k prozkoumání jezera a transformaci, vytvoření nebo zjednodušení jejich datových transformačních kanálů.
- Datoví analytici mohou přistupovat k datům a vytvářet externí tabulky prostřednictvím jazyka T-SQL a dalších známých nástrojů. Tyto nástroje lze také připojit k bezserverovému fondu SQL.
- Okamžitě generujte sestavy BI od profesionálů business intelligence přes tabulky Spark nebo datové jezero.
Vyhrazený SQL Pool vs. Bezserverový fond SQL
Bezserverový fond SQL
Pracovní prostory Azure Synapse mají bezserverový fond SQL, který funguje jako dotazovací služba přes datová jezera. Pro přístup k datům nevyžaduje další konfiguraci. Je zcela bez serveru a nevyžaduje žádnou infrastrukturu k nastavení ani údržbě.
Škálování lze provést automaticky, aby byly splněny požadavky na zdroje. Uživatel platí pouze za zpracovaná data a ne za žádné vyhrazené zdroje. Bezserverový fond SQL také vytváří statistiky pro optimalizaci provádění dotazů.
Když například spustíme dotaz dvakrát nebo spustíme dva dotazy s podobnými plány provádění, lze tyto statistiky znovu použít.
Tyto funkce nám umožňují rychle analyzovat velké množství dat bez jejich kopírování nebo načítání do konkrétního úložiště.
Vyhrazený SQL Pool
Dedikovaný fond SQL pro Synapse je nástupcem Azure SQL Data Warehouse a nabízí všechny funkce podnikového datového skladu. Neexistuje však žádný bezserverový fond SQL. Místo toho musí uživatelé vytvořit a odstranit vyhrazený fond SQL Synapse. Můžeme si také vybrat zdroje, které bude využívat.
Tyto prostředky jsou měřeny pomocí vyhrazených fondů SQL společnosti Synapse. Říká se jim jednotky datového skladu (DWU). DWU označuje kombinaci CPU, paměti a IO zdrojů.
Počet DWU určuje výkon a náklady fondu. Namísto účtování za dotaz nám bude účtován poplatek za každou dobu, kdy je fond aktivní, bez ohledu na to, kolik práce vykonal.
Abyste se vyhnuli dodatečným nákladům, vyhrazené fondy lze zastavit a znovu spustit. Pro náš test jsme vytvořili vyhrazený fond SQL 100 DWU.
Po vytvoření fondu lze do něj načíst data pomocí příkazu COPY, PolyBase s dotazy T–SQL nebo kanálu. Tato data budou uložena ve sloupcovém úložišti v relačních tabulkách.
Vyhrazený SQL Pool Bezserverový SQL PoolTo vám umožňuje dotazovat se na datové jezero a zpracovávat jej. Uživatelé mohou vyhledávat soubory datového jezera. Je vyžadována infrastruktura. Není nutné zřizovat infrastrukturu ani udržovat clustery. Než budete moci provádět jakoukoli operaci, je nutné získat dedikované servery.Pro transformaci nebo průzkum dat není nutná žádná infrastruktura.K ukládání dat se používají relační tabulky.Data Lake ukládá data.Náklady můžete spravovat pozastavením fondu SQL a zmenšením skladu.Náklady jsou automaticky zpracovávány a fakturovány podle na základě platby za požadavek. Rezervované zdroje podléhají nákladům. Účtují se náklady na zpracování dat za dotaz.Platba za poskytnutou DWU.Platba za zpracovanou TB.
Závěr
Takže to bylo vše o Azure SQL Data Warehouse (nyní nazývaném Azure Synapse Dedicated SQL Pool). Zatímco Dedicated SQL Pool může z mnoha úhlů vypadat podobně jako tradiční SQL Server, základní architektura (Massively Parallel Processing) je zcela odlišná. To znamená, že určité koncepty a techniky jsou použitelné pouze pro vyhrazený fond SQL.
Můžete také prozkoumat rozdíly mezi Data Lake a Data Warehouse.