Apache Kafka je platforma pro streamování dat, která umožňuje rozličným aplikacím v rámci distribuovaného systému efektivně komunikovat a sdílet informace prostřednictvím zpráv.
Funguje na principu publikačního/odběrového systému, kde aplikace generující data (producenti) publikují zprávy a systémy, které je zpracovávají (spotřebitelé), se k nim přihlašují k odběru.
Apache Kafka umožňuje vytvořit volně provázanou architekturu mezi komponentami systému, které data vytvářejí a využívají. To usnadňuje návrh i správu celého systému. Pro správu metadat a synchronizaci prvků clusteru Kafka využívá službu Zookeeper.
Klíčové vlastnosti Apache Kafka
Popularita Apache Kafka pramení z následujících charakteristik:
- Škálovatelnost: Lze ji škálovat pomocí clusterů a dělení dat do oddílů.
- Vysoká rychlost: Zvládne až 2 miliony zápisů za sekundu.
- Udržování pořadí: Zajišťuje správné pořadí odesílaných zpráv.
- Spolehlivost: Díky replikačnímu mechanismu je odolná proti výpadkům.
- Bezproblémové upgrady: Umožňuje aktualizace systému bez výpadků.
Nyní se podíváme na obvyklé scénáře nasazení platformy Kafka.
Běžné případy použití Apache Kafka
Kafka je často využívána pro zpracování rozsáhlých objemů dat, logování a agregaci událostí, jako jsou kliknutí na webu pro analýzu, a sběr protokolů z různých částí systému do jednoho centralizovaného úložiště.
Usnadňuje komunikaci mezi různými aplikacemi v systému a umožňuje zpracování dat ze zařízení internetu věcí (IoT) v reálném čase.
Dále si popíšeme detailní postup instalace Kafky na operační systémy Windows a Linux.
Instalace Kafka na Windows
Pro úspěšnou instalaci Apache Kafka na Windows je nezbytné mít na počítači nainstalovanou Javu. Ověřte to otevřením příkazového řádku jako administrátor a zadejte příkaz:
java --version
Pokud je Java nainstalovaná, měl by se zobrazit aktuální verze sady JDK.
V opačném případě, pokud se zobrazí chybová hláška o nerozpoznaném příkazu, je třeba Javu nainstalovat. Stáhněte instalační balíček z webu Adoptium.net kliknutím na tlačítko „Stáhnout“.
Po stažení instalačního souboru jej spusťte. Zobrazí se průvodce instalací.
Při instalaci ponechte výchozí nastavení klikáním na „Další“. Po dokončení instalace ověřte její úspěšnost zavřením a opětovným otevřením příkazového řádku v režimu administrátora a zadejte příkaz:
java --version
Nyní by se měla zobrazit verze JDK, kterou jste právě nainstalovali. Po úspěšné instalaci Javy můžete přistoupit k instalaci Kafky.
Chcete-li nainstalovat Kafka, přejděte na oficiální webové stránky projektu Kafka.
Klikněte na odkaz pro přesměrování na stránku pro stahování. Stáhněte si nejnovější dostupné binární soubory.
Stáhnou se skripty a binární soubory Kafky zabalené v archivu .tgz. Po stažení je nutné soubory z archivu .tgz extrahovat. K extrakci doporučujeme použít nástroj WinZip, který je volně ke stažení.
Po rozbalení souboru jej přesuňte do složky C: tak, aby cesta k němu byla C:\kafka.
Následně otevřete příkazový řádek v režimu administrátora, přejděte do adresáře Kafka a spusťte server Zookeeper pomocí příkazu zookeeper-server-start.bat s konfiguračním souborem zookeeper.properties:
cd C:\kafka bin\windows\zookeeper-server-start.bat config\zookeeper.properties
Po spuštění Zookeeperu je nutné přidat spustitelný soubor wmic, který Kafka využívá, do systémové proměnné PATH:
set PATH=C:\Windows\System32\wbem;%PATH%;
Nyní spusťte server Apache Kafka otevřením další relace příkazového řádku v režimu administrátora, přejděte do složky C:\kafka:
cd C:\kafka
a spusťte Kafku pomocí příkazu:
bin\windows\kafka-server-start.bat config\server.properties
Tímto by měl být server Kafka spuštěn. Vlastnosti serveru, jako například umístění logů, je možné konfigurovat v souboru server.properties.
Instalace Kafky na Linux
Nejprve aktualizujte systém:
sudo apt update && sudo apt upgrade
Následně ověřte, zda máte nainstalovanou Javu:
java --version
Pokud je Java nainstalovaná, uvidíte její verzi. V opačném případě ji nainstalujte pomocí příkazu:
sudo apt install default-jdk
Poté můžete přistoupit k instalaci Apache Kafka stažením binárních souborů z oficiálního webu projektu.
Otevřete terminál a přejděte do adresáře, kam jste soubor uložili (např. do složky Downloads):
cd Downloads
Po přechodu do adresáře extrahujte stažené soubory pomocí příkazu tar:
tar -xvzf kafka_2.13-3.3.1.tgz
Přejděte do extrahované složky:
cd kafka_2.13-3.3.1
Zobrazte seznam adresářů a souborů.
Nyní spusťte server Zookeeper spuštěním skriptu zookeeper-server-start.sh, který se nachází v adresáři bin.
Tento skript vyžaduje konfigurační soubor Zookeeperu. Výchozí soubor má název zookeeper.properties a je umístěn v podadresáři config.
Pro spuštění serveru tedy použijte příkaz:
bin/zookeeper-server-start.sh config/zookeeper.properties
Po spuštění Zookeeperu můžete spustit server Apache Kafka. Skript kafka-server-start.sh se nachází také v adresáři bin. Tento příkaz vyžaduje konfigurační soubor server.properties, který je umístěn ve složce config:
bin/kafka-server-start.sh config/server.properties
Tímto by měl být server Apache Kafka spuštěn. V adresáři bin najdete mnoho skriptů, které umožňují vytváření témat, správu producentů a spotřebitelů. Vlastnosti serveru můžete upravit v konfiguračním souboru server.properties.
Závěrem
V tomto návodu jsme si ukázali, jak nainstalovat Javu a Apache Kafka na systémy Windows a Linux. I když je možné instalovat a spravovat clustery Kafka manuálně, existují i spravované cloudové služby, například od Amazon Web Services nebo Confluent, které mohou celý proces zjednodušit.
V dalším kroku se můžete věnovat zpracování dat s pomocí Kafky a platformy Spark.