Apache Kafka je služba streamování zpráv, která umožňuje různým aplikacím v distribuovaném systému komunikovat a sdílet data prostřednictvím zpráv.
Funguje jako pub/subsystém, kde produkční aplikace publikují zprávy a spotřebitelské systémy se k nim přihlašují.
Apache Kafka vám umožňuje přijmout volně propojenou architekturu mezi částmi vašeho systému, které produkují a spotřebovávají data. Díky tomu je návrh a správa systému jednodušší. Kafka spoléhá na Zookeeper pro správu metadat a synchronizaci různých prvků clusteru.
Table of Contents
Vlastnosti Apache Kafka
Apache Kafka se stal populárním mimo jiné proto, že je
- Škálovatelné prostřednictvím clusterů a oddílů
- Rychlý schopný provést 2 miliony zápisů za sekundu
- Udržuje pořadí, ve kterém jsou zprávy odesílány
- Spolehlivý díky systému replik
- Lze jej upgradovat s nulovými prostoji
Nyní se podívejme na některé běžné případy použití Kafky.
Běžné případy použití Apache Kafka
Kafka se často používá při zpracování velkých dat, zaznamenávání a agregaci událostí, jako jsou kliknutí na tlačítka pro analýzu, a kombinování protokolů z různých částí systému do jednoho centrálního umístění.
Pomáhá při umožnění komunikace mezi různými aplikacemi v systému a zpracování dat ze zařízení IoT v reálném čase.
Nyní se podívejme na podrobné kroky k instalaci Kafky na Windows a Linux.
Instalace Kafka na Windows
Nejprve zkontrolujte, zda je na vašem počítači nainstalována Java, abyste mohli nainstalovat Apache Kafka na Windows. Otevřete příkazový řádek v režimu správce a zadejte příkaz:
java --version
Pokud je nainstalována Java, měli byste získat aktuálně nainstalované číslo verze JDK.
Pokud se zobrazí chybová zpráva, že příkaz nebyl rozpoznán, Java nebyla nainstalována a musíte nainstalovat Java. Pro instalaci Javy přejděte na Adoptium.net a klikněte na tlačítko Stáhnout.
Tím by se měl stáhnout instalační soubor Java. Po dokončení stahování spusťte instalační program. Tím by se měla otevřít výzva k instalaci.
Opakovaným stisknutím tlačítka Další vyberte výchozí možnosti. Poté by měla začít instalace. Ověřte instalaci zavřením příkazového řádku, opětovným otevřením jiného příkazového řádku v režimu správce a zadáním příkazu:
java --version
Tentokrát byste měli získat verzi JDK, kterou jste právě nainstalovali. Po dokončení instalace můžeme začít s instalací Kafka.
Chcete-li nainstalovat Kafka, nejprve přejděte na web Kafka.
Klikněte na odkaz a měl by vás přesměrovat na stránku Ke stažení. Stáhněte si nejnovější dostupné binární soubory.
Tím se stáhnou skripty Kafka a binární soubory zabalené v souboru .tgz. Po stažení musíte extrahovat soubory z archivu .tgz. K extrahování použiji WinZip, který je ke stažení na stránkách WinZip.
Po rozbalení souboru jej přesuňte do C: tak, aby cesta k souboru byla C:kafka
Poté otevřete příkazový řádek v režimu správce a spusťte Zookeeper tím, že nejprve přejdete do adresáře Kafka. A spuštění souboru zookeeper-server-start.bat s konfiguračním souborem zookeeper.properties
cd C:kafka binwindowszookeeper-server-start.bat configzookeeper.properties
Když běží Zookeeper, musíme přidat spustitelný soubor wmic, který Kafka používá v našem systému PATH,
set PATH=C:WindowsSystem32wbem;%PATH%;
Poté spusťte server Apache Kafka otevřením další relace příkazového řádku v režimu správce a přechodem do složky C:kafka
cd C:kafka
Kafku pak začněte běháním
binwindowskafka-server-start.bat configserver.properties
S tím by měl Kafka kandidovat. Můžete přizpůsobit vlastnosti serveru, například to, kde jsou protokoly zapsány v souboru server.properties.
Instalace Kafky na Linux
Nejprve se ujistěte, že je váš systém aktuální aktualizací všech balíčků
sudo apt update && sudo apt upgrade
Dále spuštěním zkontrolujte, zda je na vašem počítači nainstalována Java
java --version
Pokud je nainstalována Java, uvidíte číslo verze. Pokud však není, můžete jej nainstalovat pomocí apt.
sudo apt install default-jdk
Poté můžeme nainstalovat Apache Kafka stažením binárních souborů z webu.
Otevřete terminál a přejděte do složky, do které byl soubor uložen. V mém případě musím přejít do složky Stažené soubory.
cd Downloads
Jakmile jste ve složce stažených souborů, extrahujte stažené soubory pomocí tar:
tar -xvzf kafka_2.13-3.3.1.tgz
Přejděte do extrahované složky
cd kafka_2.13-3.3.1.tgz
Seznam adresářů a souborů.
Jakmile budete ve složce, spusťte server Zookeeper spuštěním skriptu zookeeper-server-start.sh umístěného v adresáři bin extrahované složky.
Skript bude vyžadovat konfigurační soubor Zookeeper. Výchozí soubor se nazývá zookeeper.properties a je umístěn v podadresáři config.
Pro spuštění serveru tedy použijte příkaz:
bin/zookeeper-server-start.sh config/zookeeper.properties
Se spuštěným Zookeeperem můžeme spustit server Apache Kafka. Skript kafka-server-start.sh se také nachází v adresáři bin. Příkaz také očekává konfigurační soubor. Výchozí je server.properties uložený v konfiguračním souboru.
bin/kafka-server-start.sh config/server.properties
To by mělo spustit Apache Kafka. Uvnitř adresáře bin najdete mnoho skriptů, které umožňují dělat věci, jako je vytváření témat, správa producentů a správa spotřebitelů. Vlastnosti serveru můžete také přizpůsobit v souboru server.properties.
Závěrečná slova
V této příručce jsme prošli, jak nainstalovat Java a Apache Kafka. Zatímco clustery Kafka můžete nainstalovat a spravovat ručně, můžete také použít spravované možnosti, jako jsou Amazon Web Services a Confluent.
Dále se můžete naučit zpracování dat s Kafkou a Sparkem.