Apache Kafka

この記事は SRA Advent Calendar 2024 の12月24日の記事を一部改変したものです。

本記事においては Apache Kafka 4.0 におけるコードを参照しています。

Apache Kafka（以下、Kafka）はストリーミング処理に欠かせない重要な OSS です。Kafka を利用することにより高可用性、スケーラブル、低レイテンシといった様々なメリットを得ることができます。

並列分散処理の環境を構築するためには複数のサーバを用意したり、環境設定用の Puppet、Ansible を準備したり、といった作業を想定される方もいらっしゃるかと思います。しかし、Kafka には動作を簡単に確認できる Docker 環境などが用意されており、テスト用に試すのであれば意外と簡単に環境を立てることが可能です。

また、性能測定のために Producer と Consumer をそれぞれ用意する必要がありますが、テスト用のツールについてもコミュニティ提供のものが存在しています。

本記事においては、Kafka に興味のある方に向けて、Docker 環境を用いて簡単に Kafka を試すための手順についてご説明いたします。