Kafka Cluster Design Patterns 2021 Fall by 須田 桂伍

JJUG CCC 2021 Fall
採択
2021/11/21 15:00〜
Track B (#jjug_ccc_b)
Video:40min + Live:10min
Intermediate Others Standard

Kafka Cluster Design Patterns 2021 Fall

tansan_engineer 須田 桂伍 tansan_engineer
3

プレゼンタイプ / Presentation Type [Standard]:
レベル / Level [Intermediate]:
カテゴリー / Categories [Others]:
後日セッション動画の公開を希望する / Agree to publish your session video [Yes]:

Abstract:
Apache Kafkaはメッセージングだけでなくストリーム処理の基盤としても有力な選択肢のひとつとなりました。昨今ではManaged Serviceとしても提供されるようになり、アプリケーションからの利用もよりしやすくなってきました。一方でより柔軟なシステム構成やシステム要求に応えるためにIaaS等でKafkaを運用するケースも多いかと思います。

本セッションではKafkaの特徴を最大限に活かすためのKafka Clusterの構成パターンについて、その特徴や適したシーン、設計構築時の考慮ポイントをデザインパターンとして整理します。
また、Kafka StreamsやKafka ConnectといったKafkaを中心とした主要なエコシステムを組み合わせた場合の設計・構築ポイントにも触れていきながら様々な観点からClusterの構成パターンを探求していきます。