趣味ではじめるモダンデータスタック by chanyou

YAPC::Hiroshima 2024
トーク (20分)

趣味ではじめるモダンデータスタック

chanyou0311 chanyou chanyou0311
1

近年、データエンジニアリング界隈でモダンデータスタックという言葉をよく聞くようになりました。
企業のデータ基盤を構築する上で必要な、データの収集や処理、カタロギングなどをSaaSやOSSで構成したアーキテクチャのことを指します。

本セッションでは「趣味ではじめる」をテーマに、データ基盤の構成要素を解説しながら、身近なデータを集めて活用する実装例をご紹介します。
オープンセミナー2022@広島で発表した「データ分析基盤のはじめかた」をベースに、具体的な技術スタックの解説や設計の勘所などを織り交ぜてお話します。

話すこと

  • データ基盤に必要な構成要素
    • データレイク
    • ETL / ELT
    • データウェアハウス / データレイクハウス
  • 身近なデータを使ったデータ基盤の事例

対象者

  • データ基盤の構築に興味のある方
  • 趣味でデータ基盤を作ってみたい方