事業拡大と共に歩むプラットフォームへの道 - Google Cloudによる拡張可能なデータ基盤 by 土屋俊介

◻︎セッション概要（500文字以内）
ファインディ株式会社では複数のプロダクトを展開し、横断的に集まるエンジニア行動データを企業価値の源泉としています。この構造を支えるため、Google Cloud 上にデータ基盤を整備してきました。従来は、事業部単位のELT パイプラインを独立したプロジェクトで構築し、横断的に必要なもののみ中央集権プロジェクトに集めて分析していました。

しかし、第四次AIブームに伴う事業数拡大により、プロジェクト増加に伴う運用・保守コストが顕著になりました。そこで、プラットフォームエンジニアリングの考え方を取り入れたリアーキテクチャを実施しました。

本セッションでは、Google Cloud の各種サービスを活用し、スケール可能なデータ基盤へ移行した際の設計上の判断・開発運用で得た知見を具体的に紹介します。

◻︎想定オーディエンス・得られる学び（500文字以内）
本セッションの題材は、Google Cloudを用いたデータメッシュアーキテクチャによるデータ基盤のリアーキテクチャです。そのため、データ活用の推進者やプラットフォームエンジニアを対象としています。

特に、新規プロジェクトの追加が負担にならない基盤作りやプラットフォーム利用者にとって使いやすい基盤作りがしたい方にとって学びのある内容です。

また、BigQuery・Cloud Run・Datastream・Looker など、Google Cloudを利用したデータ基盤を作る上で主要なサービスを扱います。これらの利用を検討中の方にとって、実践的な判断材料となるでしょう。

◻︎セッション詳細（1000文字程度）
ファインディ株式会社は、IT エンジニア向けに複数のプロダクトを展開し、そこから得られる行動データを横断的に活用することで価値を生み出す事業モデルを採用しています。そのため、創業から10年近くたった今でも新規事業が複数誕生しています。このような新規事業が誕生しやすい環境において、我々のデータ基盤は増加するプロダクトに合わせてスケール可能な構造が求められていました。

従来の運用は、事業部ごとに独自のELTパイプラインを構築する方式で、短期的なスピードには優れている方法でした。しかし、プロダクト数の増加とともにプロジェクト管理の煩雑さが浮き彫りになっていきました。Google CloudのプロジェクトやGitHubリポジトリは増え続け、独自の構造や設定が生まれたことで、メンテナンス負荷や属人化が深刻化していきました。

これらの課題を背景に、プラットフォームエンジニアリングの観点から基盤そのものを再設計し、運用とデリバリーの双方を改善する取り組みを進めました。

まず、dbtの実行環境を統合し、10近くに分散していたデータセットを2つに集約。また、dbtの実行環境をDockerイメージとしてArtifact Registryに登録し、GitHubのReusable WorkflowとCloud Runを組み合わせて安定したランタイムを提供しました。

EL処理については、Datastream・DuckDBへ移行し、リアルタイム性と保守性を両立。また、ポリレポで分断されていた構成をモノレポに整理することで、管理性を大きく向上させました。

さらに、分析基盤の中核となるBIをLooker StudioからLookerに移行しました。これにより、分析環境の構築・更新をコード化しつつ、利用者へのアカウント発行も効率的かつ安全に行える仕組みを確立しています。

これらの取り組みにより、事業の数が増えても、データエンジニアへの負担が増えないデータプラットフォームになりました。また、事業追加時の初期構築作業が簡単になり、新規事業におけるデータ活用までのリードタイムが大きく短縮しました。

本セッションでは、このアーキテクチャ刷新の背後にある設計原則や技術選定時の思考、開発運用を通じた知見をお話しします。