基盤モデルのアーキテクチャを改造してみよう - 時系列基盤モデルのマルチモーダル拡張事例の紹介 by himura467

概要

現代において我々は gpt-oss 等の優秀な事前学習済みモデルを自由に活用することができる恵まれた環境下にあります。
しかし、これらが会社の具体的なユースケースに完全にフィットしないケースも少なくありません。
私のバイト先のプログラミングスクールにおける生徒の離脱予測では、ユーザーの傾向の変化がしばしば相転移的な振る舞いをするために時系列のみを説明変数とする予測では相転移が起こる前に離脱の兆候を予測することができないという問題がありました。
そのため、時系列データに加えてテキスト情報を用いるマルチモーダルな推論が必要でしたが、これはデータの特性や制約によって既存のフレームワークでは対応できないという課題を抱えていました。
これに対し私は、既存の時系列基盤モデル (*1) のアーキテクチャを拡張する下記のライブラリを作成し、学習済みのモデルが拡張後のアーキテクチャに対応可能なように追加学習をする、という試みを行いました。
https://pypi.org/project/multimodal-timesfm/

話すこと

• そもそも時系列基盤モデルとは何なのか？実際のところ精度は出るのか？
• 事前学習済みモデルを自社サービスに特化させて活用するテクニックとしてはファインチューニングが一般的だが、なぜ「アーキテクチャ拡張」というアプローチを採るに至ったのか
• 基盤モデルを拡張する上での注意点、メリット・デメリット、今後の展望

補足

*1: 時系列基盤モデルとは、大規模言語モデルと同様の思想を時系列データに適用した機械学習モデルのことです。
言語モデルが大量のテキストデータで事前学習することで汎用的な言語理解能力を獲得するように、時系列基盤モデルは多様な時系列データで事前学習を行い、様々な予測タスクに適用できる汎用性を持ちます。