iOSDC Japan 2025
ルーキーズLT（5分）
MLX Swiftを使ってローカルLLMを動かす：オンデバイスAIの可能性を探る
Ryuga
SwirySwiry14
本トークでは、Appleが公開した研究向け機械学習ライブラリMLXのSwift向けバインディング「MLX Swift」を用いて、任意のモデルをローカルLLMとして動かす手順を解説します。
具体的には、Hugging Faceで公開されている軽量モデルの選定、モデルへのプロンプト送信と応答の取得方法、そして実際にモデルとの対話を行った際の挙動や、処理速度・メモリ使用量など実用面で見えてきた課題や使い所について共有します。
【話すこと】
- MLXとMLX Swiftの概要
- MLX Swiftを用いたローカルLLMの構築と実行までの実装ステップ
- 実際に動かして見えてきた課題とオンデバイスAIの可能性について