本トークでは、Appleが公開した機械学習ライブラリMLXのSwift向けバインディング「MLX Swift」を用いて、ローカルLLMを動かす手順を解説します。
具体的には、Hugging Faceで公開されている軽量モデルの選定、モデルへのプロンプト送信と応答の取得方法、そして実際にモデルとの対話を行った際の挙動や、処理速度・メモリ使用量など実用面で見えてきた課題について共有します。
【話すこと】