Mediapipeを使ったARアプリ開発事例〜カメラをかざして家の中で売れるものを探そう by Chica Matsueda

近年、高性能なサーバーではなくスマートフォンなどのモバイル機器上で機械学習モデルの推論を走らせる、EdgeAIと呼ばれる技術の開発が進んでおり、 TensorFlowLite/MLKit/CoreML/MediaPipe をはじめ様々なモバイル端末向けの推論ライブラリが開発されています。

メルカリでは、動画などストリーミングメディアの推論に特化した MediaPipe というGoogle製のOSSの活用して、カメラをかざすだけで家の中にあるアイテムがいくらで売れるのか知ることができる、「かざして売れるかチェック」という機能を提供しています。

このトークでは、この機能が開発されるまでに遭遇した困難とその解決方法を、大きく3つのトピックに分けてお話していきます。

• BazelでBuildされるMediapipeをiOS Frameworkとして提供する方法
• 推論の計算負荷を減らし、電池消費を抑える工夫
• モデルサイズを小さくしてダウンロードサイズを抑える工夫