Vision.frameworkを活用したネットワークカメラの猫映像解析🐈 by yutailang0119

我が家はかわいい猫と暮らしています。不在時にも猫の様子を把握するためにネットワークカメラを検討した結果、Google Nest Camの導入を決めました。決め手のひとつは、公式アプリだけでなくSmart Device Management APIを経由してWebRTCでカメラ映像にアクセスできる点です。APIの提供により、macOSやvisionOSなどAppleプラットフォームで動作する独自のクライアントを開発できます。例えば、Vision.frameworkで猫自体を検出したり、そのポーズを可視化したりと、映像再生に留まらない機能拡張も自由自在です。

本トークでは、このアプリ開発の知見をベースに、WebRTCとVision.frameworkの連携についてお話します。

1. API準備と認証: Smart Device Management APIを使うための準備とGoogle Cloud OAuth 2.0
2. WebRTCでの映像再生: 映像ストリーミングを確立する過程と、取得した映像のCVPixelBuffer変換
3. Vision.frameworkでの解析: VNRecognizeAnimalsRequest（動物検出）とVNDetectAnimalBodyPoseRequest（姿勢検出）を用いたリアルタイム解析

Google Nest Cam以外のカメラをお使いの方にも、お持ちのデバイスとAppleプラットフォームを接続するヒントとなるはずです。ネットワークカメラというハードウェアをAppleフレームワークを組み合わせて、猫との暮らしをハックする。そんな日常を拡張するアプリ開発の楽しさをお届けします。
実際にどのように検出されるかは、我が家の飼い猫「ビビ」の気まぐれ次第です。