visionOSで動画の進行と共に空間演出を表示するSwift実装 by 服部 智

Apple Vision Proでは、動画を再生するとその場面に応じて、現実空間に対してリアルタイムな演出効果が表示される斬新な体験ができます。

例えば、突然飛行機が上空を通り過ぎたり、周辺がヨーロッパの街並みに変わったり、たくさんの風船が表示されたり。

グラス型端末の没入感と相まって、これまでとは一線を画した体験です。

この面白い機能はどうやって実装するのでしょう。

何がきっかけで演出が始まるのでしょうか？
演出はどう作るのでしょうか？
動画のスキップ、一時停止には対応しているのでしょうか？

これらの疑問に答えるため、このセッションでは作業手順を説明し、ソースコードを解説し、ライブデモを行います。
実装はSwiftで行い、Apple Vision Proのシミュレータと実機で動作します。

具体的には以下の内容をカバーします：

• HLS動画へのmeta data埋め込み
• meta data受信後制御
• 周辺を変える演出、戻る演出
• Particleによる演出

このセッションを通じて、参加者は実際にvisionOSでの空間演出を実装するための具体的な手法を学び、自分で独自の体験を作り上げるスキルを身につけることができます。

visionOSの可能性を知り、今後も体験が進化していくワクワクを届けたいと思います！