visionOSで空間演出を実現する方法 by 服部 智

Apple Vision Proには、2D動画を再生するとその場面に応じて現実空間に対して演出効果が表示されるという、
とても面白い機能を持つアプリがあります。

例えば、突然飛行機が上空を通り過ぎたり、周辺がヨーロッパの街並みに変わったり、たくさんの風船が表示されたり。

グラス型端末の没入感と相まって、これまでとは一線を画した斬新な体験です。

この面白い機能はどうやって実装するのでしょう。
何がきっかけで演出が始まるのでしょうか？
演出はどう作るのでしょうか？
動画のスキップ、一時停止には対応しているのでしょうか？

これらの疑問に答えるため、このセッションでは、Swiftネイティブの環境でその機能をいくつか実装していきます。
作業手順を説明しソースコードを解説し、ライブデモを行います。

具体的には以下の内容をカバーします：

• HLS動画へのmeta data埋め込み
• OSCによる外部からの制御
• 演出開始、任意発火、発火制御ボタンの実装と作法
• 周辺を変える演出、戻る演出
• Particleによる演出

このセッションを通じて、参加者は実際にvisionOSでの空間演出を実装するための具体的な手法を学び、自分で独自の体験を作り上げるスキルを身につけることができます。
visionOSの可能性を知り、今後も体験が進化していくワクワクを届けたいと思います。