プロポーザル

iPhoneで空間ビデオを撮影しても、Vision Proを持っていなければその空間っぷりは確認できません。APMPもVision Pro以外ではなにやら歪んだ映像のまま。Vision Proを所有していたとしても、いつも持ち歩いている訳ではありませんし、装着自体もちょっと手間です。

もっと気軽に試せないかしら...できれば普及しているデバイスで。そんな思いから、iPhoneで空間メディアを視聴する体験について考え、試した内容をシェアします。iPhoneは立体視こそ出来ませんが、多くのセンサーを搭載し、MV-HEVCもAmbisonicsも扱えるデバイス。それらを活用して直感的な方法を目指しました。
視聴できるデバイスも空間コンテンツも、もっともっと増えていってほしいですね！

影絵でモンスターを呼び出し、手から魔法を放つ。
そんな体験をvisionOSでどう実装するのか。

本セッションでは、visionOSゲームアプリ『Spatial Monster Magic』の開発を題材に、
• ハンドトラッキングの入力処理
• 空間オーディオの設計
• SwiftUIとRealityKitを組み合わせたチュートリアル実装

といった要素を中心に、設計や実装の工夫について紹介します。

皆さんはApple Vision Proを買ったものの、高価な文鎮になっていませんか？

せっかく買ったApple Vision Proも現時点だと用途は限定的で、有効活用できていない人も多いのではないでしょうか？

今回は新しいマイホームに引っ越したばかりの私が新居での新生活の中でApple Vision Proをどう活用したか、その試みについてお話しします。

具体的には以下の活用事例について、その概要をお話します。

1.Widget機能による情報の利活用
2.Portalを使った非日常体験
3.Siriショートカットを使った音声での操作
4.Push通知を使った家庭内での通知
5.ハンドジェスチャーを使った操作

他にもOSの標準機能を使った事例も紹介します。

皆さんもこれを機に、生活の中でApple Vision Proならではの新しい活用法を一緒に見出してみませんか？

WWDC25で発表されたSpatial Webを活用することで、Webページ内に3Dモデルを直接組み込むことが可能になりました。
これにより、ハンドメイド作品や高価な一点物のように「手に取って確かめたい」商品でも、オンラインだけで購入を検討しやすくなります。

私は、このSpatial Webを弊社のネットショップサービスに導入する挑戦を行いました。
このトークでは、その実装過程で直面した課題と、実際のプロダクト導入を通じて得られた知見を共有します。

• 3DコンテンツをWeb上で自然に見せるための表示位置制御
• USDZファイルのロード中、ユーザ体験を損なわない工夫
• 3Dデータ準備と実サービス導入における現実的なハードル

visionOSでは3Dシーンを表現するファイルとしてUSDファイルが採用されています。

しかし、太古より人類は3Dデータを保存しようとこれまでに様々なフォーマットを生み出してきました。
アプリケーション独自のファイルフォーマットから、業界団体が協力して策定したフォーマット、そして汎用的なフォーマットなど様々な3Dファイルフォーマットがあります。
本LTでは、その中でも仕様が特に理解し易い簡単なフォーマットをいくつかご紹介します。

このLTを聞いた後、あなたは2,3種類の3Dファイルのフォーマットを理解し、それらのファイルの読み書きができるようになっているはずです。

URSA Cine Immersiveでの撮影、Apple Immersive Videoの編集、書き出し、シンプルなVision Proアプリ化までの基礎的なフローについて共有します。
機材本体や周辺機器含めて1200万円を超えた投資を行い、20現場180TB以上撮影を行った知見をもとに、初心者でも分かるような簡単なワークフローを説明します。

VisionOS 26で導入された Apple Projected Media Profile（APMP）は、MP4/MOVファイルに投影メタデータを付与し、180°や360°の動画を通常の映像と同じ操作感で再生できる新しい仕組みです。

本LTでは、APMP対応の360°動画を生成するための具体的なワークフローを、実際の手順とツール操作を交えて紹介します。

• Insta360 Studio によるAPMP出力の設定方法
• avconvert を使った変換手順とPreset指定の実例
• Apple Vision Pro での自動変換の仕組み
• 出力されたファイルに含まれるvexuメタデータの確認方法

撮影した360°映像をVision Proで再生可能な形式に仕上げるための実践的なプロセスを整理し、開発者がすぐに応用できる知見を共有します。

AIの発展により、LLM以外にも、STTやTTSなどのコンピューターとの音声対話に必要な技術が高品質低コストで利用できるようになりました。
今後さらに音声対話でのコンピューターの利活用が増えてくると思いますが、AIとの音声対話をするにあたり、会話可能と視認できるインターフェイスの方が、利用しやすいのではないかと考え、キャラクターをインターフェイスとしたアプリの開発を続けています。

今回のLTでは、コーディングやショッピングなど実用的なタスクをこなすApple Vision Pro対応のAIアシスタントアプリの「空間AIエージェントわらび君」と、AIとおしゃべりしながら散歩ができる「AR観光ガイドアプリ 虎ノ門ツーリズム」のAI散歩ガイド機能のApple Vision Pro対応について、技術面や苦労した点などについてご紹介できればと思います。

いつでもどこでもキャンプができたらいいな。そう思ったことはありませんか？
visionOSアプリを活用すれば、現実では難しい「理想のキャンプ体験」を仮想空間で実現することができます。

本LTでは、Reality Composer Proを用いてvisionOSアプリに「春夏秋冬」の季節感を演出するParticle Emitterを作成・実装する実践的な方法を紹介します。

春には桜の花びら、夏にはホタルの舞、秋には紅葉の舞い散り、冬にはしんしんと降る雪。それぞれ異なる自然の動きを再現するために、表現や動きの調整に多くの工夫が必要でした。これらのリアルな自然の表現を、visionOSアプリでどのように実現したのかをハッカソンのチームで開発したバーチャルキャンプアプリの実例を交えてお話しします。

10月24日にVision Pro実機と開発機をお借りし、visionOS環境でアクアリウムアプリの開発を進行中。
RealityViewとRealityKitを用いて水槽空間を生成し、Entity階層とMaterial管理を整理しながら、ParticleEmitterによる泡や水流、ライトのコースティクス表現を検証中。
ハンドジェスチャーで魚の給餌や視点移動を操作できるよう設計しており、短期間で動作可能なプロトタイプを完成させるまでの開発プロセス・課題・調整点を共有する。

空間コンピューティングによって、
VisionOSアプリの体験はアプリの枠を越え、Webにも広がり始めています。

あらかじめ用意した3Dコンテンツを配置したり、
動的に環境を生成したりすることで、
アプリを開かなくても、その世界観の一部を体験できます。

本LTでは、アプリとWebをつなぐ新しい空間表現のかたちを紹介します。

VisionOSからBluetooth製品に接続して利用する方法についてお話しします。

Vision Pro向けアプリ「fusen」を開発しています。
Vision Proは大好きなんですが、なにぶんお高いので持っていません。ただ、プロダクト開発やApp Storeリリースとかは出来てたりします。

RealityComposerProやゲームエンジンを経由した開発では3Dで関係性を見ながら開発が出来る。その一方で効率的にオブジェクトの生成や配置を行いたい場合、Swift上の文字列のみで頭の中で想像しながら開発が(今のところ)最適解だったりする。

Swiftが持ついろんな座標系を整理してみた話と、ドキュメントでの解説が少ないSceneやEntityの親子関係についていろいろ整理してみた話と、未解決で困ったImmersive spaceのリセンタリング実行の座標系が狂っていそうな話(LTまでに解決したらその話)をします。解決者求む。

Vision Pro向けアプリ「fusen」を開発しています。
Vision Proは大好きなんですが、実はちょっと“こわい”瞬間があります。写真アプリの選択時やマインドフルネス立ち上げ時やApple TV再生前の—ふっと視界の明度が下がると、脳が不安になり、体まで硬直してしまう。

「ビビりなだけじゃないんです。脳のせいなんです。」

人間は昼行性の生き物で、視覚に強く依存して進化してきました。
明るさの変化を感知する網膜からの情報は、扁桃体（恐怖や不安を処理する領域）に最短ルートで伝わります。視界が暗くなると、脳は「何かが起きた」と誤検知し、ストレス反応を起こす——つまり、身体が“危険モード”に入ってしまうのです。

このトークでは暗所恐怖ぎみのデザイナーが、Vision Proで「ビビる瞬間」と、そのとき脳と体で起きてることを語ります。共感者求む。
(英語登壇予定です。

プロモーション用途などで頑張って作った Immersive Video。
ただ流すだけでは面白くない・伝わらないと思いませんか？

visionOS 26 で、明示的に Immersive Video と、他コンテンツと共存させる実装方針が提示されたことで、
今まで、受動的に映像を見るだけだったものに、新しいインタラクションの方向性が提示されました。

今回は、そのアプローチ方法として、アイドルのライブ映像とインタラクションを組み合わせた事例を紹介。
ハンドトラッキングを用いた入力とパーティクル演出を Immersive Space 上で実現するアプローチ方法を共有します。

没入映像と3Dオブジェクトを、同じ Immersive Space で共存させるということを軸に、
これからの Apple Vision Pro 表現においての新しい可能性について話します。

この秋リリースされたVisionOS 26では、壁や平面にウィジェットを直接配置できる「空間ウィジェット」が新たにサポートされます。

これまでは、Windowsアプリとして実装することでウィジェットの様な物を作ることが出来ました。OS標準機能として空間ウィジェットが追加されたことで、アプリのライフサイクルではなく、OS側のライフサイクルに則ったウィジェットの作成が可能になりました。

本LTでは、VisionOSウィジェットでできること・できないこと、iOS・iPadOSのウィジェットとの違い、そしてVisionOS特有の機能を紹介します。

Canon EOS R50 V と R5 Mark II 、そして VR レンズである RF5.2mm F2.8 L DUAL FISHEYE および RF-S3.9mm F3.5 STM DUAL FISHEYE の購入と Vision Pro での表示検証を通して見えてきた Canon のデジイチにおける VR180 の現状について語ります。
DUAL FISHEYE レンズ買って Vision Pro 向けコンテンツつくってみようかなって思っている人におすすめな内容となっています。

UnityではRenderTextureを使えば任意視点のカメラ映像を取得できますが、RealityKitで同様のことを行うには少し工夫が必要です。

PerspectiveCameraを用意し、RealityRendererにシーンとカメラのEntityを追加することで映像を取得できますが、visionOSでは実際のシーンとは別にレンダリング専用のシーンを構築する必要があります。

この手法を使えば、ドローンカメラのように動くオブジェクト視点の映像を表示したり、複数のカメラから異なる角度でシーンを表示するなど、表現の幅を大きく広げることができます。

本トークでは、visionOSにおいてRealityKitで任意視点映像をレンダリングする方法と制約を実装例と共に紹介し、visionOSでのカメラ表現の幅を広げたい方に実践的なヒントをお届けします。

visionOSのWindowでは2Dだけでなく、Model3DやRealityViewを使って3Dコンテンツを表示することができます。
さらに「ポータル」を使えば、まるで向こう側に3D空間が広がっているような、奥行きのある体験をWindowの中で実現できます。

ポータルを没入空間に入る前の「プレ体験」として活用すれば、ユーザーは3D空間の一部を覗き込みながら、より自然に没入できます。
複数のポータルをカルーセルのように切り替えたり、ポータル内のオブジェクトを飛び出させたりすることで、新しい体験を生み出すことも可能です。

本トークでは、ポータルの基本的な実装、3D空間での動きの表現、ポータルからの飛び出し演出、壁面固定などを紹介します。

visionOSで3D体験の幅を広げたい方に、ポータルで広がる体験づくりのヒントを紹介します。

VirtuAllyは、AVP向けに開発された「実寸大AIキャラクターとのリアルタイム会話アプリ」です。
ユーザの声をリアルタイムで認識し、AIが即時に応答を生成、表情・リップシンク・視線・ジェスチャーを同期させることで、“そこに居る”ような存在感を生み出します。

本トークでは、VirtuAllyで採用している以下の技術的アプローチを含みます。
• リアルタイムAI対話パイプライン：自然な会話体験の実装
• 感情表現システム：会話文脈を解析し、自然な感情表現を生成
• visionOS最適化：RealityKitによるVolumetric表示、Spatial Audioによる定位、Hand Trackingでの直感的操作

また、どのようにユーザに使っていただくアプリにしたかの工夫点も含む予定です。

“文字のAI”から“存在するAI”への転換を、空間コンピューティングの文脈で発表します。