プロポーザル

GraffityではApple Vision Pro (以下AVP)専用ゲームとして3本リリースしています
・Spatial Typing『Ninja Gaze Typing』
・Spatial タワーディフェンスシューター『Shuriken Survivor』
・アクアリウムシミュレーター『Craftrium』

Ninja Gaze Typingより
・デバイスリリースと同時にコンテンツをリリースする為に必要な点について

Shuriken Survivorより
・ハンドトラッキングをゲームに組み込む時の注意点
・Realtime で現実のMeshと経路探索システムの連携方法
・AVP向け用のパフォーマンス計測とチューニング方法

Craftriumより
・Object の位置を空間Grid に合わせて調整する方法の注意点
・空間を泳ぐ魚の移動経路アルゴリズム

などを紹介します

これまで公私にてSpacial VideoのR&Dに関わりました。
最近は
・QooCam3 Ultra+VR180改造
・Lumix GH6 2台のStereo
を使った8K VR180 Videoを製作しています。

今回は大阪関西万博での個人撮影を共有します。
8K VR180撮影とVision Proの視聴方法を通じて、その意義と楽しさを伝えます。

1.Demo

2.歴史
・1890年澁澤榮一のパノラマ館
・1900年パリ博
・1970年日本万国博覧会8面マルチ

4.ヒグチの過去事例
・2001年Sony360度自由視点R&D
・2015年GoPro4台での360度撮影

5.万博8K VR180
・Cameraと撮影
・Davinci ResolveとKartaVRによる動画処理
・Vision Pro再生と課題

6.APMP
・基礎
・GoProでの撮影と変換・比較

VisionOSからBluetooth製品に接続して利用する方法についてお話しします。

RealityKitでアプリ開発を始めると、3DアセットのためにUSDZファイルを扱ったり、Reality Composer Pro (RCP)でシーンを編集したりすることになります。いくつかアプリを作るなかで、USDフォーマットを理解しておくと役に立つ場面がいくつもありました。

対象への深い理解は、より良い開発を導きます。このトークではUSDを分かりやすく解説し、エンジニアの編集スキルの幅を増やし、自信を持って開発できるようになることを目指します。

• .usdzだけじゃない！.usdaや.usdcなどUSDの基本
• RCPはUSDエディタだ！非破壊編集で安全に差分を少なくする方法・バージョン管理のしかた
• PixarAnimationStudios/OpenUSDのusdcatでUSDを読んでみよう
• .usdzをunzipして読み、シェーダーをパラメーターで変えてみよう

Apple Vision ProではEnterpriseAPIを用いなければカメラ入力がとれなかったり、サポートされているコントローラーデバイスが数種類しかないなど外部入力手段が限られています。

本トークではサポートされている方法以外での外部デバイスとの連携について、弊社で実装した事例を2つ紹介します。

• NDI(Network Device Interface）を用いた映像入力
  • 活用事例
• BLE(Bluetooth Low Energy)を用いた外部デバイスとの連携
  • VisionOSでのBLEの対応状況
  • 使用事例：Hapbeatとの連携

これらの手法を用いることで外部デバイスとApple Vision Proを連携することができます。それによって体験の幅が大きく広がります。

Vision Pro向けアプリ「fusen」を開発しています。
思考には“空間の記憶”があり、現実の場所という制約が整理を助けます。fusenはこの“空間的思考”をデジタル空間に持ち込み、アプリを閉じても現実に思考を残す体験を目指します。

その根幹を支える技術がWorldAnchorです。
当初はSpatialTrackingSessionだけで完結できると考えて検証を進めましたが、実際にはARKitSessionとの併用が必要となり、その際にWorldAnchorが予期せず削除される問題に直面しました。
Apple Developer Forumでも同様の報告があり、バグの可能性が指摘されています。

本セッションでは、fusen開発で得た知見をもとに、RealityKitとARKitの設計思想、.worldトラッキングの役割、そして現時点での安定構成を実機検証と公式情報で解説します。

Vision Pro向けアプリ「fusen」を開発しています。
Vision Proは大好きなんですが、なにぶんお高いので持っていません。ただ、プロダクト開発やApp Storeリリースとかは出来てたりします。

RealityComposerProやゲームエンジンを経由した開発では3Dで関係性を見ながら開発が出来る。その一方で効率的にオブジェクトの生成や配置を行いたい場合、Swift上の文字列のみで頭の中で想像しながら開発が(今のところ)最適解だったりする。

Swiftが持ついろんな座標系を整理してみた話と、ドキュメントでの解説が少ないSceneやEntityの親子関係についていろいろ整理してみた話と、未解決で困ったImmersive spaceのリセンタリング実行の座標系が狂っていそうな話(LTまでに解決したらその話)をします。解決者求む。

Vision Pro向けアプリ「fusen」を開発しています。
Vision Proは大好きなんですが、実はちょっと“こわい”瞬間があります。写真アプリの選択時やマインドフルネス立ち上げ時やApple TV再生前の—ふっと視界の明度が下がると、脳が不安になり、体まで硬直してしまう。

「ビビりなだけじゃないんです。脳のせいなんです。」

人間は昼行性の生き物で、視覚に強く依存して進化してきました。
明るさの変化を感知する網膜からの情報は、扁桃体（恐怖や不安を処理する領域）に最短ルートで伝わります。視界が暗くなると、脳は「何かが起きた」と誤検知し、ストレス反応を起こす——つまり、身体が“危険モード”に入ってしまうのです。

このトークでは暗所恐怖ぎみのデザイナーが、Vision Proで「ビビる瞬間」と、そのとき脳と体で起きてることを語ります。共感者求む。
(英語登壇予定です。

Apple Vision Proをかぶり、現実空間に置いた胸像の頭をなでると、胸像が目覚めて話しかけてくるMRアプリ「AlbusTalk」の技術解説を行います。
Unity／PolySpatial／Object Tracking／3Dプリントを組み合わせて実在の胸像が“動き出す”体験をどう実装したか、さらにOpenAI Realtime APIで自然な会話を実現する手法について解説します。

現在の Apple Vision Pro は、素晴らしい表現力を持ちながらも、
以下のようなビジュアル表現が出来ないといった制約があります。

• ポストプロセス（Bloom / レンズフレア）
• ボリュームライト
• 光の屈折
• ハイトマップ
• HDRを利用した高輝度表現

そのような制約の中で、最高のビジュアル表現を目指すための、映える見た目の作り方を紹介します。

例えば、Emissive 書き込みや加算パーティクル、環境光プラグインなどのアプローチ方法などのテクニック。
その実例としての、海面の光の表現方法や・車ボディの反射表現、
焚き火などのエフェクトの Before / After の実例を交えて解説します。

さらに、現在社内の R&D による「自然言語 → Lua で演出を生成する」方法などの、新しい挑戦も紹介。
明日から使える中級者向けノウハウ集です。

プロモーション用途などで頑張って作った Immersive Video。
ただ流すだけでは面白くない・伝わらないと思いませんか？

visionOS 26 で、明示的に Immersive Video と、他コンテンツと共存させる実装方針が提示されたことで、
今まで、受動的に映像を見るだけだったものに、新しいインタラクションの方向性が提示されました。

今回は、そのアプローチ方法として、アイドルのライブ映像とインタラクションを組み合わせた事例を紹介。
ハンドトラッキングを用いた入力とパーティクル演出を Immersive Space 上で実現するアプローチ方法を共有します。

没入映像と3Dオブジェクトを、同じ Immersive Space で共存させるということを軸に、
これからの Apple Vision Pro 表現においての新しい可能性について話します。

Apple Vision Pro向けアプリを作る際、UnityやUnrealEngineといったゲームエンジン、またはSwift(RealityComposerPro）を用いた開発をする事が多いです。
しかし昨今では新たな選択肢としてGodotエンジンを用いた開発も可能になりつつあります。
先日リリースされたGodot4.5ではついにApple Vision Pro向けWindowアプリの正式サポートがなされました。

本LTでは現状のGodotエンジンを用いたApple Vision Proアプリ開発の手法、制約についてご紹介します。
また、現在開発が進行中であるImmersiveアプリとしてのビルド方法などもご紹介します

この秋リリースされたVisionOS 26では、壁や平面にウィジェットを直接配置できる「空間ウィジェット」が新たにサポートされます。

これまでは、Windowsアプリとして実装することでウィジェットの様な物を作ることが出来ました。OS標準機能として空間ウィジェットが追加されたことで、アプリのライフサイクルではなく、OS側のライフサイクルに則ったウィジェットの作成が可能になりました。

本LTでは、VisionOSウィジェットでできること・できないこと、iOS・iPadOSのウィジェットとの違い、そしてVisionOS特有の機能を紹介します。

Canon EOS R50 V と R5 Mark II 、そして VR レンズである RF5.2mm F2.8 L DUAL FISHEYE および RF-S3.9mm F3.5 STM DUAL FISHEYE の購入と Vision Pro での表示検証を通して見えてきた Canon のデジイチにおける VR180 の現状について語ります。
DUAL FISHEYE レンズ買って Vision Pro 向けコンテンツつくってみようかなって思っている人におすすめな内容となっています。

UnityではRenderTextureを使えば任意視点のカメラ映像を取得できますが、RealityKitで同様のことを行うには少し工夫が必要です。

PerspectiveCameraを用意し、RealityRendererにシーンとカメラのEntityを追加することで映像を取得できますが、visionOSでは実際のシーンとは別にレンダリング専用のシーンを構築する必要があります。

この手法を使えば、ドローンカメラのように動くオブジェクト視点の映像を表示したり、複数のカメラから異なる角度でシーンを表示するなど、表現の幅を大きく広げることができます。

本トークでは、visionOSにおいてRealityKitで任意視点映像をレンダリングする方法と制約を実装例と共に紹介し、visionOSでのカメラ表現の幅を広げたい方に実践的なヒントをお届けします。

visionOSのWindowでは2Dだけでなく、Model3DやRealityViewを使って3Dコンテンツを表示することができます。
さらに「ポータル」を使えば、まるで向こう側に3D空間が広がっているような、奥行きのある体験をWindowの中で実現できます。

ポータルを没入空間に入る前の「プレ体験」として活用すれば、ユーザーは3D空間の一部を覗き込みながら、より自然に没入できます。
複数のポータルをカルーセルのように切り替えたり、ポータル内のオブジェクトを飛び出させたりすることで、新しい体験を生み出すことも可能です。

本トークでは、ポータルの基本的な実装、3D空間での動きの表現、ポータルからの飛び出し演出、壁面固定などを紹介します。

visionOSで3D体験の幅を広げたい方に、ポータルで広がる体験づくりのヒントを紹介します。

visionOSではRealityKitを使って本格的な3D空間を構築できますが、 SwiftUIでの開発に慣れた方なら「SwiftUIで空間体験を作れたら…」と思ったことがあるのではないでしょうか。

visionOS 26では、SwiftUIでの空間レイアウト構築がより柔軟で実用的になり、2Dで培ったUIノウハウを活かせます。
SwiftUIとRealityKitの連携も強化され、2Dと3Dを自然に融合した新しい体験を実現できます。

本トークでは、3D Viewの配置や空間レイアウト拡張、ManipulationやObservableの活用、座標変換など、
SwiftUIとRealityKitを連携して空間体験を構築する実践的な手法を紹介します。

visionOS 26で進化したSwiftUIとRealityKitを活用して新しい空間体験を構築するための実践的ヒントをお届けします。

VirtuAllyは、AVP向けに開発された「実寸大AIキャラクターとのリアルタイム会話アプリ」です。
ユーザの声をリアルタイムで認識し、AIが即時に応答を生成、表情・リップシンク・視線・ジェスチャーを同期させることで、“そこに居る”ような存在感を生み出します。

本トークでは、VirtuAllyで採用している以下の技術的アプローチを含みます。
• リアルタイムAI対話パイプライン：自然な会話体験の実装
• 感情表現システム：会話文脈を解析し、自然な感情表現を生成
• visionOS最適化：RealityKitによるVolumetric表示、Spatial Audioによる定位、Hand Trackingでの直感的操作

また、どのようにユーザに使っていただくアプリにしたかの工夫点も含む予定です。

“文字のAI”から“存在するAI”への転換を、空間コンピューティングの文脈で発表します。

筋トレやってますか？
人類は、トレーニングの質を日々追い求め、対内外、五感、科学的／非科学的を問わずあらゆる工夫を編み出してきました。
食事、サプリ、シューズやウェア、モチベーションソング・・・
しかし未踏の領域は、まだ我々に残されているように思います。それは視覚です。

Vision Pro を手にした今こそ、ジムの退屈な風景を疑ってみませんか？
空間コンピューティングを活かし、ポージングと連動して視覚・聴覚を演出強化することで、パフォーマンスは増強するのか。限界突破(One more rep)に与するのか。

人体実験を通して、身体の可能性とインターフェースの未来に迫ります。

今年は9月のApple EventでSteve Jobsのデザインに関する言葉が冒頭紹介されたように、Appleとしてデザインへの注力を全面に押し出した一年でした。
他のプラットフォームがLiquid Glassで大きな変革を迎える中、ベースとなったvisionOSにはどのようなアップデートがあったでしょうか？

その答えがウィジェットです。
visionOSはウィジェットに対応することによって、より空間にコンピュータを溶け込ませる体験を実現しました。

本セッションではvisionOSのために発表されたWidgetKitの新機能を用途・デザイン・実装方法の三つの観点で紹介し、いますぐvisionOS向けウィジェットの開発に取り掛かれる状態を目指します。