クロマキー合成を使い透過動画をAR空間に表示する by satoshi0212

動画を現実の風景に重ね、その一部を透過させて再生する実装について説明します。

AR(Augmented Reality)空間でシンプルに動画再生するのはそれほど難しくありません。
しかし一部透過させようとするとリアルタイム画像加工をする必要があり難易度が高まります。

表示のガタつきを抑え、一部を透過させた動画を再生するには。
60fpsかつ音声付きで再生するにはどうしたら良いのでしょうか。

クロマキーシェーダーと再生処理の工夫により実現した実装とその他Tipsを共有します。
さらにユーザ体験が向上する機能をいくつか解説します。

この発表では以下の内容について話す予定です:

• クロマキー合成シェーダーの実装
• 60fps音声付きでの透過動画のスムーズな表示
• リアルタイム配信映像の受信について
• ユーザ操作インタラクションの実装
• 現実に即した音声の聞こえ方
• 配信について