クロマキー合成を使い透過動画をAR空間に表示する by satoshi0212

iOSDC Japan 2019
採択
2019/09/06 15:10〜
Track E
レギュラートーク(30分)

クロマキー合成を使い透過動画をAR空間に表示する

shmdevelop satoshi0212 shmdevelop

動画を現実の風景に重ね、その一部を透過させて再生する実装について説明します。

AR(Augmented Reality)空間でシンプルに動画再生するのはそれほど難しくありません。
しかし一部透過させようとするとリアルタイム画像加工をする必要があり難易度が高まります。

表示のガタつきを抑え、一部を透過させた動画を再生するには。
60fpsかつ音声付きで再生するにはどうしたら良いのでしょうか。

クロマキーシェーダーと再生処理の工夫により実現した実装とその他Tipsを共有します。

この発表では以下の内容について話す予定です:

  • クロマキー合成シェーダーの実装
  • 60fps音声付きでの透過動画のスムーズな表示
  • リアルタイム配信映像の受信について