LT(5分)

ARKitとLiDARで実装する世界を塗りつぶすペイント機能 iOSDC Japan 2021

3
shmdevelop 服部 智 shmdevelop

LiDARでリアルタイムに認識した世界をメッシュ化しカラーボールをぶつけてペイントする機能の実装方法を解説します。

LiDARは新型のiPhone/iPadに搭載されている空間認識センサーです。リアルタイムかつ高精度で現実空間を検知できます。
検知したデータは可視化できるのですがApple提供のLiDAR動作サンプルではワイヤー表示などシンプルな使い方に留まっています。

このデータをインタラクティブに扱いたくありませんか?

ARKit、SceneKit、Metalの機能を応用しメッシュ化した現実を塗りつぶす機能をSwiftで実装しました。
データのメッシュ化、ペイントボールの発射、衝突、色付けなど多様な知見が詰まっています。

皆がこの実装を応用することでさらに面白い表現が実現できると思っています。