iOSDC Japan 2023
採択
2023/09/02 17:25〜
Track A
ルーキーズLT（5分）
マウスポインターを掴む？！ 〜標準フレームワークで作る非接触でMacを操作する技術〜
なかおかれい
rei_nakaoka
WWDC23でApple Vision Proが発表されました。Vision Proでは手の動きや音声でUIを魔法のように操作していました。しかし高精度なカメラやセンサーがなくとも手元のMacと標準フレームワークだけでも同様のことは可能です。
皆さんもご存知の通り、Swiftには画像認識、音声認識などが簡単に行えるフレームワークが充実しています。これらを使いユーザの行動を認識しそれに応じてCGEventを発生させることで「非接触でMacを操作する」といったことが実現できます。
本LTでは以下のようなフレームワークを使いMacを非接触で操作する技術を実際のデモを交えながら紹介します。今日から皆さんのMacも未来に近づくこと間違いなしです。
・Visionフレームワーク
・Speechフレームワーク
・Core Motionフレームワーク