ジェスチャートラッカーを作ろうとした話(その①)

VRChat向けのアバターの整備していたら1週間経ってしまいました…

最近やりたいことが多すぎて嬉しいのやら悲しいのやら！

だらだらとYouTubeやTwitter眺めてる時間を減らせば良いんでしょうけど、うーん難しい。

自己紹介で書いたように、VTuverで有名になりたかったので「なにか使えるものを作ろう！」ということで指のトラッキングを行うハードウェアを作ろうとしてました。

2020年5月頃、指のトラッキングをする方法がほとんどなく、作って提供すれば関係が生まれて有名に…なんて浅はかに考えてました。

結局のところ、去年の秋ごろにはVTuber向けのアプリが結構リリースされていたようですし、ここ1年VTuberさん配信を見てきて指のトラッキングを必要とする場面ってそもそも全然ないし、正直取り組まなくて良かったなぁと今では思います。

お盆休み暇なので、旧友がVRCにどっぷりだったのを思い出してVRCを始めました。

そしてプレイしていたところ、「表情の切り替えを手のジェスチャーで行えればな…」と思い、手のジェスチャーを検出するトラッカーを作ろう！ということにしました。

トラッキングの手法としては、カメラを使って手の形を画像解析する方法と、ハード的に指の折り曲げを検出する方法の2つに大きく分けれます。

前者についてはその手の勉強をしてこなかったこと、そしてそれができるんだったら既にOculus Quest 2が既にやってるか、今後のアップデートで対応するはずなので不採用としました。

なので、「ハード的に指の折り曲げを検出して無線送信する装置」と「無線受信してキーボード出力するソフト」を作ります。

とりあえず今回は使ったセンサーとマイコン、アプリの開発ソフトの紹介までしたいと思います。

採用理由は単純に設計が簡単だから。

他にもいろいろなセンサーで検出できるのですが、一般人が買えるものの中では最も今回の用途に適しているものかと思います。

その件はまた今度記事にまとめます。

本当は国産のマイコンボードを使いたかったのですが、「マイコン Bluetooth」で調べて接続が簡単そうだったので選びました。

しかも簡単なだけでなく、以下の強みもあります。

…なんとなくみんなESP32をなぜ選ぶか分かったような気がする…。

後から思い返すと、I2C通信やUART通信の勉強のためにBluetoothなしを選ぶ手もあったかなーと思いますが、それはまた今度気が向いたらやろうと思います。

知らなかったのですが、Visual Studioって個人の趣味で使う分には無償版があるんですね。知らなかった…。

昔から使ってみたいという思いがあったのと、Windowsの環境下でキーボードの出力を行わせる予定なので採用。

作るもの簡略的に図にすると以下のような感じです。

f:id:Helcha:20210823224114p:plain

(「手作りソフト」て書いたのはWPFとUWFで一悶着あったので…ここでかなり悲しい目にあったので今後記事にしたいな…。)

今回は一旦ここまで。

次回はセンサーの種類や、電子工作するにあたってのマイコンの選び方などを書けたらなと思ってます。