ハーモニカのアバター演奏テストの考察 / Leap Motion , 3tene , Luppet / モーションキャプチャー バーチャル演奏

ハーモニカのアバター演奏のための 【Leap Motion , 3tene , Luppet】の使用テストの結果・考察

1実際にハーモニカを吹いている様子をそのままモーションキャプチャーするのは不可能。

「Leap Motion」というパソコンにUSB接続して使用する特殊なカメラで、手の動きをアバターに反映させる事が出来ます。

このカメラと「3tene」または「Luppet」というソフトを使用すればVRモデルと呼ばれるアバターに自分の動きを反映させる事が出来ます。
ですが、ハーモニカを吹いている様子をそのまま反映する事は出来ず、
・口まで手を近づけるとカメラが手を認識できなくなる
・ハーモニカを演奏する時の手の形をカメラは認識できない
という点があり、
ハーモニカは手に持たずに手を口から10cmほど離した状態でそれらしく見えるような構えや動きの映像をキャプチャーして、
その後その映像とハーモニカの音声と合わせて「アバターが吹いている」ような映像を作るのが限界でした。
また、カメラの認識から外れると手が下に下がってしまってハーモニカを吹いている雰囲気の映像はその時点で一度中断してしまうので 微妙に動きを付けながらのハーモニカを吹いている風の映像を撮るのはなかなか難しいです。

数十万円かそれ以上する、さらに本格的な機材を導入すれば可能なのか、それともそれでも無理なのかは未知数で
その域まではさすがに踏み込めないでいます。

10穴ハーモニカの場合 リアルに演奏する場合も手で隠れてハーモニカはほとんど見えないため、
アバターは素手でも「吹いている」雰囲気の映像を撮る事が出来たと思っています。

よりリアルな雰囲気に近づけるためには、
ハーモニカなどのアイテムのアバターとアバター本体を組み合わせて使用するための設定や、
自分の動きのキャプチャーではなく、ソフトのほうでハーモニカを吹いている雰囲気の動きを作ってその設定を保存するか、
音源のメロディやMIDIのメロディ、音程の上下と連動してハーモニカを吹いているように見えるプログラムの作成を依頼するか、
という形になりそうです。

2ＰＣの性能(スペック)を思っていた以上に必要とする。

ビデオカード（グラフィックボード）(GPU)なしのパソコンではギリギリ使用できるか使用できないかというレベルで、
ハーモニカ紳士の現在のノートパソコンにはビデオカード（グラフィックボード）(GPU)はないため（Intel UHD Graphics 620）、
動きが重くなってしまう事が多々で、これらのソフト(3tene , Luppet)の本領を発揮できないでいます。
フルＨＤの30コマの動画編集なら ほぼ問題なく、60コマも何とか出来るノートパソコンだったため 大丈夫だろうと思っていたこの点は誤算でした。
これらのソフトの本領を発揮するためにはパソコンを買い替えないといけなく、現時点ではまだその予定はない状態です。

3時間と労力、手間が思っていたよりかかる。

モーションの撮影と、その後の編集の時間とで、これまでの実写のハーモニカ演奏動画の場合よりも、動画を作り終えるまでの時間、労力、手間がかかります。
ただ、ハーモニカ演奏の音源は動画でなく音だけで録る事も出来るので、
パートごとに録音したり、そのぶんレコーディングのほうに力に入れられるというメリットがあります。
また、新しく作らずとも過去の自分の動画、音源を使用してアバター演奏バージョンの動画を作るという事も可能です。

「ハーモニカを吹いている動き」のテンプレートをソフトのほうで作成して保存して、
あとはそれをそのまま使いまわす、という事ができれば
アバター演奏動画のほうが手早く作れるという事にもなれるかもしれません。

おわりに

まだまだ使いこなせていませんが 以前から気になってやってみたいと思っていた事を一度実際に経験することが出来てとても満足しています。
アバター(VRモデル)は老若男女様々なキャラクターがいて 無料で配布されていたり購入したりできるため、
また色々なアバター（VRモデル）を使用した動画も 時々になると思いますがＵＰしたいと思います。