(Leap Motion & 3tene | 東北ずん子 / 渡良瀬橋 )

ハーモニカのアバター演奏のための 【Leap Motion , 3tene , Luppet】の使用テストの結果・考察

1実際にハーモニカを吹いている様子をそのままモーションキャプチャーするのは不可能。

「Leap Motion」というパソコンにUSB接続して使用する特殊なカメラで、手の動きをアバターに反映させる事が出来ます。

このカメラと「3tene」または「Luppet」というソフトを使用すればVRモデルと呼ばれるアバターに自分の動きを反映させる事が出来ます。
ですが、ハーモニカを吹いている様子をそのまま反映する事は出来ず、
・口まで手を近づけるとカメラが手を認識できなくなる
・ハーモニカを演奏する時の手の形をカメラは認識できない
という点があり、
ハーモニカは手に持たずに手を口から10cmほど離した状態でそれらしく見えるような構えや動きの映像をキャプチャーして、
その後その映像とハーモニカの音声と合わせて「アバターが吹いている」ような映像を作るのが限界でした。
また、カメラの認識から外れると手が下に下がってしまってハーモニカを吹いている雰囲気の映像はその時点で一度中断してしまうので 微妙に動きを付けながらのハーモニカを吹いている風の映像を撮るのはなかなか難しいです。

数十万円かそれ以上する、さらに本格的な機材を導入すれば可能なのか、それともそれでも無理なのかは未知数で
その域まではさすがに踏み込めないでいます。

10穴ハーモニカの場合 リアルに演奏する場合も手で隠れてハーモニカはほとんど見えないため、
アバターは素手でも「吹いている」雰囲気の映像を撮る事が出来たと思っています。

よりリアルな雰囲気に近づけるためには、
ハーモニカなどのアイテムのアバターとアバター本体を組み合わせて使用するための設定や、
自分の動きのキャプチャーではなく、ソフトのほうでハーモニカを吹いている雰囲気の動きを作ってその設定を保存するか、
音源のメロディやMIDIのメロディ、音程の上下と連動してハーモニカを吹いているように見えるプログラムの作成を依頼するか、
という形になりそうです。

2PCの性能(スペック)を思っていた以上に必要とする。

ビデオカード(グラフィックボード)(GPU)なしのパソコンではギリギリ使用できるか使用できないかというレベルで、
ハーモニカ紳士の現在のノートパソコンにはビデオカード(グラフィックボード)(GPU)はないため(Intel UHD Graphics 620)、
動きが重くなってしまう事が多々で、これらのソフト(3tene , Luppet)の本領を発揮できないでいます。
フルHDの30コマの動画編集なら ほぼ問題なく、60コマも何とか出来るノートパソコンだったため 大丈夫だろうと思っていたこの点は誤算でした。
これらのソフトの本領を発揮するためにはパソコンを買い替えないといけなく、現時点ではまだその予定はない状態です。

3時間と労力、手間が思っていたよりかかる。

モーションの撮影と、その後の編集の時間とで、これまでの実写のハーモニカ演奏動画の場合よりも、動画を作り終えるまでの時間、労力、手間がかかります。
ただ、ハーモニカ演奏の音源は動画でなく音だけで録る事も出来るので、
パートごとに録音したり、そのぶんレコーディングのほうに力に入れられるというメリットがあります。
また、新しく作らずとも過去の自分の動画、音源を使用してアバター演奏バージョンの動画を作るという事も可能です。

「ハーモニカを吹いている動き」のテンプレートをソフトのほうで作成して保存して、
あとはそれをそのまま使いまわす、という事ができれば
アバター演奏動画のほうが手早く作れるという事にもなれるかもしれません。

おわりに

まだまだ使いこなせていませんが 以前から気になってやってみたいと思っていた事を一度実際に経験することが出来てとても満足しています。
アバター(VRモデル)は老若男女様々なキャラクターがいて 無料で配布されていたり購入したりできるため、
また色々なアバター(VRモデル)を使用した動画も 時々になると思いますがUPしたいと思います。


(Leap Motion & Luppet | 千駄ヶ谷 渋 (せんだがや しぶ)(Shibu) / 花に亡霊 )

おすすめの記事
■1章【1-5】色々考えた末、「部活を創らない」、「創れなかった」という結果となってもそれはそれで素晴らしい。「テヘッ」と思う大切さ。 [~入りたい部活がないなら作ってしまえ~ (☆中学校・高校で「ハーモニカ部」を作るための説明書 ☆(創部)]
ハーモニカ と学校生活、学校教育、部活、クラブ、サークル
■1章【1-5】色々考えた末、「部活を創らない」、「創れなかった」という結果となってもそれはそれで素晴らしい。「テヘッ」と思う大切さ。 [~入りたい部活がないなら作ってしまえ~ (☆中学校・高校で「ハーモニカ部」を作るための説明書 ☆(創部)]
1章 ■ ハーモニカ部を作る(創る)まで 1-1 新しい部活を作るまでの流れ。 1-2 新しい部活を作る意義、必要性のある人。 1-3 ハー...