VMCProtocol (Virtual Motion Capture Protocol) ってなに？

zako-lab929.hatenablog.com

昨日の記事で ThreeDPoseTracker から Send VMC Protocol を有効にして、Unity 側の Receiver で受信しました。

そもそも VMCProtocol って何ですかね？

VMCProtocol (Virtual Motion Capture Protocol) とは？

モーションキャプチャデータをリアルタイムで他のアプリケーションに送信するための通信プロトコル です。特に、VTuber向けやモーションキャプチャアプリケーションの開発者に人気があります。このプロトコルを使うと、キャプチャデータを効率的にやり取りし、さまざまな3Dモデルやアプリケーションで利用 できます。

となっているようです。

VMCProtocol の基本概要

送信方法

VMCProtocol は UDP 通信を使用します。 これにより、高速でリアルタイムのデータ送受信が可能 です。

データの種類

主にモーションキャプチャデータ（骨格データやモデルの位置データ）を送信します。

主な用途

• VTuber配信や制作アプリで、モーションキャプチャデバイスの動きをリアルタイムで3Dモデルに反映
• Unityã‚„Blenderなど、モーションキャプチャデータを利用するアプリケーションとの連携

利点と注意点

利点

• 低遅延通信： UDP を利用しているため、ほぼリアルタイムでデータの送受信が可能

注意点

• パケットロスの可能性： UDP の性質上、データが損失する可能性がある。ただし、モーションキャプチャではフレーム間の補間が行えるため、大きな問題にならない場合が多い

VMC Protocol 公式ページ

組み合わせの紹介ページが良き！

VR機器

• VR機器(VMC) -> Uinty
  • バーチャルモーションキャプチャー -> EVMC4U
• VR機器(VMC) -> Unreal Engine
  • バーチャルモーションキャプチャー -> VMC4UE
• VR機器(VMC) -> Blender
  • バーチャルモーションキャプチャー -> VMC4B
• VR機器(VMC) -> VSeeFace
  • バーチャルモーションキャプチャー -> VSeeFace
• VR機器(VMC) -> VSeeFace -> Unity
  • バーチャルモーションキャプチャー -> VSeeFace -> EVMC4U

表情

• 表情(iPhone) -> Uinty
  • waidayo -> EVMC4U
• 表情(Webcam)/手(LeapMotion) -> Unity
  • VSeeFace -> EVMC4U
• 表情(iPhone) -> VMC
  • waidayo -> バーチャルモーションキャプチャー
• 表情(iPhone) -> VSeeFace
  • waidayo -> VSeeFace
• 表情(iPhone) -> VSeeFace -> Unity
  • waidayo -> VSeeFace -> EVMC4U
• 表情(iPhone) -> VR機器(VMC) -> Uinty
  • waidayo -> バーチャルモーションキャプチャー -> EVMC4U
• 表情(iPhone) -> VR機器(VMC) -> VSeeFace -> Unity
  • waidayo -> バーチャルモーションキャプチャー -> VSeeFace -> EVMC4U

全身の動き

• 全身の動き(iPhone) -> Uinty
  • TDPT -> EVMC4U
• 全身の動き(Webcam) -> Uinty
  • ThreeDPoseTracker -> EVMC4U
• 全身の動き(iPhone) -> VMC
  • TDPT -> バーチャルモーションキャプチャー
• 全身の動き(Webcam) -> VMC
  • ThreeDPoseTracker -> バーチャルモーションキャプチャー
• 全身の動き(iPhone) -> Blender
  • TDPT -> VMC4B
• 全身の動き(Webcam) -> Blender
  • ThreeDPoseTracker -> VMC4B
• 全身の動き(iPhone) -> VSeeFace
  • TDPT -> VSeeFace
• 全身の動き(Webcam) -> VSeeFace
  • ThreeDPoseTracker -> VSeeFace

Sender と Receiver

ざっと組み合わせの紹介ページを単純化してて気付いたけど以下の組み合わせっぽいですね

Sender

Tracker	アプリ
VR機器	バーチャルモーションキャプチャー
表情(iPhone)	waidayo
表情(Webcam)	VSeeFace
全身(iPhone)	TDPT
全身(Webcam)	ThreeDPoseTracker

それぞれ VMCProtocol を送信できるアプリたちですね。Receiver も兼ねているアプリもあるみたいです。

Receiver

ツール	モジュール
Unity	EVMC4U
Unreal Engine	VMC4UE
Blender	VMC4B

最終的に到達するところですね。

まとめ

若干理解が深まったな？