【新作アセット】UnityでFaceRig風のリアルなVRアバターを実現！単眼Webカメラを用いて、マーカーレスによるモーションフェイシャルキャプチャ「Polyphemus - Facial capture system」

Polyphemus - Facial capture system

ツール / アニメーション

z4g0

$30.00    新作アセット  【リリース日】2019年12月13日

 

単眼Webカメラで、モーションフェイシャルキャプチャが行えるアニメーションツールです。

 

一般的には「顔」に目印になるマーカーを貼り付けて撮影しますが、

こちらは「マーカーレス」で、顔に目印を貼り付ける必要無し。

顔のランドマークを自動検出して、表情の動きを読み取るモーションキャプチャシステムです。

 

超リアルな表情アニメーションを一般的なWebカメラで行えます。

 

 キャプチャデータは

Unity標準の「AnimationClip形式」で録画することができます。

 

 

小じわマップアドオン

 

システム要件

・WIndows限定

・Unity 2018.3以上（最新版は2019.2.9以降の可能性あり）

・一般的なWebカメラ（画質より30fps以上優先）

・GeForce GTX 1060以上

・ブレンドシェイプ付き3Dモデル

 

 

アップデート情報 v1.0.2

待望の「眼球」周りのメトリックが追加アップデートされました。

今後の進化が楽しみですね。

バージョン1.0.2（現在）

リリース日：2019年12月23日

追加されたメトリック：

-eye_pupil_horizontal_both *

-eye_pupil_vertical_both *

-face_mouth_eye_distance_left

-face_mouth_eye_distance_right

-face_mouth_eye_distance_both

*キャプチャエディタの[眼の回転]チェックボックスを有効にする必要があります

 

Unityサブスクリプション「価格改定」まもなく行われます！年内契約急いで！

【12月31日まで】 Unity Pro / Unity Plusサブスクリプション

 

---

✨️🎁🌲クリスマスイベント開催中🌲🎁✨️

⏰️ 応募締め切り＜ 2019年12月25日（水）am3:00頃 まで＞

 

今年は総額6万円 + α プレゼントをたっぷりご用意しました！

参加状況はこちら▼

• #汗人柱のクリスマス_バウチャー
• #汗人柱のクリスマス_アセットキー
• #汗人柱のクリスマス_ゲームキー

---

 

まもなく値上げ！

【Unity価格改定】サブスクリプション値上げ（定期）

2019年10月17日Unityブログにて、

Unity Pro / Unity Plusサブスクリプション価格改定がまもなく行われます！

 

 

「オンラインストア」← 日本語ページ

Unity Plus Â	月額 Â¥4,200（税抜）	→	Â¥4,400	  200円値上げ
Unity Pro	月額 ¥15,000（税抜）	→	¥16,500	  1500円値上げ

 ※  2020 年1月1日午前8時59分（日本時間）以降から価格改定

 

Unity Proなら1年間で最大18,000円がお得！

 

▼Unity 値上げ記事はこちら

年内ギリギリまでキャンペーン待ちの方は、12月25日頃を目処に決意しましょう。

---

 

 

POLYPHEMUS - facial capture system for Unity（2:28）

 

システム要件

 

 Unity 2018.3以上、 WINDOWSのみ

※ 2019年12月23日時点、AssetStore最新は「2019.2.9以降をサポート」です。

フォーラムの情報が古く、Unity2018.3で扱えない可能性があります。

 

 

 単眼 Webカメラ + ミッドレンジ以降のPCスペック

Webカメラが接続されたコンピューター*、またはWebカメラが統合されたラップトップ。
*良好なキャプチャ品質を得るには、ミッドレンジからハイエンドのコンピューター（つまり、GeForce GTX 1060-第7世代Intel®Core）および平均品質-外部または統合ウェブカメラ（HD / 4Kを必要としない）が推奨されます 解像度;代わりに、30 +フレームレートは、基本的にスムーズなキャプチャの必須要件です。

 

なるべく明るい照明

良好な照明条件：暗い場所や高い照明条件でもキャプチャできる場合でも、自然な照明条件をお勧めします。 正面および/または背面の強い光を避けてください。

 

「ブレンドシェイプ」または「Shape Keys」セットアップ済3Dモデル

blendshapes（または「Shape Keys」）を介してモーフターゲットを実装する3Dモデル。

 

注意：この顔キャプチャシステムは、顔のランドマーク検出に基づいています：たとえ広範囲の顔を認識できたとしても、ある種の顔や外観の一部の特徴を検出するのは困難です。

 

 

この記事について

公式サイトのドキュメントを簡易的にまとめた内容です。

実際に使用する際、必ず公式サイトの最新ドキュメントをご確認ください。

 

ドキュメントサイト

z4g0 - Fabrizio 'z4g0' Zagaglia's Projects, Techs & Graphics

 

 

 

 

キャプチャーエディタについて

 

 

キャプチャエディタに3Dモデルが表示されます。

ここでWebカメラのセットアップを行い録画を開始します。

① エディタ左下の「[[+] CREATE A NEW CLIP]ボタン」をクリックして、

新規Animation Clipを作成します。

 

② エディタ右下の「[FACETRACKER CAMERAを開く]ボタン」をクリックして、WEBCAMを開きます。

 

録画中

 

再生して確認

 

 

 

 

モデルへのセットアップ

 

 

① コンポーネントの取り付け

出典：z4g0 - Fabrizio 'z4g0' Zagaglia's Projects, Techs & Graphics

 

モデル本体のroot（Animatorがあるところ）に、

「Face Tracker」コンポーネントを取り付けます。

 

 

② トラッカーエディタを起動する

出典：z4g0 - Fabrizio 'z4g0' Zagaglia's Projects, Techs & Graphics

• アニメーション化する3Dモデルのルートを選択します。
• [コンポーネントの追加]をクリックし、[フェイストラッカー]を選択します
• インスペクターから[FACE TRACKER EDITORを開く]ボタンをクリックして、エディターを開きます。
• または、メインメニューのツール/ポリフェムスオプションからエディターを開くことができます。

 

③ アニメーション化するSkinnedMeshRendererを選択

Capture項目に、Skinned Mesh Rendererを取り付けます。

 

 

数秒待つと

「赤い点の顔」が表示されます

Webカメラに写っている「顔のランドマーク情報」が「赤い点」で表示されます。

 

もし「赤い点」が理想通りに動かない場合は、

部屋の照明を変えたり、カメラからの距離を調節してみてください。

 

数秒後、WEBCAM PREVIEWエリア内で、キャプチャされた顔のランドマークに赤い点が表示されます。

 

注意：この顔キャプチャシステムは、顔のランドマーク検出に基づいています。たとえ広範囲の顔を認識できたとしても、ある種の顔や外観の一部の特徴を検出するのは困難です。

役者の顔をキャプチャする際に問題が発生した場合は、さまざまな照明条件を試して、顔をウェブカメラから50cm / 1mtに保ってください。

 

 

「ブレンドシェイプエディタ」について

 

3Dモデルのブレンドシェイプ情報（輪郭、口、目、眉毛、鼻）を、

エディタにリンクさせることで、同期してアニメーションするようになります。

 

• WEBCAMは役者の顔のランドマークをキャプチャしていますが、3Dモデルはまだアニメーションしていません：
  これは、FaceTrackerが3Dモデルの各ブレンドシェイプの意味をまだ知らないためです。
• BLENDSHAPES EDITORで手動でバインドする必要があります

 

ブレンドシェイプエディタ画面

① 画面左の領域は、3Dモデルに含まれるブレンドシェイプのリストです。

② 例えば「口を開けたポーズ」を選択する（JawOpen）

③ 画面中央でブレンドシェイプのパラメータがセットアップを行います。

　└ LINKSトグルでブレンドシェイプ値（1つまたは複数）を他のブレンドシェイプにリンクする。

•  LINKSトグルを使用すると、このblendshapeの値を1つ（または複数）の他のblendshapesの値にリンクできます。
   
• グローバルウェイトは、ブレンドシェイプ値に適用される最終的な乗数です。このブレンドシェイプをクランプまたはエグザレートする場合は、この値を微調整できます。
• LERP SPEEDは、ブレンドシェイプが目標値に到達するのに必要な時間に影響します。
• CURVE MAPPINGを使用すると、blendshapeの候補の最終値と実際の最終値の間のマッピングを変更できます。
  
  
• 処理する各ブレンドシェイプは、1つ以上のMETRICSにリンクする必要があります。
• METRICは、顔の特徴の値の一種です。
• [メトリックの追加]ボタンをクリックします。口を開いたポーズを表すブレンドシェイプの場合、「mouth_median_bottom_line_distance_vertical」メトリックを使用できます。これは、中央値と口の一番下の線との間の距離です。

 

 

① ニュートラル状態を記録する

システムは2つの情報を知って最終的なブレンドシェイプ値を生成する必要があります。

 

ここでは「口の開閉」を例に紹介します。

 

1：ニュートラル状態

2：ブレンドシェイプ100。最大の状態（例えば口を最大まで開ける）

 

カメラ前で「口を閉じた状態」と「口を開けた状態」の2つを撮影します。

① アクターがニュートラルポーズ状態で、画面下部の

[ ❶ CAPTURE [BASE VALUE] ( STAY IN A NEUTRAL POSE ) ❶]ボタンをクリックします。

 

補足説明

アクター（役者）がニュートラルポーズをキープしてください。

（例えば口を閉じた状態）

そしてボタンをクリックすると、「BASE VALUE」状態が登録されます。

 

BASE VALUE = ブレンドシェイプ値とMETRIC値が0に等しい値。つまりニュートラル状態を指します。

 

 

② ブレンドシェイプ100、最大の状態を記録する

② 次に、TARGET VALUE（最大値）を登録します。

アクターが口を大きく開いた状態をキープして、

「❷CAPTURE [TARGET VALUE]（MIME THE TARGET POSE）」ボタンをクリックします。

TARGET VALUE = ブレンドシェイプ値が1（Unityの範囲なら100）に等しい値をMETRICが持つ値です。

 

この2つのステップの後、blendshapeパラメーターを使用して、役者の顔の動きに対するblenshapeの応答をテストおよび微調整することができます（上記を参照）。

 

blendshape paramsを調整しても結果がまだ良くない場合は、[RESET RESET❂]ボタンをクリックしてNEUTRALとTARGETポーズを取り直すことができます。

 

③ 最終調整

 

マッピングカーブで微調整

 

スピードの調整

 

実際の目標値に合わせて速度を調整する

 

 

最終調整（全ての値の掛け合わせ）

 

API

 

クラス：FaceTracker（FaceTracker.cs）⇒MonoBehaviour
Polyphemusは標準のAnimationClipsを出力します。これは、タイムラインやPlayablesの使用など、レガシーアニメーションからAnimatorコントローラーまで、さまざまなシナリオで使用できます。また、FaceTrackerクラス内の再生を制御するためのシンプルなAPIが付属しています。

詳細はドキュメントサイトにて

z4g0 - Fabrizio 'z4g0' Zagaglia's Projects, Techs & Graphics

 

 

 

拡張性

 

Polyphemusの2つのコア機能は次のとおりです。

-顔のランドマークポイントをキャプチャします。

-これらのポイントをブレンドシェイプに変換します。
ポイントとブレンドシェイプの値から、いくつかの汎用および/または特定の3Dモデル関連機能を構築できます。

たとえば、これらのブレンドシェイプの値に応じて通常のマップ領域の強度を変更するリンクルマップシステムを実装することができます。
または...口の上部のポイントが鼻の下部のポイントに十分に近いときに何かを起こします。
または...ボタンを押して目を点滅させます...
または...一部のblendshapeロジックまたは制約をハードコーディングします。

または...なぜ、スケルトンベースの3D顔モデルのボーンを駆動するために、ポイントやブレンドシェイプの値を使用します。
この種の機能を追加するには、FaceTrackerAddon（MonoBehaviour）を拡張し、FaceTrackerコンポーネントを含む同じGameObjectにアタッチする必要があります。

 

パッケージbudleには、2つのアドオンの例（FaceTrackerAddonExample.csおよびFaceTrackerWrinkles.cs）が含まれています。これらの例は、動作の仕組みを理解するための出発点として適切です。

引用：z4g0 - Fabrizio 'z4g0' Zagaglia's Projects, Techs & Graphics

 

 

 

2Dに応用可能（将来的にサンプルシーン同梱）

 

Polyphemus 2D test（0:20）

フォーラムにて、パブリッシャーが言及

 

「FaceTrackerAddon」を実装することで、2Dで利用することが可能とのこと。

 

 

FaceTrackerAddonを実装することは可能です：FaceTrackerAddon（簡単なMonoBehaviourです）では、blendhshapesの値と顔のメトリックを読み取り、結果（デフォルトではPolyphemusがカバーしない）を実行できます。
キャプチャした顔の表現に従ってスキンされたクワッド（スキンされたメッシュはまだ必須）上の2Dスプライトを交換する簡単なFaceTrackerAddonを作成して、テストを行いました。

 

次の更新では、バンドルとして例として追加します

 

 

 

 

 

実験的なアイトラッキング v1.0.1

 

Version1.0.1（current）アップデート内容によると、

実験的に眼球のトラッキングシステムが実装されています。

目の動きが加わるとめちゃくちゃリアルになりますね。

 

 

 

FAQ

 

ドキュメント、フォーラムにて

 

スケルトンベースの式をサポートしていますか？

ポリフェムスキャプチャシステムは、ブレンドシェイプに基づいています。とにかく、ポイントおよびメトリックデータから特定のボーンを回転させるFaceCapureAddonを記述することも可能です。

 

外部アプリケーションが必要ですか？

いいえ、Unity内で動作します。

 

目の動きも追跡しますか？

目の動きも追跡しますか？
アイトラッキングはまだ正式にはサポートされていません。例には実験的なアドオンが含まれています。

 

ARKit Remoteの顔キャプチャのように機能する？

Polyphemusは、単一の標準Webカメラを使用します。この制限は、たとえばiPhone Xの「3D」カメラで得られるのと同じ結果を保証することはできません。いくつかの表現をキャプチャできますが、頬の表情のように、取得できないものもあります。このシステム。

 

ブレンドシェイプ名の命名規則に従う必要は？

3Dモデルは、ブレンドシェイプ名の命名規則に従う必要がありますか？
いいえ、それはあなた次第です。また、いくつのブレンドシェイプを実装する必要があるかについてのガイドラインもありません。複雑なモデルの場合、この仕様に従うことができます。

 

キャプチャしたクリップの編集はできますか？

はい。 Polyphemusは標準のAnimationClipsを出力します。そのため、標準のUnityのアニメーションエディターからフレームとカーブを編集できます。

 

私の顔の一部を適切に追跡できないようです。

私の顔の一部を適切に追跡できないようです。
照明条件の要件を確認してください。また、ウェブカメラから50cmで50cm / 1mtに留まるようにしてください。顔は少なくとも80x80の大きな長方形の内側にある必要があるため、低いWebカメラの解像度を設定する場合は、Webカメラに近づける必要があります。たとえ広範囲の顔を認識できたとしても、ある種の顔や外観の一部の特徴を検出するのは困難です。 

 

 

アセット説明（機械翻訳）

Unity 2019.3.0 以降のバージョンが必要

 

顔のモーションキャプチャシステム

-マーカーレス-シングルウェブカメラ-

| ディスカッションスレッド| ドキュメンテーション|

 

要件

●Unity 2018.3+ WINDOWSのみ

 

●Webカメラが接続されたコンピューター*またはWebカメラが統合されたラップトップ。 *良好なキャプチャ品質を得るには、ミッドレンジからハイエンドのコンピューター（つまり、GeForce GTX 1060-第7世代Intel®Core）および平均品質-外部または統合ウェブカメラ（HD / 4Kを必要としない）が推奨されます 解像度;代わりに、30 +フレームレートは、基本的にスムーズなキャプチャの必須要件です。

 

●良好な照明条件：暗い場所や高い照明条件でもキャプチャできる可能性がありますが、自然光の条件をお勧めします。 正面および/または背面の強い光を避けてください。

 

●ブレンドシェイプを介してモーフターゲットを実装する3Dモデル。
注意：この顔キャプチャシステムは、顔のランドマーク検出に基づいています。たとえ広範囲の顔を認識できたとしても、ある種の顔や外観の一部の特徴を検出するのは困難です。

 

 

パブリッシャーのアセット（記録用）

 

 

【Unity価格改定】サブスクリプションまもなく値上げ

 

新規契約者必見！ 値上がる前に契約すればオトク

2019年10月17日Unityブログにて、

Unity Pro / Unity Plusサブスクリプションの価格改定について発表がありました。

来年から値上がります！

 

「オンラインストア」（← 日本語ページ）

Unity Plus Â	月額 Â¥4,200（税抜）	→	Â¥4,400	  200円値上げ
Unity Pro	月額 ¥15,000（税抜）	→	¥16,500	  1500円値上げ

 

海外オンラインストア

Unity Plus：$35 => $40

Unity Pro：$125 => $150

 

Unity Proなら1年間で最大18,000円がお得！

 

 

現在契約されている方は旧価格のまま維持可能

・現在契約中の方：旧価格のまま維持可能。

・新規契約の方：2019年内までに契約すれば旧価格のまま維持することが可能

 

「そろそろUnityで本気出す！」方は年内契約を視野にいれて検討しましょう。

 

Unity Pro 新規契約者特典ただいま開催中！

100ドルのアセットバウチャーが手に入る加入者特典キャンペーン。

※ 本キャンペーンは終了しました。

 

対象期間：2019年9月11日〜 先着順です（まだ間に合う）

対象プラン：Unity Pro with Teams Advanced

キャンペーン応募方法について詳しくはこちら▼

https://create.unity3d.com/jp-pro-seatscaimpaign

 

 

希にUnityサブスクリプション契約者特典が開催

Unity Plusは現在キャンペーンは開催していません。

突然キャンペーンが始まって損をしないように年内ギリギリまで様子見がオススメ！

（記事1 / 記事2）

 

 

※  2020 年1月1日午前8時59分（日本時間）以降の「新規契約」は新価格になります。

詳しくは記事をチェック

 

---

 

 

【毎日更新】アセット割引情報サイト

毎日リアルタイム更新。

「作家セール、無料アセット、新作アセット」お得な最新情報を入手しよう！

 

★「価格推移チャート」の表示方法が変わりました。

  

「グラフアイコン」をクリックしてチャートを表示します。
買い時チェックにぜひご活用ください。

作者セール / 公式 / 無料化アセット / 新作アセット / 日本作家 / 無料新作アセット

※ 土曜・日曜・月曜はアセットストアのお休み。

 

2018年度 イチオシアセット

バーチャルYoutuberシロがご紹介する2018年度のオススメアセット

 

2019年に開催した公式セール一覧

AssetStoreの中の人がピックアップされた厳選アセットです。

プロジェクトに合うツール＆素材を見つけ出そう。

• 12月2日〜 12月14æ—¥ Cyber Week Mega Sale / ラストスパート編
• 11月25æ—¥ BlackFridayセール / ラストスパート編
• 11月11æ—¥ 独身の日セール / ラストスパート編
• 10月21日〜11月2æ—¥ - 新着アセットセール 
• 10月2日〜10月13æ—¥ - 3Dモデルセール（146種類） 50%OFF
• 10月14日〜10月21æ—¥ - レースゲーム向けアセットセール
• 9月25日〜9月27日【日本限定】Unite Tokyo 2019 特別キャンペーン
• 9月9日〜9月23日【学生限定】Back To School バンドルセール
• 7月24日〜7月26日【日本限定】全品10%OFF サマーセール
• 7月22日〜7月29æ—¥ 週間セール
• 6月19日〜7月3æ—¥ まとめ買い特別キャンペーン
• 5月1日〜5月16æ—¥ 令和初のMADNESS SALE

• 4月17日〜「Synty Studios」Unity合同特別アセットキャンペーン

• 3月25日〜3月29日【日本限定】 春の新生活キャンペーン
• 2月11日〜2月22æ—¥ 【日本限定】平成最後の応援セール

 

 

公式セール「開催別」から神アセットを探す

過去大セールで登場したタグです。ぜひご活用下さい。

• MADNESS SALE カテゴリーの記事一覧 - Unity AssetStoreまとめ
• Back to School セール カテゴリーの記事一覧 - Unity AssetStoreまとめ
• Unite 2017 Tokyo記念セール カテゴリーの記事一覧 - Unity AssetStoreまとめ
• Biggest Sale Ever カテゴリーの記事一覧 - Unity AssetStoreまとめ
• Wishlist Sale カテゴリーの記事一覧 - Unity AssetStoreまとめ
• Holiday Sale カテゴリーの記事一覧 - Unity AssetStoreまとめ

※右サイドバーの「月別アーカイブ」や「タグ」からチェックすることもできます。

 

 

アセットの検索方法（便利）

私はここをブックマークしていつも検索しています。

「過去記事検索」（直リンク）から素早く検索画面に行けます。

アセット名、パブリッシャー名など入力してご活用下さい。

 ↑ ブックマークしておくと超便利！オススメ

 

---

 

 

【2018年度】無料化＆無料アセットまとめ

 

【3Dモデル】

【シェーダ・パーティクル・Skybox】

【テクスチャ＆マテリアル】

 

【エディタ&スクリプト 前編】

 

【エディタ&スクリプト 後編】

 

落ち着いた頃に2018年度の無料まとめ記事作ります。

 

【過去ログ】無料アセット

【過去ログ】作者セール＆注目アセット

  

この作品はユニティちゃんライセンス条項の元に提供されています