はてなブックマーク

デモの使い方4つの手順で、好きなキャラクタ画像のアニメーション動画を生成することができます！ キャラクタを選択します。背景を選択します。キャラクタの顔の位置をみほんにならって調整します。『TalkingHead!』ボタンを押します。3番目の位置合わせは、クリックでロードした画像の移動、ホイールか上部のスライダーで拡大縮小を行います。モバイル端末上では、それぞれの操作がスワイプおよび、ピンチイン/ピンチアウトで対応しています。デフォルトで選択できるキャラクタはあらかじめ適切な位置に調整されているため、位置調整は不要です。 10~60秒ほどで、入力したキャラクタ画像のアニメーション動画が生成されます。 解説このデモは、[Khugurn] をもとに実装されました。この技術では、1枚のキャラクタ正面画像をもとに、両目および口の開閉・首の三次元の回転を変化させた結果を得ることができます。デモで生成さ

著者の声を録画・録音して声を変換し元の映像と組み合わせてみた映像です。 このときの変換元の音声は撮影用のスマートフォンで録音しており、部屋の残響が含まれるなど声が少し不鮮明になる収録環境ですが、それでもしっかり声変換できていることがわかると思います。 概要Dwango Media Villageの廣芝です。誰の声でも狙った複数の人の声に変えることができる声変換システムを開発し、実際に声を変えることができるデモページを公開しました。この記事では、声変換技術を研究開発する際に取り組んだ課題について紹介します。 声変換声の変換技術には、リアルタイム性と品質のトレードオフがあります。既存の声変換システムはリアルタイム性を重視する傾向がある一方、品質を重視したものはあまり見かけません。品質を優先した声変換システムがあると応用の幅が広がると思い、研究開発に挑戦しました。 声変換を含む音声合成の品質は、

Dwango Media Villageの古澤です。この記事では、棒人間を描くことで、3Dキャラクタモデルのポーズを指定するデモとその手法について紹介します。よろしければ、まずは下のデモを使ってみてください。ポーズの指定には、手描きスケッチの検索と機械学習を用いた静止画からの3Dポーズ推定の手法が絡んでいます。手法詳細を先に読まれたい方は、先にお進みください。 デモこのデモの公開は終了しました。 3つ表示される候補ポーズのうち、左端のポーズが反映されます。(第2,3候補は表示のみで選択はできません。) デモの操作説明右側のキャンバスに棒人間を描くと、スケッチした棒人間に最も近いポーズをキャラクタがとります。左上に表示されている3枚の棒人間は、左から近いとされたポーズ(棒人間画像)です。その他に、背景を変更するボタンもあるので、その景色になじむポーズの画像を作成できます。 操作UIについて

DeepMindから発表された画像から描き方を生成する強化学習システム「SPIRAL」[1]をChainerRLを用いて実装した． 実装はGitHubレポジトリで公開している． SPIRALとは SPIRALは絵の画像から描き方を生成するためのシステムである． 画像生成といえばDeep Convolutional Generative Adversarial Network(DCGAN [2])が主な手法だが，DCGANはラスター画像を生成するのに対して，SPIRALは時系列の描画行動，つまりベクター形式で画像を生成することができる． ベクター形式の画像はラスター形式とは異なり特定の線を取り除くといった編集を簡単に行うことができる． ベクター画像を生成するモデルとしてはSketch-rnn [3]があるが，このモデルは学習に描画過程，つまりベクター形式のデータが大量に必要になる． これらに

半荘をとおしてNAGAが出力した打牌時の確信度(後述)をプロットした結果のグラフです。 グラフのポイントを選択するとその際の局面が表示され、打牌の分布とその理由などの情報を確認できます。ぜひ試してみてください。 なお、終局時の確信度は0になっています。 概要DMVでは麻雀AIの作成に取り組み、麻雀の高段位者の牌譜から、打牌の選択、副露の選択などを深層学習することで麻雀AI NAGA(Neural Architectural Game Agent, Twitterアカウント)を作成しました。 そして、オンライン対戦麻雀天鳳において最高八段を達成しました。本稿では、深層学習により強い麻雀AIを作成するために行ってきた取り組みについて紹介いたします。 麻雀麻雀は相手の手牌が見えず（不完全情報）、次にどの牌を引くのかわからない（不確定）という難しさのあるゲームです。 プレイヤーが4人のため次の自分

Dwango Media Villageの孝橋です。 昨年DMVでは競馬予測AI「Mamba」を開発し、2回の競馬予測AIプロジェクトを実施しました。 1つ目は2018年3月から6月まで、ニコニコ生放送で「人工知能募金」という公式番組を放送し実際に馬券を購入しました。 ユーザーから動物愛護団体への募金を集め、それと同額をドワンゴが用意して競馬で運用し、その利益も募金するという内容でした。 本運用の3ヶ月間で回収率135%、テスト期間を含めた4ヶ月間でも回収率100%を超える好成績を納めました。 競馬予測AIプロジェクト「人工知能募金 -あなたの募金を増やします-」結果発表 競馬予測AI「Mamba」の本運用期間の回収率は135.13% 寄付総額は倍増の107万4090円 2つ目は2018年10月から12月まで「Mamba 2nd Season」という、ユーザーの買い目をMambaが評価する

著者（20代男性）による読み上げ音声データです。自由に使えるデータセットが少なく、私自身困ったため、自分の音声を収録して自由に使えるようにしました。読み上げ文は 声優統計コーパス と同一です。利用場所は特に制限を設けておりませんので、ぜひご活用ください。 概要Dwango Media Villageの廣芝です。DeepLearningを用いた声質変換の研究を行い、ある程度の成果 が出たため、音楽シンポジウム2018にてポスター発表 しました。せっかくなので、これまでに得た声質変換に関する知識を整理して記事を書いてみました。 最初に音声の仕組みと、声質変換で用いる音響特徴量について解説します。続いて一般的な統計的声質変換の手法に触れたあと、この手法との差分に着目して最近の声質変換手法を解説します。 声質変換のアプローチ 音声には、音の高さや音色といった音響的な特徴と、音素列や単語といった言語

研究開発部署 Dwango Media Village部の佐々木です。 Dwango Media Villageは８月に行われた「第21回 画像の認識・理解シンポジウム」 MIRU2018 で2日間企業展示を行いました。 MIRU2018は国内のComputer Vision研究者たちの学術交流のためのシンポジウムです。 会期と並行して 若手の会プログラム という企画も開催されていました。 このプログラムは学生・ポスドク・社会人を問わず若手の研究者たちの交流の場でした。 この記事ではシンポジウムの内容に加えて若手企画の様子も紹介したいと思います。 Dwango Media VillageはMIRU2018企業ブースでポスターとデモ展示を行いました。 ポスターでは 漫画ページの自動着色 、線画からの法線マップ推定、 画像特徴量などの大量かつ多次元ベクトルの高速クラスタリング などのCompu

仮想の未知の生物でも，我々はその形状から自然な動きを想像することができる．この研究では，そのような，未知の形状の生物に対して自然な動きを与える手法を提案します．自然な動きを，効率の良い動きと考え，なるべく短時間で目的(報酬)を最大化する動きを深層強化学習で得ます． 近年このような深層強化学習による運動生成はいくつか研究が行われています．本研究では特に，スマートフォンなどのモバイル環境で実行可能な，運動生成のための深層強化学習手法を提案します． ここで報酬とは，たとえば未来に渡っての餌の獲得量など.その報酬を最大化するための出力は，それぞれの生命のすべての関節の，毎フレームでの角度となります．しかし，未来に渡っての報酬を予測して最大化すること，すべての関節をすべてのフレームについて決めること，は非常に難しい問題であるため，限られた計算資源でこの問題を解くために我々は問題を2つに分割したシステ

Dwango Media Villageでは、機械学習技術を中心に、コンピュータビジョン、 コンピュータグラフィックス、音声処理やゲームAI等の研究開発とサービス応用を行っています。