ASOBINOTES ONLINE FEST 2nd(以下、AOF2)の開催が、2020年12月18日(金)に発表されました。第1回のASOBINOTES ONLINE FES(以下、AOF。2020年6月28日(日)開催)と同様、今回も完全オンライン配信で、2020年12月31日(木)〜2021年1月1日(金)にかけての年越しイベントとなります。なお、開場は12月28日(月)19:00、開演は12月31日(木)21:00[予定]とのことです。

TEXT_田端秀輝 / Hideki Tabata(@hitabataba
EDIT_尾形美幸 / Miyuki Ogata(CGWORLD)
PHOTO_弘田 充 / Mitsuru Hirota

ASOBINOTES ONLINE FES(AOF)のおさらい

「変わる世界、変わらない熱狂」をテーマに掲げたAOFでは、「CHARACTER」「GAME」「VIRTUAL」「AKIBA POP」からなる4ジャンルの名を冠した4つのDJフロアにて、総勢30名以上のアーティストがDJプレイを披露。その模様がライブ配信されました。各アーティストが届ける楽曲タイトルが次々とリアルタイムでSNSトレンドに上がり、数千、数万のコメントとなってインターネット上をながれていく様子はまさに圧巻の体験でした。

▲ASOBINOTES PV


AOF2も多彩なアーティストの競演が発表されており、その中には「ミライ小町 × 大久保博」と「電音部プロジェクト」の名前もあります。この2つは、AOFの中で特に筆者が注目したトピックでした。AOF2ではどんな進化を見せてくれるのか、期待が高まるばかりです。これらのトピックを掘り下げるべく、大久保博氏(BanaDIVE™ AX開発者)と子川拓哉氏(『電音部』統括プロデューサー)へのインタビューを行いました(※)。本記事では、その模様を前後篇に分けてお届けします。AOF2の直前予習に役立てていただけると幸いです。

※ 本記事は、2020年7月10日に実施したインタビュー、および2020年12月28日までに発表された情報を基に制作しています。


以降の前篇では、DJプレイに加え、フロア体験全体も楽曲で制御(ミュージックドリブン)できるBanaDIVE™ AX(ゲームAIとxR技術を活用したインタラクティブ・バーチャルキャラクター・パフォーマンスシステム)の設計思想と、それを生み出す土壌となった大久保氏の開発者キャリアを紐解いていきます。

BanaDIVE™ AX開発のきっかけ。なぜにミライ小町がDJになったのか

田端秀輝(以下、田端):どういうきっかけで、BanaDIVE™ AXを開発することになったのでしょうか? それでもって、ミライ小町ちゃんがDJをすることになった経緯と合わせてお聞かせください。

大久保博氏(以下、大久保):ミライ小町のDJパフォーマンスは、バンダイナムコエンターテインメントフェスティバル(2019年10月19日〜20日開催。以下、バンナムフェス)の場外イベントが最初でした。

子川拓哉氏(以下、子川):東京ドームで開催したバンナムフェスと合わせて、隣にあるラクーアでも場外イベントをやることになったのです。ただのステージでは面白くない、ということで「ミライ小町がDJをする」という企画が起ち上がりました。

▲左から、子川拓哉氏(バンダイナムコエンターテインメント)、大久保博氏(バンダイナムコ研究所


大久保:バンナムフェスのライブには、『アイドルマスター』シリーズ、『ラブライブ!』シリーズなど、バンダイナムコグループの多彩なタイトルのアイドルやアーティストが出演したのですが、ゲームサウンドの要素はあまりなかったのです。

田端:そうなんですよ! バンダイナムコグループなのに、なんでゲームサウンドの影が薄いんだと思っていました!

大久保:ASOBINOTES(※)チームと相談する中で、「音で遊ぶステージにできると面白いよね」「ゲーム音楽の要素もフィーチャーしたいね」といったアイデアが膨らみ「DJ形式でゲーム音楽を聞いてもらう」という企画になりました。イベント期間中、ミライ小町はアソビストアの期間限定店長を務めることになっていたので、DJプレイもやってもらうことにしました。

  • ※ASOBINOTES:バンダイナムコエンターテインメントのサウンドエンターテインメント事業が展開するコンテンツのレーベル。所属アーティストとして、バンダイナムコスタジオ(以下、BNS)のサウンドチームメンバー(バナスタサウンズ)のほか、大久保氏やミライ小町も名を連ねる。

田端:ボーカロイド、表情コミュニケーター、DJなど、ミライ小町ちゃんの仕事の振れ幅は驚くほど広いですね。

▲CEATEC 2019で発表された、ミライ小町をベースにした表情コミュニケーターの紹介動画。詳細は以下記事参照
人の情感を動かすロボット開発とエンターテインメントの力〜バンダイナムコ研究所「表情コミュニケーター」インタビュー


大久保:ミライ小町(※)は「技術研究と創作活動のためのキャラクター」として開発されたという経緯があり、現在はバンダイナムコ研究所(以下、BNKEN)に所属しているので、僕らの裁量で仕事を選べるキャラクターなのです。BNKENメンバーが大好きなキャラクターということもあり「より多くの人に知ってもらえるチャンス」だと考えました。

※ミライ小町:BNKENやBNSによる技術研究と創作活動の紹介を担当する未来型アイドル。自身のオリジナル楽曲に加え、3Dモデルデータや、ボーカロイド向けのボイスバンクなどの素材も公開しており、個人向けの技術研究と創作活動の応援もしている。詳細はこちらを参照。


子川:なぜDJかというと、僕が以前担当していたアニON STATIONというキャラクターコラボカフェで、DJイベントを何度も開催していたのです。

大久保:バンナムフェスではBanaCAST(※)でミライ小町の様々な動きのパターンを事前収録し、僕がAfter Effectsで背景と合成したり、Premiereで楽曲に合わせて編集したりして、30分のDJ動画をつくりました。

※BanaCAST:BNSが開発した、最新のモーションキャプチャ技術と高品質なリアルタイムCGキャラクターを活用したインタラクティブなライブコンテンツ提供サービス。詳細はこちらを参照。


▲バンナムフェス(2019年10月19日〜20日 開催)の場外イベントで披露されたミライ小町のDJプレイ


田端:大久保さんはBNKENのイノベーション戦略本部の本部長ですよね? 動画の合成やら編集やらを、ご自分でなさったんですか(笑)。

子川:そういうことが多々あるんですよ。なんで大久保がやってくれるんだろうって(笑)。

大久保:好きだからかな(笑)。そのミライ小町のDJプレイを僕の上司の堤(堤康一郎氏/BNKEN 執行役員・イノベーション戦略担当)が見て、「これをAI化してSXSW(サウス・バイ・サウスウエスト)に出展しましょう」という提案をしてきました。その企画が本格化したのが2019年11月中旬で、SXSWの開催は約3ヶ月後に迫っていましたが、急遽BanaDIVE™ AXの開発をスタートし、現地でのライブができる段階まで進んでいました。しかしCOVID-19の感染拡大を受けて3月上旬にSXSW自体の開催中止が発表され、われわれも出展を断念し、お披露目の機会を新たに探ることになったわけです。

※South by Southwest(SXSW):毎年3月にアメリカ・テキサス州オースティンで開催される映画・音楽・インタラクティブに関する世界最大規模のエンターテインメントフェス。2020年は3月13日〜22日に開催予定で、BNKENはSXSW Gaming ExpoのPresenting Sponsorとして参加することになっていたが、COVID-19の影響で開催中止となった。詳細はこちらを参照。


子川:当初の予定では、BanaDIVE™ AXの実証実験をSXSWで行い、2020年6月に開催を予定していたASOBINOTES FESで、国内初のお披露目をすることになっていました。ところがASOBINOTES FESもリアルイベントとしての開催は断念することになり、完全オンライン配信での開催に切り替わりました。そしてBanaDIVE™ AXによるミライ小町のDJプレイのお披露目も、そこで行うことになったわけです。

▲AOF(2020年6月28日 開催)で披露されたミライ小町のDJプレイ。ミライ小町は、BNSのサウンドチーム(バナスタサウンズ)に混じって、GAMEフロアでDJプレイを披露した。オーディエンスがオンライン投票で次の楽曲を選べる仕掛けや、PC画面にスマホをかざすとARエフェクトが飛び出す演出まで登場し、近未来のライブを体験しているかのような興奮を味わえるパフォーマンスだった



©BANDAI NAMCO Entertainment Inc./©BANDAI NAMCO Research Inc.

次ページ:
ミライ小町のDJプレイ。あのセットリストになった経緯を知りたい

[[SplitPage]]

ミライ小町のDJプレイ。あのセットリストになった経緯を知りたい

田端:ミライ小町ちゃんのDJプレイは、彼女の持ち歌「Future Melody - 心から未来へ -」から始まり、『リッジレーサー』シリーズの曲で攻め続け、『アイドルマスター』シリーズも入り、『太鼓の達人』シリーズの「さいたま2000」で終わりました。このセットリスト(※)になった経緯を教えてください。

※当日のセットリストはこちらを参照。



子川:セットリストは、僕のリクエストも入れながら、大久保につくってもらいました。

大久保:1曲目は、ミライ小町のDJプレイなので、彼女の曲を選びました。その後の『リッジレーサー』シリーズは、僕がシリーズの楽曲をほぼ全部知っているので、選びやすかったという背景があります。これまでにも何度か『リッジレーサー』シリーズのDJイベントを開催しており、お客様にも喜んでいただけたので、今回のGAMEフロアのオーディエンスなら喜んでくれるだろうという思いもありました。『アイドルマスター』シリーズも、GAMEフロアのオーディエンスとの相性が良いだろうと思ったので入れました。

田端:期待以上の内容でした。ただ、オーディエンスがオンライン投票で次の楽曲を選ぶところは、どちらも「選べない!」と言いたくなる選択肢で歯ぎしりしました(笑)。

大久保:(笑)。1回目の選択肢は「EUPHORIA(RR 20th Anniv. Mix)」と「Drive U 2 dancing (AJURIKA Remix)」で、後者が選ばれましたね。2曲とも佐宗綾子さん作曲の『リッジレーサー』シリーズの人気曲のリミックスで、「これは選べないだろうな」と自分でも思いました。


田端:2回目は『アイドルマスター』シリーズの「スタ→トスタ→ -AJURIKA Remix-」(作曲:大久保氏)と「キラメキラリ -おおくぼひろし Remix-」(作曲:神前暁氏)で、後者が選ばれたわけですが、私は選択肢を前に悩んでしまい、気が付けば投票時間が終わっていました。

子川:2曲とも大久保が関わっている曲なんですよね(笑)。

大久保:どちらの選択肢も「どっちにしよう......」と悩んでほしかったので、上手くはまってもらえましたね(笑)。投票の総数は数万件に上りました。配信プラットフォームのTwitchからは1回しか投票できないしくみでしたが、スマホARからは連打投票できたので、楽曲を聞きながらスマホ画面を連打してくれたオーディエンスもいたのだろうと思います。

▲PC画面にスマホをかざすとARエフェクトが飛び出す演出。オンライン投票も、同じスマホからできるしくみになっていた

田端:フロアで体を揺らすのと同じ感覚で楽しめそうで、面白いですね。最後の楽曲が「さいたま2000」(作曲:LindaAI-CUE氏)だったのは、どういう理由からですか?

子川:僕の一番好きなゲームミュージックなので、「入れてください」とリクエストしました。かなり盛り上がったので嬉しかったです。

大久保:バンナムフェスのミライ小町のDJプレイでも、セットリストは僕がつくっており、『太鼓の達人』シリーズの楽曲は盛り上がりましたから。AOFで「さいたま2000」の直前にかけた「Rotterdam Nation Remix」(作曲:細江慎治氏/『リッジレーサー』シリーズ)とも綺麗につながり、良い終わり方になりました。

田端:すごく綺麗につながっていて、曲が変わっていることに最初は気付きませんでした。


大久保:ミライ小町の可愛いキャラクターと、セットリストの間にギャップがあって「可愛いのに治安の悪いDJ」というようなコメントをオーディエンスからいただきました(笑)。実は「アニソンなども織り交ぜようかな」とも考えたのですが、「GAMEフロアでのDJプレイなんだから、ゲームミュージックでいこう」と考え直しました。僕がゲームミュージックのイベントでDJをやる場合に近い選曲になっていると思います。

子川:今回の目的はBanaDIVE™ AXの実証実験でしたが、DJプレイ自体にもこだわり抜いてもらえて、すごくありがたかったです。「ミライ小町のDJプレイが良かった」といったコメントもいただきました。

田端:ミライ小町ちゃんのDJプレイが終わった後、大久保さん自身もDJプレイをなさいましたね。両者のステージを見て、私は「DJのミライ小町ちゃんは、大久保さんの娘のようだな」と思いました。選曲に加え、愛情がこもっているという点でも娘のようだなと。

▲AOFのGAMEフロアでDJプレイをする大久保氏。2020年12月31日(木)〜2021年1月1日(金)開催のAOF2では、ミライ小町と大久保氏の共演も発表されている。今回も楽曲のオンライン投票、AR視聴などが体験できるのに加え、ミライ小町と大久保氏が交代で曲をかけるBack to Back(B2B)のDJプレイまで楽しめるとのこと。詳細は公式サイトを参照


子川:大久保の人格がインプットされているとも言えるわけで、面白いですね。

大久保:ミライ小町のモーションアクターさんのディレクションも僕が担当しているので、いろんなところに僕のこだわりが反映されているとは思います(笑)。

広すぎる守備範囲があったから、BanaDIVE™ AXができた

田端:BanaDIVE™ AXというネーミングには、どんな意味が込められているのでしょうか?

大久保:BNKENでは、デジタルとリアルを結びつける様々な研究をしており、これらを総称してBanaDIVE™(BandaiNamco Deep Immersive Visual Enhancement)と呼んでいます。例えばCEATEC2019では、サンライズと共同で『機動戦士ガンダム THE ORIGIN -RISING-』のCGのガンタンクと、実写の丸の内のオフィス街を合成したVR映像を展示しました(※)。AIにDJをさせるシステムも、将来的にはxRの研究と結び付いてくると思ったので、AIの「A」と、xRの「X」を付けて、BanaDIVE™ AXと名付けたのです。

※展示の詳細はこちらを参照。


田端BanaDIVE™ AXのプレスリリースでは「開発 :バンダイナムコ研究所、開発協力:スマイルブーム」とクレジットされています。開発体制についても教えてください。

大久保:本システムを実現するのに必要なピースは複数あって、その中には楽曲のアナライズ(解析)や、DJプレイのアニメーションのプログラムもありました。楽曲のテンポ(BPM)、ビート(拍子)、サビ(盛り上がり)などのアナライズには、CRIミドルウェアさんのBEATWIZというミドルウェアを活用させていただきました。プログラム全体の開発は、スマイルブームさんに協力をお願いすることになりました。僕の方で設計した仕様に沿って、楽曲のアナライズ結果を基に、アニメーションやステージ演出などを遷移させるプログラムを組んでもらっています。

企画が起ち上がった当初から、僕の頭の中では、BanaDIVE™ AXをつくるのに必要なピースが揃っていました。僕は、サウンドに加え、モーションキャプチャやアニメーションのチームのマネジメントも担当してきたので、各チームの技術をどのように組み合わせれば目的を達成できるか、早い段階から見通しが立っていたわけです。

田端:私はずっと大久保さんのことをサウンドの専門家だと思っていたのですが、アニメーションにも精通しているということですか!?

大久保:はい。サウンドクリエイターとしてナムコに入社して、ずっとサウンドチーム所属でサウンド開発を担当してきましたが、CGや映像にも興味をもっており、たまにお手伝いをしていました。そういう背景もあったからか、組織変更の中で、モーションキャプチャチームや、アニメーションチーム、映像チームなどのマネジメントなども担当してきた感じです。

田端:守備範囲が広すぎますね。

大久保:ドット絵の時代からサウンドも絵も大好きだったので、良い経験をさせてもらいました。かつてNIFTY-ServeのMac関連のフォーラムにオリジナルアイコンを投稿しまくっていたことが契機となり、様々なメディアにフリーウェアとして掲載されたりしていました。それがきっかけで、『リッジレーサー』シリーズや、『エースコンバット』シリーズ、『ミスタードリラー』シリーズなどでは、サウンドチームの所属なのに、アイコンやドット絵の作成を手伝っていました。だからビジュアルアート担当として僕の名前がクレジットされているタイトルもありますね。3DCGに関しても、トーヨーリンクスさんがメタボールでTVCMなどをつくっていた時代から追いかけていたので、仕事の範囲が広がることに対する違和感はなかったです。

現在BNSでモーションキャプチャチームのマネジメントをしている大曽根淳は、僕と同時期に入社しており、新入社員研修でも同じ班だったのです。僕はCGに興味があったので、彼がCG開発部に所属していたときから、いろんな話を聞かせてもらっていました。彼がモーションキャプチャチームをまとめるようになってからは、モーションキャプチャの話も聞かせてもらっていたので、そのあたりの知識は活かせたんじゃないかと思います。

田端:そういうキャリアがあったから、BanaDIVE™ AXをつくろうという発想が生まれたのでしょうか?

大久保:キャリアがあったからというよりは、これまでの経験と知見があったから、形にできたということだと思います。自分にDJの経験があったから、キャラクターに上手くDJをしてもらうためのAIのロジックを考えることができました。ゲームサウンドの知見があったから、楽曲をプログラムで制御するインタラクティブミュージックの手法を応用できました。CGアニメーションの知見があったから、アニメーションのツリーを組むことができたし、そのためにはモーションキャプチャでどんな素材を収録すればいいかも自ずと想像できました。

自分の知見と経験を全部つなげてみたら、必要なピースが揃ったわけです。加えて、BNKENとBNSには各分野のエキスパートが所属しているので、自分のつくった仕様を見せて、「これで問題ない?」と確認し、アドバイスをもらいました。DJ、AI、サウンド、CGアニメーションなどのエキスパートをバラバラに集めたプロジェクトだったなら、そう簡単にはかたちにならなかったかもしれません。



©BANDAI NAMCO Entertainment Inc./©BANDAI NAMCO Research Inc.

次ページ:
DJプレイに加え、フロア体験全体がミュージックドリブンだった

[[SplitPage]]

DJプレイに加え、フロア体験全体がミュージックドリブンだった

田端:AOFでのミライ小町ちゃんのDJプレイ時間は20分くらいでしたが、どういう事前準備をすると、あのようなパフォーマンスができるのでしょうか?

▲AOFにおける、ミライ小町のDJプレイの現場システム。メインマシンとバックアップマシンの2台体制がとられた。CEDEC2020のセッション「ゲーム開発技術が生み出す新しいライブ体験(DJミライ小町の開発事例)」の発表資料より抜粋

大久保:BanaDIVE™ AXでは、事前にアナライズを済ませた楽曲データを基にDJプレイを実行しています。さらに、キャラクターの動き、ステージ照明、VJ映像、AR映像なども、同じデータで制御しています。つまり、DJプレイはもちろん、フロア体験全体が楽曲データによって制御(ミュージックドリブン)されるわけです。今どきのDJの多くは、DJソフトを使って楽曲データを事前にアナライズしておき、それを保存したUSBメモリを持ってブースに入ります。代表的なDJソフトとしては、rekordbox(Pioneer DJ)、TRAKTOR(Native Instruments)などが挙げられます。iPhoneにも、WEDJ FOR IPHONE(Pioneer DJ)というアプリがあります。iTunesで購入した楽曲データをこのアプリに読み込むと、アナライズできるのです。

例えばWEDJ FOR IPHONEの場合は、つなぎたい2曲を再生しながらSYNCボタンを押すと、片方の楽曲のテンポにもう片方の楽曲のテンポを合わせてくれるので、タイミングを測りながらクロスフェーダーを操作すればつなげられます。経験のあるDJはSYNCボタンに頼らず、自分の耳を頼りに2曲のテンポを合わせてつなげます。技術に頼らず、両方の楽曲を耳で聞きながら調整する方がカッコ良いですから(笑)。でもAIの場合は、そういう技術を活用すればいいのです。

田端:つまり、今どきのDJと同様、BanaDIVE™ AXの場合も事前に楽曲をアナライズしており、それはDJソフトやBEATWIZなどのミドルウェアで自動化できるということですね。

大久保:はい。ただし全て自動化できるかというと、まだまだ研究の余地があると思っています。例えばクラブミュージックは構成がわかりやすいものが多いので、比較的アナライズが容易です。それに対して、アニソンやゲームミュージックはジャンルが様々で、構成もすごく複雑になりがちなので、完璧なアナライズは難しいです。実際のところ、DJソフトを使っているDJの多くが、アナライズした楽曲データだけを頼りにDJプレイをしているわけではありません。曲をつなぐ部分を事前に確認し、手動でマーカーを設定しているのです。ミライ小町がDJプレイをしたときも、楽曲のアナライズに加え、僕の方でマーカーを設定しておきました。

田端:ミライ小町ちゃんのDJプレイは、機械的な楽曲データのアナライズと、大久保さんの個性を反映したマーカーが基になっていたわけですね。ということは、子川さんがマーカーを設定したら、ちがうDJプレイになるのでしょうか?

大久保:そうなります。丁寧にマーカーを設定するほど、ミライ小町のDJプレイは美しくなります。人間がDJをする場合も同様です。上手くないDJほど、事前準備を丁寧にやった方がいいです。

田端:曲同士をつなぐAIのロジックについても教えていただけますか?

大久保:ディープラーニング(深層学習)に代表されるようなレベルのAIではなく、ステートマシンと呼ばれるゲームAIの技術を応用しています。例えば『パックマン』のゲームAIの場合は、パックマンのステート(状況)を監視し、「パックマンがある座標にいるとき」、ピンクのモンスターは「その3個先の座標を目指し、先回りするように動く」というようなif文を書くことで、モンスターの動きを制御しています。BanaDIVE™ AXの場合は、アナライズされたデータとマーカーを基に楽曲のステートを判断し、キャラクターのDJプレイ、動き、ステージ照明などを制御しているわけです。

田端:例えばオーディエンスのノリが良い場合に「当初の予定より長くかけよう」といった判断をすることは、BanaDIVE™ AXのゲームAIにも可能なのでしょうか?

大久保:AOFではやっていません。「短くつなぐ」「長くつなぐ」といった指示を人間が出すことは現段階でもできますが、オーディエンスの反応を基にAIが判断することはできません。オーディエンスの反応でもって制御したのはオンライン投票のところだけです。例えば、慶應義塾大学 湘南藤沢キャンパス(SFC)の徳井直生先生らはオーディエンスの人数や動きを基に、次にかける曲をAIが選ぶ研究(※)をしており、そこでは機械学習が用いられていますね。こういった選曲の研究ともいつか合流できたらなと考えています。合わせて「どうプレイするか」に関する研究も次の段階で取り組むことになるんだろうと思っています。

※Multi-Motion Crossfader: Human Tracking DJ Mix System by Crowd Reading(Yuga Kobayashi, Ryo Nishikado)。研究の詳細はこちらを参照。


僕たちはエンターテインメントの会社の人間ですから、現場のゲームAIのロジックを使い、キャラクターが自らの意思でDJプレイをしているかのようなステージを実現し、そこにオンライン投票などを通じてオーディエンスも参加できるようにすることで「AIに踊らされる未来」を体験していただくことを目指しました。技術者の目線で見るだけなら、技術の研究に特化すればいいのですが、技術にミライ小町というキャラクターの姿を与えることで、「楽しい」という感情がオーディエンスに伝わりますよね。BanaDIVE™ AXによるミライ小町のDJプレイは、技術によって人の感情を揺さぶり、楽しくさせる、エンターテインメント体験を創造するための実証実験でもあったと思っています。

田端:先ほど「DJプレイはもちろん、フロア体験全体がミュージックドリブン」とおっしゃいましたが、例えばミライ小町ちゃんが両腕を上げてクラップするアニメーションであれば、アナライズされた楽曲データとマーカーを基に、どこでクラップするかをAIが判断しているということでしょうか?


大久保:そうです。例えばアナライズの結果が「アップ」であれば、「アップ」のカテゴリの中にあるアニメーションの中からランダムに割り当てる仕様になっています。その上で「ここは、キメの動きがほしいよね」というところは人間が指示を出せるようになっています。DJ機材の操作アニメーションはDJプレイの制御に同期しており、フェーダーを上げ下げするときは、ミライ小町もフェーダーを手で上げ下げするアニメーションを行います。次の曲に移るときは、ちゃんと選曲ツマミを触ります。フェーダーやツマミを操作する動きは、それぞれの座標と指先の座標を合わせ、各関節の角度はIKで自動的に計算しているので、モーションキャプチャによるものではありません。一連のアニメーションのブレンドは、スマイルブームのビジュアル担当の方や、BNSのアニメーターと相談しながら調整しました。まだまだ改良の余地はありますが、人間に近い動きをしていると思います。


田端:そして、ステージ照明、VJ映像、AR映像なども、徹底的にミュージックドリブンなわけですね?

大久保:はい。スピーカーの動きや、カメラの切り替わるタイミングも、4小節、8小節といったカウントに合わせて制御しています。

田端:AOFでは曲に合わせてカットが切り替わったので、リアルなライブハウスでは見られない画を楽しめました。見慣れない画のはずなのに、不思議と引き込まれる体験でしたね。

大久保:SXSWのステージでは、正面・右側・左側にある3つの画面でちがう映像をながす予定でした。AOFではひとつの画面しか表示できなかったので、配信映像向けにカメラを切り替える仕様に変更したのです。AR映像もSXSWの段階から計画しており、正面の画面にスマホをかざすと、会場内を乱舞するエフェクトを楽しめる演出にする予定でした。VJ映像は、ResolumeというVJソフトをメインプログラムから制御しています。僕はVJもやっていまして、自分が使い慣れており、かつ一般的でもあるVJソフトをBanaDIVE™ AXでも活用している感じです。

田端:多芸すぎます(笑)。

大久保:BanaDIVE™ AXでは、DJやVJの方々が普段使っているデータや演出素材をそのまま使用できるようにしています。エンジニアが全てを担うのではなく、楽曲の編成はDJがやればいいし、映像の制作や構成はVJがやればいいと思うのです。その道のプロにやってもらった方が、絶対に良いステージになります。ですから、DJやVJの方々が普段と同じように使えるしくみの構築を目指しているのです。


田端:BanaDIVE™ AXは、ミライ小町ちゃん以外のキャラクターモデルにも適用できるのでしょうか?

大久保:現時点では、モデルによってはIKの部分などで不具合が出るかもしれませんが、将来的にはできるだけ簡単にモデルを入れ替えられるようにしたいと思っています。今はまだ発展途中なので、ASOBINOTESチームとも相談しながら仕様の検討を続けています。子川とも、会うたびに「こんなことをやりたい」「あそこは改良したい」といった構想を話し合っています。

子川:このインタビューの直前にも、そんな話をしていました。BNKENの生み出した技術でもってキャラクターによるDJプレイを盛り上げ、その熱量をオーディエンスと共有できるイベントをプロデュースすることが、僕の役割だと思っています。

大久保:期待しています。



前篇は以上です。後篇では『電音部』プロジェクトとDJイベントのオンライン化について伺っていきます。ぜひお付き合いください。
ミライ小町のDJプレイを可能にしたBanaDIVE™ AXについて、開発者の大久保氏と『電音部』の子川Pに聞いてみた(後篇)

©BANDAI NAMCO Entertainment Inc./©BANDAI NAMCO Research Inc.