【背景】

　デジタル技術の発達に伴い、ストリーミングサービスや動画配信サービスなど音楽の楽しみ方が多様化しています。阪神コンテンツリンクは、日本でビルボード・ブランドのマスター・ライセンスを持ち、この多様化した音楽市場の実態を多角的に捉えた「ストリーミング」や「ダウンロード」、「CDセールス」など8種類の指標を組み合わせた総合楽曲チャート「Billboard JAPAN HOT100」を構成する多様なデータを保有しています。一方、ＮＴＴデータグループでは、脳情報通信技術「NeuroAI」の研究・事業開発に取り組み、動画広告の分野では、広告効果の予測が既存の機械学習に優越することを示すなどの成果を上げています²。

　そこで、3社は音楽に対する人間の反応を科学的に把握するために「楽曲チャートデータ」と「脳情報通信技術」を融合させる共同研究開発プロジェクトを2019年9月から行いました。

【共同研究について】

■目的

①楽曲を聴いている際の脳活動の推定による特徴の抽出と可視化

②楽曲特徴（脳情報・歌詞・コード進行）とチャートデータによる楽曲トレンドの定量把握とトレンド予測

■対象楽曲・チャートデータ

①楽曲データ：2185曲（2016/12-2020/5の8種類のチャートで100位以内にランクインした楽曲）

②Billboard Japan Hot 100の週次チャートデータ：2047曲（2016/12/5週-2020/7/26週まで）

■方法

• NeuroAIで楽曲の音声から1秒ごとの脳活動を予測。また、音声の周波数を解析し、楽曲の特徴を抽出。
• 歌詞情報、コード進行情報、アーティストの過去チャート情報を定量化し、独自アルゴリズムを構築。

■研究成果

①楽曲の脳情報化による新たな特徴の獲得

　NeuroAIは、映像・音声から人間の脳活動を推定する技術です。今回NeuroAIを音楽に適用することにより、音楽ジャンルの情報や音声信号処理によらない新たな「楽曲特徴」を定量化しました。

　また、脳情報に含まれる、人間が感じる音楽への潜在的かつ言語化不可能な反応を利用することで、楽曲トレンドを反映したCMタイアップソングの提案や、「今までは聴かなかったようなジャンルから好きになれる楽曲との出会いを提供する」など新たなアプローチによるプレイリストの作成提案(図1)などが期待されます。

• Playlistはこちら
• Playlistはこちら
• Playlistはこちら

②ヒットソングの特徴（脳情報・音質特徴・歌詞・コード進行）の可視化

　週単位の楽曲トレンドを定量的に把握するため、楽曲特徴（脳情報・歌詞特徴・コード進行特徴）およびアーティストの前週のチャートデータから、チャートポイントを説明する「チャートモデル」を構築しました。過去のチャート情報を加味しているため、アーティスト知名度等の影響をある程度差し引いたうえで、どのような楽曲特徴が支持されているのかを把握できることが期待されます。

　例として、Billboard JAPAN HOT 100の2020年上半期チャートを対象とし、実際のランキングと「楽曲特徴のみ」のモデルで再構築したランキングを比較しました（図2）。

　再構築したランキングでは、Official髭男dism、LiSA、菅田将暉などに加え、wacci、ヨルシカ、iriといった次世代アーティストたちもランクインする、新旧の楽曲が混交するランキングとなっており、楽曲特徴によるトレンドを把握する可能性が見出されました。

③未来の音楽トレンド予測

　週単位で、どのような楽曲特徴（含・前週のチャートデータ）を持つ曲が上位にランクインするかを定量的に表したこのモデルの時系列変化を「トレンドの変化」と捉え、過去の変化パターンから未来にどんな楽曲特徴が支持されるのかを予測することを試みました。

　実際のチャートデータだけではなく、「急に聴かれるようになった」楽曲について指標化したデータ（急上昇トレンド指標）を対象に新たなチャートモデルをつくり、時系列変化を予測しました。すると、全データの90％を利用し（2016/12/5-2020/3/16）その変化パターンを学習させましたが、2020/3/23以降の未学習に仮設定したデータにおいても予測精度が維持できていました（図３）。今回対象としたデータの中では最新の2020/7/26週のチャートデータに関しても、YOASOBI、ヨルシカ、Rin音、Novelbrightなどによる楽曲の順位上昇を予測することができました。

拡大

【今後について】

　今後、研究成果に基づき、レコード会社、音楽出版社、マネジメント、広告代理店などに向けた、新たなサービスのトライアル提供を開始します。

～想定ユースケース～

• トレンド楽曲特徴を踏まえた、リリース曲の選定サポート
• CMタイアップソングの選定サポート
• リリース時に発信するプラットフォームの選定サポート
• Sound Cloud、YouTube、Bandcamp等における新人発掘サポート
• 海外展開における海外市場のモデル化とその利用

　今後も音楽チャートと脳科学的な分析を組み合わせた研究開発を進め、精度向上とサービス提供を目指し、新しい角度の音楽トレンドの発信を行い、音楽マーケットのさらなる興隆に貢献していきます。

　また、ＮＴＴデータおよびＮＴＴデータ経営研究所では音楽にとどまらず、今回の手法を動画広告・テレビ/ネット番組など多様なメディアに適用し、脳情報化とモデル作成によるコンテンツ最適化サービスを提供していきます。

※成果の制限範囲について
今回の共同研究成果である未来のチャート予測に関しては、アーティストの過去のチャートデータも強く貢献しているため、全く新しいアーティストが登場した場合の予測精度については今後検証が必要となります。また2020/5までの楽曲を対象としているため、6月以降に新しくチャートインした楽曲に関しての予測精度を保証するものではないことをご留意ください。

※詳細な背景・データ・方法や結果の詳細など補足情報についてはこちらをご覧ください
※NeuroAI Selected Playlistの再生には、各社サービスのご契約が必要です。
※「NeuroAI」は株式会社ＮＴＴデータの登録商標です。その他の商品名、会社名、団体名は、各社の商標または登録商標です。

1. 「NeuroAI」は、コンテンツ視聴時の視聴者の脳活動予測し、その脳活動からコンテンツ視聴により誘起される行動・広告視聴データ等を推定する技術です。
   （https://nttdata-neuroai.com/）
2. 米国の人工知能学会（AAAI）にて「NeuroAI®」基盤技術の論文が採択（https://www.nttdata.com/jp/ja/news/information/2020/013100/）
   Nishida S, Nakano Y, Blanc, A, Maeda N, Kado M, Nishimoto S. Brain-mediated Transfer Learning of Convolutional Neural Networks. Proceedings of the Thirty-Fourth AAAI Conference on Artificial Intelligence, 2020.