技術部 高島 和博 1. はじめに 本稿では、一つの測定技術とその応用例について紹介させて頂きたいと思います。 実際、この手法は音響の分野では広く行われている測定手法です。 ただ、教科書を見ても、厳密に説明するために難しい数式が並んでいたりするわけで、なかなか感覚的に理解することは難しいものです。 ここでは、私たちがこれまでに様々なお客様と関わらせて頂いた応用例を多く取り上げ、 「インパルス応答を測定すると、何が解るのか？」ということをできるだけ解り易く書かせて頂いたつもりです。 また、不足の点などありましたら、御教授の程よろしくお願いいたします。 2. インパルス応答について 皆様もどこかで、「インパルス応答」もしくは「インパルスレスポンス」という言葉は耳にされたことがあると思います。 耳にされたことのない方は、次のような状況を想像してみて下さい。 今、部屋の中で誰かが手を叩いています。

LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog この記事は、 LINE Engineering Blog 「夏休みの自由研究 -Summer Homework-」 の 12 日目の記事です。 こんにちは、LINE Ads Platformの開発チームに所属している新卒1年目の佐藤邦彦です。 本記事では、Pythonを使って任意のSignal-to-Noise比（SN比）の音声波形を作る方法を紹介します。なお、本記事の内容は、Clova等の弊社音声事業とは関係ありません。 音声のDeep Learning 画像処理分野においてDeep Learningが技術革新を起こしてから久しいですが、同様のことが音声処理の分野においても起きています。Deep Learningによって音声

――科学者とは、自然のひみつと美しさを探し求めるおとぎの国の旅人です。それは大変おもしろく、夢のある楽しい仕事なんですよ。―― マリア・スクウォドフスカ・キュリー ディープラーニングでノイズを消してみよう 論文の概要 U-Netとは U-Netのアレンジ Pythonで実装 ディープラーニングでノイズを消してみよう すっかり季節が初夏の陽気になってきたと思っていたら、暦はもう6月になっていました。キュリー夫人の言う「おとぎの国」という表現がぴったりのデンマーク生活も、そろそろ終わりを告げようとしています。 昨年7月にデンマークの土を踏んでから約1年間、短いようでとても長かったです。西洋のことわざで、「ロバが旅に出かけたところで、馬になって帰ってくるわけではない」という言葉があります。私はポニーくらいにはなれたでしょうか。 デンマーク生活で印象に残っていることはいくつかあります。そこに住む人

――私には、完璧ではない音楽のつくり方がわからないんですよ。―― ヴォルフガング・アマデウス・モーツァルト HPSSで音楽を分離してみよう 音声処理の基本中の基本 デジタルとアナログ サンプリング デジタルデータと離散フーリエ変換 短時間フーリエ変換（STFT） 調波打楽器音分離（HPSS） 最も基本的なHPSSの理論 PythonでHPSSを実装 実行結果 HPSSで音楽を分離してみよう 私には、完璧ではない仕事のやり方がわからないんですよ。なんて、一度でいいから言ってみたいですね。天才モーツァルトだから許される一言です。 さて、飽き飽きしてるとは思いますが、今回もプログラミング関連です。最近だんだん音声処理の雰囲気が分かってきて少し面白くなってきました。でもさすがに今回でいったん最後にします（書くのが大変だし読む人も退屈だから）。 keep-learning.hatenablog.jp

調波打楽器音分離とは？ 一般的な楽曲では、様々な楽器音が含まれています。 そのため、元の楽曲信号から直接、音楽的な情報（例：コード進行）を分析するのは 計算機ではなかなか難しいです*1。 そこで、分析の前処理として、 打楽器の音と非打楽器（調波楽器）の音を分離する調波打楽器音分離 (HPSS: Hermonic/Percussive Source Seperation) *2が良く使われています。 この記事では、HPSSの概要とPython (LibROSA) のコードの解説します。 調波打楽器音分離とは？ 調波打楽器音分離のアイディア アルゴリズムの設計 非負値行列因子分解＋基底クラスタリング 最適化問題（行列因子分解）として解く 深層学習を使った手法 メディアンフィルタベースの手法 LibROSAにおける調波打楽器分離（HPSS）の実装 使い方 実装の詳細 librosa.effect

この項目では、音楽分野のヴォコーダーについて説明しています。音声信号処理分野のヴォコーダーについては「音声分析合成#ボコーダー」をご覧ください。 Korg VC-10 音楽におけるヴォコーダー（英: vocoder）は音の分解・要素の操作・再合成をおこなう電子楽器・エフェクター・シンセサイザーの一種である。ボコーダーとも。 概要[編集] 音声符号化・音声分析合成分野で「音を要素へ分解し再構成するシステム」として発展したボコーダーを「要素を操作して音作りをおこなう機材」として音楽分野へ転用したものが（本稿で解説する）ヴォコーダーである。 ヴォコーダーにはチャネルヴォコーダーとフェーズボコーダがあり、これらは使用分野が異なる。音楽分野における昔ながらの「ヴォコーダー」エフェクトはチャネルヴォコーダーを指し、フェーズボコーダは「タイムストレッチ/ピッチシフト」に用いられる[1][2][3][4]

こんにちは AIチームの戸田です 先日、KaggleのCornell Birdcall Identificationというコンペに参加し、参加報告ブログを掲載させていただきました。使用した手法にこちらのライブラリを使ったノイズ除去を用いていたのですが、今回その内部の働きを勉強したので共有させていただきたいと思います。 スペクトラルノイズ除去 使用されていた手法はスペクトラルノイズ除去と呼ばれるそうで、ノイズ部分の信号をもとの音源から差し引くことでクリアな音源を実現します。モーター音や風の音など、固定ノイズや緩やかに変化するノイズの除去に効果的です。 Audacityというフリーソフトでも内部で使われています。 以下から実際にpythonでの実装を通じてスペクトラルノイズ除去の処理の流れを解説していきたいと思います。 データはCornell Birdcall Identificationのデ

Pythonでいい感じの音声区間検出してくれるライブラリはないかなと探していたら、inaSpeechSegmenterというものが見つかったので使ってみた。 github.com デフォルトでは音声の区間、音楽の区間、ノイズの区間、無音の区間を検出し、その区間ラベルと時間情報（開始・終了時刻）の情報を返してくれる。面白いのは音声区間においてジェンダーの区別もデフォルトでしてくれるということ。 区間ラベルを列挙しておこう： speech (male/female) 音声 music 音楽 noise ノイズ noEnergy 無音 インストールは以下。 pip install inaSpeechSegmenterこんなスクリプトを書いてみた。 gist.github.com inaSpeechSegmenterは区間ラベルと時間情報のみを取得できる。同ライブラリのseg2csvをインポートす

とあるきっかけで、環境音の認識（歩く音や雨の音、掃除機の音など）について、 論文を調べたので、メモとして残しておきます。 せっかくなので、精度向上の歴史を振り返る形式で、書いていきます。 データセット 精度の基準となるデータセットをご紹介します。画像の認識では、ImageNetという圧倒的な データセットがあり、性能評価で用いられます。 一方、音の認識はImageNetほど巨大ではありませんが、ESC-50というデータセットが あります。今回の基準となるESC-50の概要は以下のとおりです。 犬の鳴き声やドアのノック音など50種類、2000個の音源を収録 音源の長さは5秒間 精度評価をするときは、学習用とテスト用に分けて(5-foldなど）それぞれ評価 音の前処理 画像の前処理は、通常255で割れば良く、非常に簡単です。 一方、音の前処理は通常logmelを用います。logmelで処理する