ルールベースjuliusの誤認識対策にSVMを利用してみよう

前回やったことの続きです。
ルールベースの音声認識をjuliusでやったときに過剰にマッチしまくる問題への対策です。

前回、juliusのクセを観察し、独自のスコアリングをやりました。
多少は誤認識に強くなったのですが、それでも人と人が会話や議論するような短文のやり取りにさらされると、やっぱり誤認識してしまいます。

SVM

もう、これは単純なパラメータの閾値では無理です。
ある閾値がそれを超えたら捨てるなどの単純な話ではないのです。
複数のパラメータが複雑に絡み合った世界です。

それをニンゲンの手で観察し、推論していては時間が膨大にかかってしまいます。
人間でやると大変なことは、機械にやらせましょう。
と、いうわけで、機械学習です。
今回は、機会学習の中からSVMを利用します。

SVMは精度もさることながら、学習速度はやや問題があるものの、判別は高速ですし、何よりライブラリが比較的揃っており、導入しやすいためてす。
ライブラリが充実しているので、ブラ重とよんであげましょう。爆発しろ。

さて、SVMのライブラリの中で、 liblinearを今回は利用します。
liblinearな理由は特にないんですが、なんか流行っているというだけです。ようするにミーハーですw

さて、SVMを利用して、間違った認識と正しい認識を切り分けてみます。

そもそも間違った認識とは何か？

私達が作っている音声認識では、呼びかけキーワード + 命令 といった構文を使います。
前回は、ケーキという単語を使いましたが、今回は コンピュータ という単語を使います。

コンピュータに仕事をやらせたいときは、音声で、「コンピュータ」「命令をして」 と、しゃべって依頼します。
例えば、「コンピュータ、エアコンを付けて」といった感じです。
このコンピュータというワードを呼びかけと読んでいます。(勝手に命名しました。どうだまいったか。)

で、そうなると、このコンピュータといった呼びかけキーワードを正しく認識できればいいわけです。
人と人とが会話しているような、短文の連続を「コンピュータ」という単語と誤認してしまい、音声認識をスタートさせてしまうといったケースが問題なのです。

コンピュータといった単語が正しい認識できれば、ほとんどの誤動作は防げます。

よって、音声認識で誤認識を避ける問題は、認識した単語が本当にコンピュータという単語なのか調べる問題といえます。
間違った呼びかけさえ検出しなければ、暴発は防げます。

julius-plusでは、呼びかけ部分を 別途 __temp__DictationCheck.wavというファイルに出力します。
これは、呼びかけ部分をもう一度、別視点から見るために、音声認識に再度くぐらせているためです。
このファイルを利用して、SVMによる判別を通してみます。

↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓

学習させる

SVMで学習し、モデルを作るプログラムを作りました。
githubにあるのでご自由にお使いください。
https://github.com/rti7743/rtilabs/tree/master/files/asobiba/juliustest/linear

学習するには、学習するデータが必要です。
コンピュータという単語を正しく聞き取れた wav を ok_wavディレクトリに、
間違って聞きとった wav を bad_wav に入れます。

これだけでもモデルは作れますが、モデルの完成度を見るために、未知のテストデータを用意します。
正しくコンピュータといっているwavを test_ok_wav に、
間違っている wav を test_bad_wav に入れていきます。

linear
	bad_wav
		失敗した呼びかけを入れる場所。
		学習データとして利用します。
	ok_wav
		成功した呼びかけを入れる場所。
		学習データとして利用します。
	test_bad_wav
		失敗した呼びかけを入れる場所。
		学習したモデルのテスト用に利用します。
	test_ok_wav
		成功した呼びかけを入れる場所。
		学習したモデルのテスト用に利用します。

今回は、110個ぐらいのデータを用意しました。
これでプログラムを動かす準備は出来ました。

実際に動かしてみましょう。
プログラムを実行すると、 julius による認識ログがざっーとでて素性を記録します。
そのあとに、SVMがモデルを作成し、モデルの検証を行い結果を画面に出力します。
このとき、モデルの保存も行います。

学習したデータを再テスト: Accuracy = 100.000% (110/110)   詳細はlog_train.txt
未知のデータでのテスト  : Accuracy = 85.714% (24/28)   詳細はlog_test.txt

認識率 8割以上。
教師データについては100%は、まーいいとして、未知のデータに対しても 85%の精度で正しく分類できています。
これは結構いいんじゃなイカ。

素性は？

SVMなので考えられる素性をとりあえず投げ込んでみますw

//julius認識したデータ
void g_output_result(Recog *recog, void *dummy)
{
	//喋った時間の総数
	const float mseclen = (float)recog->mfcclist->param->samplenum * (float)recog->jconf->input.period * (float)recog->jconf->input.frameshift / 10000.0f;
	//仮説の数によるペナルティ
	const int hypothesisPenalty = countHypothesisPenalty(recog);

	//1:成功 2:失敗 
	if (g_OKorBAD)
	{
		*g_TrainFile << "1";
	}
	else
	{
		*g_TrainFile << "2";
	}
	for(const RecogProcess* r = recog->process_list; r ; r=r->next) 
	{
		//ゴミを消します。
		if (! r->live || r->result.status < 0 ) 
		{
			continue;
		}

		// output results for all the obtained sentences
		const auto winfo = r->lm->winfo;
		for(auto n = 0; n < r->result.sentnum; n++) 
		{ // for all sentences
			const auto s = &(r->result.sent[n]);
			const auto seq = s->word;
			const auto seqnum = s->word_num;

			int i_seq;
			// output word sequence like Julius 
			//0 , [1 , 2, 3, 4], 5, と先頭と最後を除いている、開始終端、記号を抜くため
			int i;
			for(i = 0;i<seqnum;i++)
			{
				//1単語 --> 単語の集合が文になるよ
				i_seq = seq[i];

				//開始と終了を飛ばす
				if (	strcmp(winfo->woutput[i_seq]  , "<s>") == 0 
					||  strcmp(winfo->woutput[i_seq]  , "</s>") == 0 
				){
					continue;
				}
				break;
			}
			if (i >= seqnum) 
			{
				continue;
			}
			//dict から plus側のrule を求める
			int dict = atoi(winfo->wname[i_seq]);

			//マッチよみがなを取得する
			std::string yomi = ConvertYomi(winfo,i_seq);

			//cmscoreの数字(このままでは使えない子状態)
			auto cmscore = s->confidence[i];
			//素性1 cmsscore
			*g_TrainFile << " 1:" << cmscore;

			//julius のスコア 尤度らしい。マイナス値。0に近いほど正しいらしい。
			//「が」、へんてこな文章を入れても、スコアが高くなってしまうし、長い文章を入れるとスコアが絶望的に低くなる
			//ので、そのままだと使えない。
			auto score = s->score;

			//素性2 文章スコア
			*g_TrainFile << " 2:" << score;

			auto all_frame = r->result.num_frame;

			//素性3 フレーム数
			*g_TrainFile << " 3:" << all_frame;

			//素性4 仮説の数によるペナルティ
			*g_TrainFile << " 4:" << hypothesisPenalty;

			//素性5 録音時間
			*g_TrainFile << " 5:" << mseclen;

			//多少使えるスコアを計算します。
			//			oneSentence->plus_sentence_score = computePlusScore(oneSentence->nodes,s->score,r->result.sentnum,mseclen);
			auto plus_sentence_score = computePlusScore(cmscore,s->score,hypothesisPenalty,mseclen);
			//素性6 plusスコア
			*g_TrainFile << " 6:" << plus_sentence_score;

			//素性7 サンプル数？
			*g_TrainFile << " 7:" << r->lm->am->mfcc->param->header.samplenum;

			//素性8〜 これがきめてになった。
			int feature = 8;
			for(int vecI = 0 ; vecI < r->lm->am->mfcc->param->header.samplenum ;vecI++ )
			{
				for(int vecN = 0 ; vecN < r->lm->am->mfcc->param->veclen ;vecN++ )
				{
					*g_TrainFile << " " << feature++ << ":" << r->lm->am->mfcc->param->parvec[vecI][vecN];
				}
			}

			*g_TrainFile << std::endl;

			return ;
		}
	}

}

とりあえず、 1〜 7 まではそれっぽい変数の値を入れます。
最後の 8 〜は r->lm->am->mfcc->param->parvec の値を入れています。
だいたい2000素性、多いもので5000素性ぐらいが生まれるようです。

この膨大な素性の中から、SVMにより規則性を見つけ出させます。

最初は 1〜7までの素性でやっていたのですが、そのときは、70%ぐらいの認識率でした。
それが、 r->lm->am->mfcc->param->parvec を入れたことで 8割以上の認識率となりました。

r->lm->am->mfcc->param->parvecを入れない場合

学習したデータを再テスト: Accuracy = 78.899% (86/109)   詳細はlog_train.txt
未知のデータでのテスト  : Accuracy = 71.429% (20/28)   詳細はlog_test.txt

r->lm->am->mfcc->param->parvecを入れた場合

学習したデータを再テスト: Accuracy = 100.000% (110/110)   詳細はlog_train.txt
未知のデータでのテスト  : Accuracy = 85.714% (24/28)   詳細はlog_test.txt

素性の見つけ方ですが、これっぽいものを手で入れたあとは、デバッガで recog変数 を dump して、変数をdiffして変化している奴を見付け出して決めました。深い意味はありませんw
こんないい加減なことをやっているのに、8割以上取れる認識モデルが作れるSVMさんは素敵ですね。
俺達にできないことを平然とやってくれる。そこがしびれる憧れる。

学習結果の読み方

プログラムによりいくつかのファイルがカレントに出力されます。

ファイル名	役割
__svm_model.dat	SVM学習結果を格納したモデルです。これを利用して判別を行います。
train.txt	教師データ。学習させるデータを記録したファイルです。liblinearのフォーマットです。
log_train.txt	作ったモデルで教師データを検証した結果です。先頭に正しく分類されればOK 、違えばBADが入ります。
log_test.txt	未知のデータで検証した結果です。先頭に正しく分類されればOK 、違えばBADが入ります。

r->lm->am->mfcc->param->parvecを入れると素性が爆発して非常に読みづらくなりますが、そこはご愛嬌ということで。
ここで作った __svm_model.dat モデルを julius に組み込んでみましょう。

SVMを利用するjulius

julius-plus にSVMを搭載させてみました。
githubにあるのでご自由にお使いください。
https://github.com/rti7743/rtilabs/tree/master/files/asobiba/juliustest/julius-4.2.1_with_svm

このプログラムは windows/linuxのクロスプラットフォームで動作します。

windows
VS2010 で julius-4.2.1\msvc\julius-plus.sln を開いてください。


linux
sudo apt-get install flex g++ 'libboost*-dev' libboost-thread-dev binutils-dev  libboost-system-dev libasound2-dev

./configure --with-mictype=alsa

make

cd julius-plus
make

./julius-plus



学習データを再構築した場合は、次のファイルに上書きしてください
windowsの人
julius-4.2.1_with_svm\msvc\julius-plus\__svm_model.dat としてコピってください。


linuxの人
julius-4.2.1_with_svm/julius-plus/__svm_model.dat としてコピってください。

1日程度動かしてみたのですが、スコアを使っていた時よりも感度が上がったように思います。
今まで、単純な閾値で切っていたのがSVMになったことで、賢い伐採が行われているようです。

今のところ、誤認識はありませんでした。
ただ、幸運なだけなのかしもれませんが・・・引き続きテストを続けたいと思いますw

課題

今のところ、3つほど課題があります。

1つは、オンライン学習ができないこと。
今回 liblinearを利用したため、動的に学習するオンライン学習は利用できません。
たとえば、間違った認識をしたとき、ユーザがそれはちゃうねんといった場合、それをつど学習することができません。
SVMでもオンライン学習する手法はあるそーなんですが、SVMを実装するパワーがないのでぐぬぬっているところです。

2つ目は、なぜ r->lm->am->mfcc->param->parvec を入れたら精度が上がったのかよくわからないというところ。
素性が最大5000素性となっているのでこれは人間の目で見るのは不可能です。
いったい何が決め手になったのはよくわかりません。

3つ目が、r->lm->am->mfcc->param->parvecを入れたことにより、私の声に特化してしまったのではないか？ということ。
他の人の声でどう反応するのか？これはまだよくわかっていませんw
一人暮らしの辛いところですねwwww orz

まとめ

SVMすごい。