y_uti のブログ

統計、機械学習、自然言語処理などに興味を持つエンジニアの技術ブログです

2012-07-01から1ヶ月間の記事一覧

続 IBM Model 1: null トークンを入れる

先日 IBM Model 1 を実装してみましたが、f 側の各文には null トークンを追加する必要がありました。Kohen 先生のスライドにある "Inserting Words" のところです。そんなわけで、プログラムを少し修正します。コーパスを読み込んだ後、f 側の文に null ト…