id:smly さんが PageRank や HITS を Python で実装 されているのに触発されて、自分も PageRank を Perl で実装してみました。 PageRank の計算の中心になるのは Power Method (べき乗法) です。べき乗法では行列とベクトルの積を計算しますので、手軽に使える行列演算ライブラリがあると楽でしょう。 色々調べてみたところ、PDL (The Perl Data Language) が良く使われているようでしたので、これを選択しました。PDL では各種行列演算が簡単に行える他、文字列評価をオーバーライドして行列の文字列出力を良い具合で定義してくれていたりと、なかなかに便利です。PDL は行列計算以外にも色々な科学技術計算やグラフ描写などの操作をサポートしているようです。 さて、PDL を使った PageRank 計算のコードは以下のように

Taher H. Haveliwala. Topic-Sensitive PageRank Proceedings of the Eleventh International World Wide Web Conference, 2002. PDFへのリンク 概要 Topic-Sensitive PageRankという、PageRankというアルゴリズムを改善したものの提唱 アルゴリズムの特徴 検索の結果にqueryやquery context(文脈、前後関係）を反映させる。 query contextを反映させる場合、この論文の実験ではuserがqueryを含む文章を指定しているが、文章ではなくcontextを反映させる方が良い結果を得られる。何をcontextにするかにはいろいろなアイディアがある（後述）。 PageRankはもともとウェブページにofflineでランク付けして(ran

機械学習系のエントリを続けて書いてみる。クラスタリングについて知らない人は以下のエントリ読んでもちんぷんかんぷんだと思うので、クラスタリングという概念については知っているものとする。 それで、今日はスペクトラルクラスタリングの話。自然言語処理以外でも利用されているが、これはグラフのスペクトルに基づくクラスタリングの手法で、半教師あり学習への拡張がやりやすいのが利点。なにをするかというとクラスタリングをグラフの分割問題(疎であるエッジをカット)に帰着して解く手法で、どういうふうに分割するかによって Normalized cut (Ncut) とか Min-max cut (Mcut) とかいろいろある。 完全にグラフが分割できる場合はこれでめでたしめでたしなのだが、実世界のグラフはそんな簡単に切れないことが往々にしてある。それで近似してこのグラフ分割問題を解くのだが、Normalized c

織田信長 ぼちぼち、元気にやっています。少し薬にも慣れた...んかなぁ。相変わらず食べられないけど。朝、指がこわばって文字なんて入力できなかったけど、それはほぼなくなった。関節もどこも痛くない。薬効いてきたんやろな。 で、ブログを書こうと言う気がまた起きてきた。 …

一年ほど前に「Flex2でFlickrの写真を取得してみる」というブログを書きました。それ以来Flexとはご無沙汰してしまった私なんですが、久しぶりにまた触ってみようと思いその続きを書いてみたいと思います。 まずは、前回のコードがFlex3で動作するのかどうか確認するためにコンパイルしてみたところ、使用しているライブラリの一つであるas3corelibによってコンパイル時に「 エラー: 型が見つからないか、コンパイル時定数ではありません : File。」という内容のエラーが出ました。 いろいろググってみたところ、こちらの「corelibをFlex3向けにコンパイルしてJSONを使う。」サイトにて対処方法が記載されていたのでこちらを参考に、エラーの該当箇所を削除しライブラリをコンパイルし直すということで、やってみたところ無事コンパイルすることができ、Flex3でも問題なく動作するようになりま

「パターン認識と機械学習(PRML)」５章の勉強して、ニューラルネットワーク実装してみたくならんかったらヤバいよね、ってくらい実装してみろオーラが出てたので、書いた。 少し汎用的に作ってみたかったので、R ではなく Ruby。 http://github.com/shuyo/iir/tree/05e118c62a96cd6f7ab86c55eddebdb8dd148bc5/neural ニューラルネットワーク(多層パーセプトロン)の実装 逐次的勾配降下法で重みパラメータを学習する 順伝播＆中心差分による数値微分で勾配を求める(誤差逆伝播も後で) error function は二乗和誤差関数(交差エントロピー誤差関数も後で) 正規化項は未サポート(over fitting するところまでまだ行かない) ユニットを組み合わせて自由にネットワークを組める。 TanhUnit や SigUnit

2004年ごろに Google の猫で深層学習が一躍脚光を浴びたとき、画像認識は特徴抽出が難しいので深層学習で良い結果が出るが、自然言語処理は特徴量*1がリッチなので、深層学習を適用するのは難しいだろうと思っていた。 特徴量がリッチとは、例えば「ホームラン」のたった１語でその文はスポーツ、特に野球の話題である可能性が高くなる、みたいな話である。一方、ピクセルの１つが緑であることから何の画像か当てるのは不可能だ。 その後、自然言語処理でも深層学習が当たり前になったのは誰もがご存知のとおりであり、自身の不明を恥じるばかりだ。ただ言い訳をさせてもらえるなら、自然言語処理のえらい先生方も同じように言っていたのだ。 2014年ごろ、LSTM などの深層学習モデルが発展し、自然言語処理でも目覚ましい結果が出始めた。機械翻訳など多くのタスクで、人間の平均といい勝負になったのもこの頃だったと思う。すると、

さくらの500円レンタルサーバーで SUFARY.pm を動かす 2008-08-20-3 [Tips][Programming] さくらの500円レンタルサーバに SUFARY をインストールし、 SUFARY の Perl モジュールである SUFARY.pm を動かす手順。 ■■■インストール： ■バイナリやライブラリのインストール (to ~/opt/)： wget http://ta2o.net/tools/sufary/src/sufary-2.3.8.tar.gz tar zxvf sufary-2.3.8.tar.gz cd sufary-2.3.8 ./configure --prefix=/home/YOURID/opt make make install 「make install」で、 「ディレクトリがないよ」というエラーが出たら、どんどん mkdir。 SUFAR

perl でベーシック認証を通過する 2002-11-07-2 [Programming] Web クライアント perl プログラミング。Apache のベーシック認証を perl で LWP を使って自動的にやりたい。ブラウザみたいに単純に 「http://username:[email protected]/」と指定するだけでは ダメだった。以下を参考にしてなんとか解決した。 - <http://www.perl.com/pub/a/2002/08/20/perlandlwp.html?page=4> - <http://archive.develooper.com/libwww@perl.org/msg03809.html> サンプルプログラムをどうぞ。 #!/usr/binperl use strict; use LWP::UserAgent; my $url =

こないだのICASSP2008にGoog411に関する論文がGoogleから出ていたってのをついさっき、Official Google Research blogより知った。 http://research.google.com/archive/goog411.pdf GOOG411ってのは電話で「ピザを食べたい」と話すと、勝手に音声認識システムが空気読んでビザを宅配してくれるサービスと理解していたんだけど、論文読むともっと素朴なIVRシステムっぽい。「っぽい」ってのは日本に住んでいるいるから、GOOG411システムを利用出来ないからなんだけどね。 HMMとWFSTベースの音声認識システムっぽい。GOOG411は英語だけで提供されているんだけど、発音モデル(Pronunciation Model, PM)ってのは日本語だと「音素体系」みたいなものなのだろうか。まぁ、WFSTをOpenFST