レコメンデーションエンジンCicindelaをインストールしてみた

昨年末にライブドアからレコメンデーションエンジンCicindelaがオープンソースとして公開されました。http://labs.edge.jp/cicindela/
　
Cicindelaのインタフェースをめちゃくちゃ簡単に言うと、「整数を入力したら整数のリストを返す関数(WebAPI)」です。例えば今見てる商品のアイテムID（整数）を入力すると、その商品の購入者が他にも買った商品群のアイテムIDリストを返すような感じ。ここまでシンプルになっているため、ウェブサイト本体側のデータベースは変更せず、わずかなロジック追加のみで組み込むことができます。
また、カスタマイズ次第で、アイテムIDの代わりにユーザIDを渡したり、カテゴリーIDを渡したり、あるいは文字列IDでも整数変換する仕組みが用意されていたり、といろいろできるみたいです。

1. Cicindelaインストール

以下はUbuntu8.04にインストールしたときのメモ。

親切な日本語ドキュメントがあるのでわりとすんなり入ります
http://code.google.com/p/cicindela2/wiki/Install

ユーザ作成

インストール先ディレクトリのデフォルトが/home/cicindlaとなっているので、それに従ってcicindela用のユーザを作ると楽。
　「システム」メニュー→「システム管理」→「ユーザとグループ」
　　　ユーザ名: cicindela
　　　ホームディレクトリ： /home/cicindela

ダウンロード

ドキュメントどおり入れるだけ。svnコマンドでチェックアウトするのでSubversionが入っている必要あり。

 cd /home
 svn checkout http://cicindela2.googlecode.com/svn/trunk/ cicindela

MySQL設定

MySQLはもともと入っていたのでインストール手順は省略。

Cicindela用のMySQL設定

ドキュメントにある以下のコマンドはMySQLの設定ファイルを上書きするため、よく分かってない人（オレオレ）には危険な気がする。

　ln -s /home/cicindela/etc/mysql/my.cnf /usr/local/mysql/my.cnf 

なので、/home/cicindela/etc/mysql/my.cnfをエディタで開いて/etc/mysql/my.cnfに手動でマージしていきました。

※この変更をすると、今まで使っていたデータベースは以下のエラーで使えなくなることがあります。
ERROR 1033 (HY000): Incorrect information in file:
　
innodb_log_file_sizeの設定が変更されるのが原因らしいです。以下のファイルを削除してMySQLを再起動（分からなければOS再起動）すれば直ります。
/var/lib/mysql/ib_logfile0
/var/lib/mysql/ib_logfile1

Perlモジュールのインストール

 sudo perl -MCPAN -e "install DBI; install DBD::mysql; install Ima::DBI;
    install Time::Piece; install Log::Log4perl;
    install Module::Pluggable; install Class::Singleton;" 

何度かインストール失敗したりしたけど、urllistを変えたりして再トライした。

Apache設定

Apache本体もインストール済みなのでそこは省略。

Apache用のmodperlインストール

http://perl.apache.org/download/index.html
download
make
make install

makeに失敗　→　libperl-devを入れたらOK

 sudo apt-get install libperl-dev 

httpd.conf設定
/usr/local/apache2/conf/httpd.conf の最終行に以下を挿入。

 Include /home/cicindela/etc/httpd/modperl.conf 

daemontools

集計バッチ起動用のスケジューラ、daemontoolsは今のところ入れていない。

2. サンプルデータのインストール

とりあえずここまででCicindela本体は入ったっぽい。次にサンプルをインストールして動作確認します。サンプルデータはけっこう大きいので、ダウンロード、インポート、集計などそれぞれ数分〜十数分かかります。

ダウンロード

 cd /home/cicindela
 svn switch http://cicindela2.googlecode.com/svn/branches/demo_data/misc misc

テーブル作成

 cd /home/cicindela/misc
 perl create_init_sql.pl --db_name=cicindela_clip_db | /usr/bin/mysql -uroot

サンプルデータインポート

その前にperlのモジュール追加

 sudo perl -MCPAN -e "install Text::CSV_XS;" 

ドキュメントに従い、以下のコマンドを実行するとfile not foundエラーが出る。MySQLの世界からCSVファイルのディレクトリがアクセスできないらしい。

 cd misc/clip_data
 gunzip -c ldclip_demo_dataset.csv.gz | perl importer.pl  --work_dir=`pwd` | /usr/bin/mysql -uroot cicindela_clip_db

MySQLの設定を調べるよりも、とりあえず１回だけインポートできればいいので、ファイルを移動して実行することでよしとする。

gunzip -c ldclip_demo_dataset.csv.gz | perl importer.pl  --work_dir=`pwd` > tmp
cp clips.txt tags.txt tmp /var/lib/mysql/cicindela_clip_db/
cd /var/lib/mysql/cicindela_clip_db/

tmpをエディタで開いて、ここを

　load data infile '/home/cicindela/misc/clip_data/clips.txt' ignore 

こう変えて

　load data infile 'clips.txt' ignore 

実行

　cat tmp | mysql -uroot cicindela_clip_db 

3. 集計バッチの実行

さて、これで元になるデータは整ったのでデータ集計してみます。

集計処理の設定

lib/Cicindela/Config/_common.pm
19-69行目あたりのコメントを全部外す

集計バッチ実行

bin/batch.pl --track=1
bin/batch.pl --track=1

うまく行ってたら集計が始まるので数分〜十数分かかります。

4. レコメンデーションの実行確認

集計処理が終わり、いよいよレコメンデーション可能な状態になりました。CicindelaはHTTPインタフェースなので、ブラウザで簡単に確認できます。

Apacheèµ·å‹•

 sudo /usr/local/apache2/bin/apachectl start 

レコメンデーションAPI呼び出し

サンプルデータは、例として引数に39182を与えたとき、

 http://localhost/cicindela/recommend?op=for_item&set=clip_simple&item_id=39102

こんな結果が出たら成功らしい。

49425
44936
42886
...

出た。

数字だけだとイマイチ地味でありがたみが伝わりづらいですが、凄いことなんです、ほんと。