適当に・・・

Mahout インストール

Mahout とは　機械学習に関するライブラリのセット・・・

難しい事が色々書いてあるが割愛

レコメンドができると言う事で導入する感じ。

前、HadoopをインストールしたのはこのMahoutが
使いたいがための設定。

Hadoop自体も結構面白そうだけど。
(Hadoop プログラムは後で学習)

必要なもの
apache-maven-2.2.1-bin.tar.gz
jdk-6u20-linux-i586-rpm.bin
mahout-0.3-src.tar.gz

jdkのインストールは割愛

Maven
（Java用プロジェクト管理ツール Mahoutをビルドするために必要）
http://maven.apache.org/download.html ここから最新版をダウンロード

apache-maven-2.2.1-bin.tar.gz

mkdir -p /home/maven

mv apache-maven-2.2.1-bin.tar.gz

tar xvzf apache-maven-2.2.1-bin.tar.gz

vi ~/.bashrc

MAVEN_HOME=/home/maven/apache-maven-2.2.1/
JAVA_HOME=/usr/java/jdk1.6.0_20/

export PATH=$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH

を追加して保存

次 Mahoutのダウンロード
http://ftp.kddilabs.jp/infosystems/apache/lucene/mahout/0.3/mahout-0.3-src.tar.gz

tar xvzf mahout-0.3-src.tar.gz

cd mahout-0.3

mvn install

Warning: JAVA_HOME environment variable is not set.
[INFO] Scanning for projects...
[INFO] Reactor build order:
[INFO] Mahout Common Maven Parent
[INFO] Maven Mojo to generate code for collections
[INFO] Mahout Collections
[INFO] Mahout Math
[INFO] Mahout Core
[INFO] Mahout Taste Webapp
[INFO] Mahout Utilities
[INFO] Mahout Examples
[INFO] Apache Lucene Mahout　・・・

とずらずらとビルドログが出てる・・・・
なんとなく1行目のWarningが気になる。。。

ビルド中にテストしてるらしくちょっと時間がかかる。

[INFO]
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] ------------------------------------------------------------------------
[INFO] Mahout Common Maven Parent ............................ SUCCESS [2:10.181s]
[INFO] Maven Mojo to generate code for collections ........... SUCCESS [3:00.867s]
[INFO] Mahout Collections .................................... SUCCESS [35.321s]
[INFO] Mahout Math ........................................... SUCCESS [40.775s]
[INFO] Mahout Core ........................................... SUCCESS [12:22.625s]
[INFO] Mahout Taste Webapp ................................... SUCCESS [45.399s]
[INFO] Mahout Utilities ...................................... SUCCESS [17.021s]
[INFO] Mahout Examples ....................................... SUCCESS [52.285s]
[INFO] Apache Lucene Mahout .................................. SUCCESS [5.169s]
[INFO] ------------------------------------------------------------------------
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESSFUL
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 20 minutes 50 seconds
[INFO] Finished at: Wed Apr 21 16:45:53 JST 2010
[INFO] Final Memory: 68M/162M
[INFO] ------------------------------------------------------------------------

と出てビルド終了。

でー動かす。

https://cwiki.apache.org/MAHOUT/syntheticcontroldata.html

データを

http://kdd.ics.uci.edu/databases/synthetic_control/synthetic_control.data

ここからダウンロードして
（数値の羅列・・・・）

hadoop fs -put synthetic_control.data testdata
(なぜtestdataと言う名前かと言うとquickstartに
All example jobs use testdata as input and output to directory output
と書かれていたからｗ

意味は上の簡単な英文ですら意味をわかっていないｗ)

kmeans
canopy
dirichlet
meanshift

分類方法があるみたい。

kmeans法は

hadoop jar mahout-examples-0.3.job org.apache.mahout.clustering.syntheticcontrol.kmeans.Job

とすると分類が始まる。

ログがずらずら出て処理が終わる

kmeans法なのでoutput/pointsの下に出力があるはず。

hadoop fs -get output output でログを持ってくる。

次はレコメンドを動かしたいけど～
Tasteってもしかして自分で実装する感じなのか？ｗ

mahout/レコメンドサーブレットの作り方というページを
そのまま作業してみる。

http://www.pwv.co.jp/~take/TakeWiki/index.php?mahout%2F%E3%83%AC%E3%82%B3%E3%83%A1%E3%83%B3%E3%83%89%E3%82%B5%E3%83%BC%E3%83%96%E3%83%AC%E3%83%83%E3%83%88%E3%81%AE%E4%BD%9C%E3%82%8A%E6%96%B9

なんの事だかさっぱりわからないが以下コマンドを打つ。

mvn archetype:create -DgroupId=sample.recommendWeb -Dartifac
tId=recommendWeb -DarchetypeArtifactId=maven-archetype-webapp -D=Version=0.0.1

必要なものを作ってくれてる感じ？

tree recommendWeb

recommendWeb/
|-- pom.xml
`-- src
　　`-- main
　　　　|-- resources
　　　　`-- webapp
　　　　　　|-- WEB-INF
　　　　　　| `-- web.xml
　　　　　　`-- index.jsp

5 directories, 3 files

ここまではOKだな。

pom.xmlに追加する。　pom.xmlは以下のようになった。

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

<modelVersion>4.0.0</modelVersion>
<groupId>sample.recommendWeb</groupId>
<artifactId>recommendWeb</artifactId>
<packaging>war</packaging>
<version>1.0-SNAPSHOT</version>
<name>recommendWeb Maven Webapp</name>
<url>http://maven.apache.org</url>
<dependencies>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>3.8.1</version>
<scope>test</scope>
</dependency>


<dependency>
<groupId>org.apache.mahout</groupId>
<artifactId>mahout-core</artifactId>
<version>0.3</version>
</dependency>

<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-jcl</artifactId>
<version>1.5.8</version>
<scope>test</scope>
</dependency>

<dependency>
<groupId>javax.servlet</groupId>
<artifactId>servlet-api</artifactId>
<version>2.5</version>
<scope>provided</scope>
</dependency>


</dependencies>
<build>
<finalName>recommendWeb</finalName>


<plugins>
<plugin>
<artifactId>maven-compiler-plugin</artifactId>
<configuration>
<source>1.6</source>
<target>1.6</target>
<encoding>UTF-8</encoding>
</configuration>
</plugin>
<plugin>
<groupId>org.mortbay.jetty</groupId>
<artifactId>maven-jetty-plugin</artifactId>
<version>6.1.7</version>
</plugin>
</plugins>


</build>
</project>

recommendWebのディレクトリで

mkdir -p mkdir src/main/java

今回はeclipse使わないのだけれど、書いてあるのでやります。
mvn eclipse:eclipse -DdownloadSources=true

参考のwikiに従うと次はjavaファイルの追加
でもどこに追加するのだろう？ｗ
mvnがわかってないので不明だな。

mvn compileとすると
デフォルトではsrc/main/javaの下の.javaをコンパイルするらしい。

ということでsrc/main/javaに配置だな。

mvn compileエラー続出w

import java.io.File;
import java.io.IOException;
import java.io.PrintWriter;
import java.util.List;

import javax.servlet.ServletConfig;
import javax.servlet.ServletException;
import javax.servlet.http.HttpServlet;
import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;

import org.apache.mahout.cf.taste.impl.model.file.FileDataModel;
import org.apache.mahout.cf.taste.impl.neighborhood.NearestNUserNeighborhood;
import org.apache.mahout.cf.taste.impl.recommender.GenericUserBasedRecommender;
import org.apache.mahout.cf.taste.impl.similarity.EuclideanDistanceSimilarity;
import org.apache.mahout.cf.taste.model.DataModel;
import org.apache.mahout.cf.taste.neighborhood.UserNeighborhood;
import org.apache.mahout.cf.taste.recommender.RecommendedItem;
import org.apache.mahout.cf.taste.recommender.Recommender;
import org.apache.mahout.cf.taste.similarity.UserSimilarity;

先頭にインポート文を追加したら
ビルドが通ったｗ

mvn jetty:run　・・・　エラー　

でもjettyのエラーで悩んでてもしょうがない。

tomcatに変更ｗ
（頭古いから知っているものでしか動かせないのよねぇ）

$TOMCAT_HOME/webapps/で

mkdir -p recommendWeb/WEB-INF/classes
mkdir -p recommendWeb/WEB-INF/lib

で

$TOMCAT_HOME/webapps/recommendWeb/で

vi web.xml



<web-app xmlns="http://java.sun.com/xml/ns/javaee"
xsi:schemaLocation="http://java.sun.com/xml/ns/javaee http://java.sun.com/xml/ns/javaee/web-app_2_5.xsd"
version="2.5">

<display-name>Recommend Web</display-name>

<servlet>
<servlet-name>web-recommender</servlet-name>
<servlet-class>RecommenderServlet</servlet-class>
</servlet>

<servlet-mapping>
<servlet-name>web-recommender</servlet-name>
<url-pattern>/RecommenderServlet</url-pattern>
</servlet-mapping>

</web-app>

として保存

recommendWeb/WEB-INF/libの中には必要なjarを放り込む

mahout-0.3/examples/target/dependency/の配下のjar

わからないので上記を全部放り込んだ

recommendWeb/WEB-INF/classesには
mvn compileして出来上がったRecommenderServlet.class
を入れますの。

WEB-INFディレクトリ直下に
critics.csvに入れるのだけど、これは

http://www.grouplens.org/node/73の

100k Ratings Data Set (.tar.gz)ってリンクから拾って解凍して

解凍するとずらずら出てくるから

awk '{printf("%s,%s,%sn",$1,$2,$3);}' ua.base > critics.csv

として作る。

ちなみに

http://lucene.apache.org/mahout/taste.html#examplesをみると
データの並びは

First, create a DataModel of some kind. Here, we'll use a simple on based on data in a file. The file should be in CSV format, with lines of the form userID,itemID,prefValue (e.g. "39505,290002,3.5"):

とかいてあるので
ユーザID,アイテムID,評価値(なのか？)の
並びとしてるんだろうな、多分、読めないけど。

tomcatを起動して

http://hadoop:8080/recommendWeb/RecommenderServlet?userID=7

5.0 345
5.0 313
5.0 328

と表示されてOKだな。

u.itemの中を見ると

345=Deconstructing Harry
313=Titanic
328=Conspiracy Theory

って言う感じのお勧めなんだろうな。

http://hadoop:8080/recommendWeb/RecommenderServlet?userID=7&howMany=10
とhowManyパラメータもつけられるらしい。

5.0 328
5.0 313
5.0 302
5.0 345
4.0 295
4.0 751
4.0 315
4.0 321
4.0 340
4.0 319

サンプルなのでアレだが
問題が二つ

・起動時にデータを読み込む事
・データに評価値がついてる
（大抵の場合評価値はあまりついていないのではないかと・・・）

しかしgooブログ 10000文字の制限もう少し多くならないかい？
かなり編集苦労するんだけど。
作業を全部書きたいんだよね。わからなくなったことがわからなくなるから。

関係ないけど easyrec(http://easyrec.org/)
っていうレコメンドシステムを知った。

ボスに言われてからかなり長い時間がかかったケド
Mahout動かせて良かった。

レコメンドの種類
http://lucene.apache.org/mahout/javadoc/core/org/apache/mahout/cf/taste/impl/similarity/package-summary.html