注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
Java以外でMapReduceする 前回はJavaのネイティブプログラミングでMapReduceを実践してみましたが、今回... Java以外でMapReduceする 前回はJavaのネイティブプログラミングでMapReduceを実践してみましたが、今回はもっと手軽な方法を試してみたいと思います。Hadoopに付属しているstreamingユーティリティ(以下ストリーミング)を使うという方法です。ストリーミングを使用することでMap, Reduce処理は独立したプログラムで記述することができます。 それぞれの処理の入出力は標準入出力を使用しますが、逆に言うと標準入出力を使用する処理であれば言語は問いません。つまり、PerlやRuby, PHP,AWKといった使い慣れた言語でHadoopの仕組みを利用できるようになります。すばらしい! PerlでMapReduceする 今回はPerlを使用しますが、標準入出力を使える言語であれば何でも構いません。Map,Reduceの処理は次の図のようになります。 図1 Perlによる
2011/12/12 リンク