Standaloneモードでは、複数のホストを使った処理は行わない。デーモンも動かさない。 しかしHadoopは分散処理をしてナンボである。 分散処理をする場合には、複数のホストでいくつかのデーモンを動作させる必要がある。 それはまあ当然。 ただ、いきなり複数ホストを使うのはハードルが高い。 そこで、「Hadoopは複数ホストで動いているつもりだけど実際は1台のホストで動いている」モードで設定の確認をする。 これが擬似分散（Psuedo-distributed）モード。 擬似分散モードに必要な各設定の意味 擬似分散（Psuedo-distributed）モードの動作には以下、四つの設定が必要。 完全分散（Full distributed）モードでも変わらないんだけどね。 HDFSのメタデータを格納するnamenodeの設定 データをいくつ複製(replication)するかの設定（デフォル

※このエントリは、社員のTossyさんによって作成された第5回研究課題レポートからの抜粋です。 はじめに 近年、機械学習が非常に注目を集めている。機械学習を用いることによって、データから有用な規則、ルール、知識表現、判断基準などを抽出することができる。 機械学習を用いた例として、レコメンデーション、クラスタリング、分類、市場予測、評判分析、情報抽出、文字認識、ロボットなどが挙げられる。 また、アメーバを含むインターネットサービスの普及により、解析対象データが急激に増加している。解析アルゴリズムは最低でも線形の計算量が必要だが、それでも昨今のデータ増加量が上回っている。 世界で作成されたデータ量は、2009 年時点で0.8ZB にもなっており、2020 年には35ZB にも膨れ上がると予想されている(Degital Universe 2010)。 このことにより、機械学習処理の並列分散は今後

前回はHadoopのインストールで、今回がいきなり実用的な内容で、ちょっと基礎を飛ばしてますが、気にしない。 レコメンドというと、パッと思いつくのはAmazonのレコメンドではないでしょうか。 商品を見ていると、「この商品を買った人はこれも一緒に買っています。」といった感じの物ですね。 今回はこのレコメンドを簡単に実装する方法を探ってみます。 まず、解析後に欲しいデータとして あるアイテム(item1)に対して、関連するアイテム(item2,item3,item4)をひもづけるデータです。 データベースに入れて使える状態で言うと (ユーザが今開いたアイテムのID), (ユーザが開いたアイテムに関連するアイテムのID) item1, item2 item1, item3 item2, item4 … というキーバリューのペアです。 この結果を得るために必要な情報ですが ユーザ毎にアクセスした

だいぶ前になりますが、以下のエントリーで Hadoop をインストールしました。 ・「Hadoop」CentOS に Hadoop をインストールする - プログラム日記 http://a4dosanddos.hatenablog.com/entry/2013/04/19/125022 今回は、↑環境使って Hadoop でよく使うであろうコマンドをまとめてみました。 ( ちょっとした時にメモあると便利かなということで。まぁ、ドキュメントみればええやんって話ですが・・・ ) ■ ディレクトリ作成 ./hadoop fs -mkdir /user/test/dir1■ ファイルのコピー - ローカルのファイルシステムから HDFS ./hadoop fs -put ./test.txt /user/test/dir1 ./hadoop fs -copyFromLocal ./test.txt

ビッグデータ時代の救世主「Hadoop」とは 「Apache Hadoop」は今、最も注目を集めている技術の1つです。Hadoopとは、大量のデータを手軽に複数のマシンに分散して処理できるオープンソースのプラットフォームです。 Hadoopを活用している企業は年々増え続けていて、不可欠な技術になりつつあるといえるでしょう。 本連載では、Hadoopとは何か、Hadoopがどう活用できるのかということを、「テキストマイニング」に焦点を当てて解説していきたいと思います。 重い処理を複数のマシンに分散させる 複数のマシンに処理を分散させるには、プロセス同士の通信、監視、障害時の対応などを考えなければならず、プログラマにとってハードルが高いものです。しかし、Hadoopはそういった面倒くさい処理を一手に引き受けてくれ、プログラマは、やりたい処理だけに集中できます。 例えば、Hadoopを使うと、1

"word co-occurrence problem" （文書内の近くにペアで出現する単語の数をカウントする処理）の２つの基本パターンである "Pairs" と "Stripes" から、まずは、Pairs を見てみます。 事前準備 「カラマーゾフの兄弟」のテキストを HDFS に保存しておきます。 $ wget http://www.gutenberg.org/files/28054/28054.zip $ unzip 28054.zip $ hadoop fs -copyFromLocal 28054.txt Karamazov.txt ソースコード 例えば、連続して出現する単語のペアをカウントする場合、次のようなコードが書けます。 pairs/TextPair.java package pairs; /* テキストのタプルを Key に使用するためのクラスです。 像本のサンプル・コ

MapReduceのJava実装Apache Hadoopを使ってみた：いま再注目の分散処理技術（後編）（1/3 ページ） 最近注目を浴びている分散処理技術「MapReduce」の利点をサンプルからアルゴリズムレベルで理解し、昔からあるJava関連の分散処理技術を見直す特集企画（編集部） Apache Hadoopプロジェクトとは何か？ 本特集では、いま再注目の分散処理技術についていろいろと紹介してきました。前編の「GoogleのMapReduceアルゴリズムをJavaで理解する」では、分散処理技術で最近注目を浴びているものとして、グーグルのMapReduceアルゴリズムを紹介し、中編の「イロイロな分散処理技術とイマドキのWebサービス」では、MapReduceに至るまでのさまざまな分散処理技術やWebサービスについて紹介しました。 そのMapReduceアルゴリズムをJavaで実装したも

"Graph algorithms" を考えます。 下図の S, A, B, C, D は 5 つの Web ページで、矢印は、Web リンクを表しているとします。（このような関係は、『有向グラフ』と捉えることができます。）このとき、ページ S からスタートして、最低、何クリックで、A 〜 D の各ページに到達するかを計算します。 ___________ ___________ ｜ 　　　　↓| ↓ Ｓ → Ａ → Ｂ → Ｃ ← Ｄ ↑____|↑__________|____↑ 再帰的な計算をごにょごにょすれば、何とかなる気がしますが（普通は、ダイクストラのアルゴリズムを使います）、MapReduce の場合は、基本的には『端から順番になめていく』タイプの計算しかできないので、次のように考えます。 1. 各ページの求める答えを（最初は不明なので）『？』と定義します。（S 自身は、不明で

前回はGoogleの基盤技術とそれに対応するオープンソースソフトウェアとして、Hadoop & hBaseを紹介しました（図1 参照）。今回はHadoopを1台にインストールし、サンプルプログラムを動かします。次にHDFSとMapReduceのアーキテクチャを解説します。最後にサンプルプログラムのソースコードを解説します。 2. Hadoopの概要 Hadoopは主にYahoo! Inc.のDoug Cutting氏によって開発が進められているオープンソースソフトウェアで、GoogleFileSystemとMapReduceというGoogleの基盤技術のオープンソース実装です。Hadoopという名前は開発者の子供が持っている黄色い象のぬいぐるみの名前に由来しています。HadoopはHDFS（Hadoop Distributed File System）、Hadoop MapReduce F