Submit Search
はやわかりHadoop
•
Download as PPT, PDF
•
19 likes
•
5,562 views
Shinpei Ohtani
Follow
1 of 152
Download now
Downloaded 166 times
More Related Content
はやわかりHadoop
1.
はやわかり Hadoop shot6
2.
Hadoop
3.
最近名前をよく聞く
4.
たまに いる
5.
「おお、あの 新型 DB
だろ? 早いの?」
6.
たまに いる
7.
「あのクラウドね。 SaaS だっけ?」
8.
「ああ、 Google のあれでしょ?」
9.
おしい
10.
実態がよくわかってない人も多い
11.
NO PROBLEM
12.
何ら恥じることはない
13.
Hadoop とは
14.
並列分散処理基盤
15.
・・・
16.
バッチ基盤 分析基盤
17.
なんとなくわかる
18.
巨大な データ
19.
100GB のログ
20.
これを 処理する
21.
並列 に
22.
そして 安価 に
23.
サーバを追加
24.
=
25.
処理性能アップ
26.
でも最も重要な点
27.
生態系
28.
29.
エコ システム
30.
全体を俯瞰
31.
これ 重要
32.
この LT の目的
33.
ディストリビューション
34.
そもそも 3 つ
ある
35.
Apache Hadoop
36.
本家 本元
37.
特徴
38.
リリースが慎重
39.
様々な 要望
40.
色々な 事情
41.
あるはず
42.
早く進化したい
43.
もっと 機能追加したい
44.
あるはず
45.
OSS の ジレンマ
46.
47.
でも
48.
互換性 重視
49.
堅実 な進化
50.
大人 な OSS
51.
Cloudera Hadoop
52.
米国 Cloudera 社
53.
54.
特徴
55.
エンタープライズ 向け?
56.
簡単
57.
yum/ apt
58.
即 インストール
59.
設定も 楽ちん
60.
大量バグフィックス
61.
例えば
62.
hadoop-0.20.1 +169
63.
169 個 の
バグフィックス
64.
Apache 版に貢献済
65.
Cloudera Desktop
66.
Hadoop の管理ツール
67.
68.
69.
超絶便利 ( まだ
α )
70.
Yahoo Hadoop
71.
Yahoo で使用
72.
巨大クラスタでの実績
73.
品質向上 に全力
74.
セキュリティ などの新機能
75.
勿論膨大なバグフィックス
76.
Apache 版に貢献済
77.
Hadoop を 支える
トライアングル
78.
Apache Hadoop Cloudera
Hadoop Yahoo Hadoop フィードバック フィードバック 意見交換
79.
機能
80.
大量
81.
Core Map Reduce
HDFS Zoo Keeper HBase Pig Hive Chukwa Cloudera Desktop Avro Sqoop
82.
Core
83.
Hadoop の中核
84.
基本的な通信、 IO 、ファイルシステム、設定などなど
85.
HDFS
86.
H adoop D
istributed F ile S ystem
87.
Hadoop 分散ファイルシステム
88.
巨大ファイルを でかめのブロックに分割し、 管理・保存
89.
ノード間は勝手にレプリケーションする
90.
Elastic さを持つファイルシステム
91.
92.
NameNode は、ファイル名、ブロック、ノードの対応の管理
93.
DataNode は、ブロックを 管理
94.
Hadoop MapReduce
95.
みんな大好き MapReduce プログラミング
96.
並列処理 プログラミング モデルの一種
97.
Hadoop と プログラマの
基本的な 接点
98.
Map :
ある観点でデータをまとめる。
99.
Reduce : ソート済みデータを集約・計算する
100.
仕組み
101.
ジョブトラッカーと タスクトラッカー
102.
ジョブトラッカー と タスクトラッカー
103.
104.
キモイ… .
105.
じゃなくて
106.
MapReduce ジョブを適切なタスクに分解し管理
107.
ジョブトラッカーと タスクトラッカー
108.
分解された タスクを実行。
109.
Map/Reduce タスクは 子
JVM 起動 して実行。
110.
データがある ところで、 タスクを起動。
111.
ここまでが 基本中の基本
112.
こっからは 早足
113.
HBase
114.
Hadoop 上に構築した DB
115.
BigTable クローン
116.
Hadoop が本来不得意な 小口データ
を効率よく処理
117.
Hive/Pig
118.
119.
ちょ w
120.
MapReduce を書くのが メンドイ
121.
そんな人のための簡易言語
122.
Pig のほうが独自っぽい
123.
Pig は Yahoo
が 作成
124.
Hive は SQL
っぽい
125.
Hive は FaceBook
が作成
126.
Zoo Keeper
127.
やあ
128.
ちょ w
129.
分散協調サービス
130.
リソースやデータの 調整役
131.
Chukwa
132.
データ収集システム
133.
小さな大量ログを Hadoop で扱い易く
134.
使ってる人いない ^^;?
135.
Avro
136.
シリアライズシステム
137.
非常に高速かつ柔軟
138.
ベンチ マーク
139.
140.
爆速
141.
現状 Hadoop に組み込まれていない
142.
今後 Avro ベースになるはず
143.
要注目
144.
他にも
145.
Cascading
146.
まとめ
147.
Hadoop
148.
ひとつの ミドルウェア
149.
ではなく
150.
複数ミドルウェアを 支える
151.
プラットフォーム
152.
Have fun with
Hadoop family !
Download