Download as PDF, PPTX
![[Japanese Content] Lance Riedel_The App Server, The Hive in Tokyo_Aug29](https://cdn.slidesharecdn.com/ss_thumbnails/lanceriedelappserver-thehiveaug29-130920154018-phpapp01-thumbnail.jpg?width=640&height=640&fit=bounds)
Apache Sparkの紹介
- 1.
- 2. 本日の内容 • 少しだけ自己紹介 • Hadoopとそのエコシステムの説明 •Sparkの概要説明
- 3. 少しだけ自己紹介 • 大阪のソフトウェア開発企業 （Sky株式会社）勤務。 • コンピュータの技術書翻訳を やってます。 •ビッグデータ、ソフトウェア開 発に関する本が中心。
- 4.
- 5.
- 6. 「ビッグデータ」の定義 • 実は広く認められている定義はない • マーケティング的には言ったもん勝ち的な･･･ •純粋に量のこともあれば、レコード数のこともある • 個人的には「数台のサーバーでは扱いきれない量のデータ」 という感覚を持っています • 技術的には、運用上障害の発生の可能性が無視できなくな ると、一気に難易度が上がる
- 7.
- 8. 2000年頃の状況 • もくろみ：山盛りのデータを捨てずに活用したらいいことあるのでは？ • 状況：そうはいってもコストが合わない。 コンピュータ単体の性能向上は行き詰まり気味。 •ブレークスルー : スケールアウト型の分散処理フレームワーク。 ブレークスルーになったのが GoogleのGFS / MapReduce
- 9.
- 10. Hadoop 0.x • 分散ファイルシステム：HDFS •分散コンピューティングフレー ムワーク：MapReduce • 生MapReduceでプログラムを書 くのは非常に大変 HadoopRDB OS ファイルI/O メモリバッファ クエリ実行エンジン SQL ドライバ OS HDFS MapReduce 注：この対比はちょっと無理矢理です
- 11.
- 12. HBase • HDFS上で動作するNoSQLデータベースエ ンジン • 「生」のHadoop（HDFS）は徹底した バッチ指向で、大量のデータをまとめて 書き、一気に読み込んで処理をすること に対してチューニングされている。 •これに対し、HBaseはHDFSを基盤にしつ つも、小さいデータのランダムな書き込 み・更新・読み取りに高い性能を発揮で きる。スケーラビリティも極めて高い。
- 13. Hive • HDFS+MapReduce上で動作するSQLクエリエ ンジン • MapReduceは処理のスケーラビリティや耐障 害性を担保するものの、「生」MapReduceは プログラミングが大変 •おなじみのSQLを使って、HDFS上に保存され ているデータに対してアクセスできるようになっ た • しかし意外と速くない（特に小さいクエリ） ことが問題視されることに･･･ • Schema on Read関連はエコシステムの他の ツールからも利用されます
- 14. Hadoop 2.x • クラスタのリソースマネージャー としてYARN（YetAnother Resource Manager）が登場、 MapReduce以外の分散コンピュー ティングフレームワークの誕生の 素地となる • そして新たに登場したのがSpark • 別のトレンドとして、インメモリ 系のSQLエンジンが増えてきた OS HDFS Hive e.t.c. HBaseMapReduce YARN Spark （Spark Streaming, MLlib, GraphX, Spark SQL) 注：この階層図は技術的に正確ではありません。 複雑すぎて正確に描くことはたぶん無理･･･ Impalaなど （インメモ リ系SQL） 「Hadoopって何？」という問いに対する答はどんどん難しく なっていて、狭義ではHDFS+YARN+MapReduceあたりで す。ただ、全部ひっくるめて「エコシステム」と表現するこ とが多くなりました。
- 15.
- 16. Sparkとは • 分散処理のコンピューティングフレームワーク • あえて言うなら相当するのはMapReduceのところ •特徴となるのは高速性とプログラミングの容易さ OS HDFS Hive e.t.c. HBaseMapReduce YARN Impalaなど （インメモ リ系SQL） Spark （Spark Streaming, MLlib, GraphX, Spark SQL)
- 17. Sparkとは • エンジンそのものはScalaで書かれています。 • ScalaはJVM上で動作する関数型言語で、型推論や高度なデー タ型をサポートしているおり、複雑なアルゴリズムを簡潔なコー ドで表現できます。 •Spark上で動作するアプリケーションを書くための言語として は、Scala、Java、Pythonが標準。ただし、Javaはコードが 冗長になりがちで、Pythonはいろいろと制約があります。
- 18. Sparkの狙い • CPUの利用効率の向上 • Hadoop（HDFS+MapReduce）ではCPUを使い切れていなかった •mapフェーズ、reduceフェーズごとのHDFSへのI/OとJVMの起動 が問題 • 抽象度の高いプログラミングモデルの提供による開発効率の向上 • インタラクティブな利用（Spark-shellやPySpark、SparkR、Spark- SQLなど）からバッチ処理までサポートする
- 19.
- 20. 開発の容易性 public void map(….)… { String line = value.toString(); StringTokenizer tokenizer = new StringTokenizer(line); while (tokenizer.hasMoreTokens()) { word.set(tokenizer.nextToken()); output.collect(word, one); } } public void reduce(…) … { int sum = 0; while (values.hasNext()) { sum += values.next().get(); } output.collect(key, new IntWritable(sum)); } val textFile = spark.textFile("hdfs://...") val counts = textFile.flatMap(line => line.split(" ")) .map(word => (word, 1)) .reduceByKey(_ + _) counts.saveAsTextFile("hdfs://...") Spark MapReduce シェルから 直接実行可能
- 21. Sparkの様々なモジュール Spark SQL （DataFrameAPI） RDDをデータベースのテーブルのように扱うためのモジュー ル。SQL（HiveQL）でRDDのデータにアクセスできる。1.4 からは、さらに汎用的なDataFrame APIが提供されている。 SparkStreaming ストリーミングデータ処理を行うためのモジュール。センサ ーデータなどの処理に。 MLlib 機械学習のライブラリ。特に並列処理が活用できるアルゴリ ズムを中心に、活発に開発が続けられている。 GraphX グラフデータベースのモジュール。
- 22. Sparkの動作環境 • ローカルモード（単一のPCでも一応動作します。開発OK） • Standaloneクラスタ（10台くらいまでならなんとか使えるかも。た だし分散ストレージがないのはハンデ） •本命はYARN（Hadoop 2.x）上での運用 • Mesos（Apache Software Foundationのクラスタマネージャ）上で も動作するものの、ケースとしては少なさそう
- 23. Sparkのインタラクティブな利用 （シェルとノートブック） • Sparkのインタラクティブシェル • spark-shell/ spark-sql（Scala） • PySpark（Python） • SparkR（R） • 「ノートブック」系のツールは要注目 • Jupyter（ipython notebook） • Apache Zeppelin http://ipython.org/notebook.html
- 24. Sparkの実行モデル • ユーザーが起動するアプリケーションは’Driver’と呼ばれます • Driverは、クラスタ内のExecutor群（実体はJVMのプロセス）を使って処理を進めます •ユーザーのコードは、必要に応じてDriverからExecutorに配布され、分散実行されます Slave Executor Storage Master Driver Cluster Manager Slave Executor Storage Slave Executor Storage Slave Executor Storage
- 25. SparkR • Rの強み：豊富なライブラリ、既存のユーザー • Hadoop/Sparkの強み：スケーラビリティ •SparkR : RによるSparkシェル • SparkのDataFrameをRから操作できる • SparkのDataFrameをRのDataFrameと変換できる
- 26. SparkRの実行モデル • DriverとしてRが動作する • Rからは、SparkのDataFrameを扱える •SparkのDataFrameとRのDataFrameを相互変換できる Slave Executor Storage Master SparkR Cluster Manager Slave Executor Storage Slave Executor Storage Slave Executor Storage
- 27. RDD（Resilient Distributed Dataset） •論理的にはコレクション • 物理的にはクラスタ内のノードに分散配置される • RDDに対して「変換」をかけて、新たなRDDを生成する。その際に生 成されるのはRDD間の系統グラフであり、まだ演算処理は行われない • RDDに対して「アクション」を行うと、系統グラフをさかのぼって計 算が実行される # テキストを読んでRDDを生成 rmRDD = sc.textfile(‘readme.md’) #フィルタをかけて次のRDDを生成 spRDD = rmRDD.filter(…) #もう1つフィルタ。 sp10RDD = spRDD.filter(…) #この時点ではまだテキストファイルも読まれていない #行数のカウント。この時点ですべての処理が走る count = sp10RDD.count() 元のファイル rmRDD spRDD sp10RDD
- 28. RDD（Resilient Distributed Dataset） •アクションを実行すると、各エクゼキュータ内で一気に系統グラフの計算が行われる。 • JVMの再起動は伴わず、ディスクへのアクセスも少ない。 • CPUのI/O待ちが少なく、使用効率が上がる # テキストを読んでRDDを生成 rmRDD = sc.textfile(‘readme.md’) #フィルタをかけて次のRDDを生成 spRDD = rmRDD.filter(…) #もう1つフィルタ。 sp10RDD = spRDD.filter(…) #この時点ではまだテキストファイルも読まれていない #行数のカウント。この時点ですべての処理が走る count = sp10RDD.count() 元のファイル rmRDD spRDD sp10RDD 123
- 29. RDD（Resilient Distributed Dataset） •計算されたRDDの内容は、メモリもしくはディスクにキャッシュできる • 初回のアクション実行時にキャッシュが行われ、それ以降のアクション実行時 には、キャッシュされたところまでしか系統グラフはさかのぼらない rmRDD = sc.textfile(‘readme.md’) spRDD = rmRDD.filter(…) #キャッシュの指示。この時点ではまだキャッシュされない spRDD.persist() sp10RDD = spRDD.filter(…) sp20RDD = spRDD.filter(…) #行数のカウント。この時点でspRDDがキャッシュされる count10 = sp10RDD.count() #行数のカウント。spRDDの再計算は走らない count20 = sp20RDD.count() 元のファイル rmRDD spRDD sp10RDD 123
- 30. RDD（Resilient Distributed Dataset） •計算されたRDDの内容は、メモリもしくはディスクにキャッシュできる • 初回のアクション実行時にキャッシュが行われ、それ以降のアクション実行時には、キャッシュされ たところまでしか系統グラフはさかのぼらない • 繰り返しの処理を伴うアルゴリズムを効率的に実行できるため、機械学習との相性がいい rmRDD = sc.textfile(‘readme.md’) spRDD = rmRDD.filter(…) #キャッシュの指示。この時点ではまだキャッシュされない spRDD.persist() sp10RDD = spRDD.filter(…) sp20RDD = spRDD.filter(…) #行数のカウント。この時点でspRDDがキャッシュされる count10 = sp10RDD.count() #行数のカウント。spRDDの再計算は走らない count20 = sp20RDD.count() 元のファイル rmRDD spRDD sp10RDD 123 sp20RDD 456
- 31.
- 32. Hadoopエコシステムの利用 • 自前での運用と構築は大変です。 • 一番お勧めなのは、クラウドのHadoopのサービスを使うこと（AWSの ElasticMapReduceとかAzureのHDInsight）。 • たいていの場合、「Hadoopの運用力」がビジネスの競争力の源泉ではない はずなので、そこはプロバイダに任せるほうが合理的だと思います（よほ どクリティカルな部分でHadoopを使うのでなければ）。 • データセンターで運用する場合、あるいはお試し的に手元でクラスタ組む 場合は、Clouderaのディストリビューション（http://www.cloudera.co.jp/ products-services/cdh/cdh.html）が第一候補になると思います。
- 33.
- 34.