はてなブックマーク

表のDockerについて。。。 Engineはいわゆる普通のDocker。Dockerの実行環境です。 MachineはローカルやAWSなどの別環境にDockerのホストマシンを構築するツール。 通常、MacやWindowsでDockerを使う場合は、このMachineを用いて、ローカルのVirtualBoxにDockerホストのVMを作って、それに対して、dockerコマンドを実行していきます。 Composeは複数のコンテナのパラメータをYAMLファイルに記述しておいて、ワンボタンで環境構築するものです。 はじめにdockerの環境を整えておく Dockerで構築しておくと何度も同じインストール作業をしなくてよくなります。 MacだとDocker Toolboxをインストールすれば、Docker Engine, Machine, Composeの準備がすべて整います。 https://

Apache Sparkを使ってKey/ValueペアのRDDの集計をやってみました。 Hadoopでやっているようなmap, reduceの処理と同じです。 やったこと Hadoop MapReduceアプリの勉強のときに、Hadoopを用いて米国気候データセンター(NCDC)のデータを元に各年の最高気温を求めてみたのですが、これをSparkでやってみました。 試す前に調べたこと Apache Sparkの概要調査とQuickStartやってみたでやった内容 Sparkの処理はDriverプログラム一つと、複数のWorkerノードによって実行される Driverプログラムがマスターノード的な役割。 ローカルモードの際は全てローカルマシンで1スレッドで実行される。 RDDへの操作には二種類ある Transformation あるRDDから別のRDDを作る操作。filterやmapなど。