エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
このエントリについて ここ2ヶ月ぐらい Apache Spark でバッチ処理をするアプリケーションを作っていま... このエントリについて ここ2ヶ月ぐらい Apache Spark でバッチ処理をするアプリケーションを作っていました。 Apache Spark でがっつり何かを作るのは今回が初めてで、結構詰まったりしたところがありました。 自戒、および他の誰かの役にたてばという意味をこめてどういうところで困ったかというメモを残しておきます。 ちなみに Spark 1.1.0 で Java による開発という前提です。 (作ってるうちに Spark 1.2.0 が出てしまいました…) 困ったところ諸々 AWS EMR 上での jar ファイル利用 EMR 上で Spark アプリケーションとして作った jar ファイルを実行する方法が Apache Spark、AWS ともに公式提供されていません。 shell から動かせますよ、という記事ならあるのですが、やりたいのはそうじゃない。 最新の Spark バ