jupyterでyarn-clientのsparkを使う設定 - Qiita

テクノロジーカテゴリーの変更を依頼記事元:

qiita.com/rikima

1 userがブックマークコメント

コメント

0

記事へのコメント0件

注目コメント
新着コメント

新着コメントはまだありません。
このエントリーにコメントしてみましょう。

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

アプリのスクリーンショット

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

関連記事

{{ total_bookmarks_with_user_postfix }}{{ root_title }}

jupyterでyarn-clientのsparkを使う設定 - Qiita

sparkを使うにはtoreeを使う defaultで --master local[2]になっているのをyarn-clientに変える toreeの... sparkを使うにはtoreeを使う defaultで --master local[2]になっているのをyarn-clientに変える toreeの設定fileは/usr/local/share/jupyter/kernels/toree/kernel.jsonにある。これでsparkのspark-submitのオプション指定をしている。 masterをyarn-clientに変えるには下記のように変更する。 { "env": { "SPARK_HOME": "/usr/local/spark", "SPARK_OPTS": "--master=yarn-client --driver-java-options=-Xms1024M --driver-java-options=-Xmx8096M --driver-java-options=-Dlog4j.logLevel=info",

ブックマークしたユーザー

yoyama2017/06/09

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - テクノロジー

いま人気の記事 - テクノロジーをもっと読む

新着記事 - テクノロジー

新着記事 - テクノロジーをもっと読む

設定を変更しましたx