Etsukata blog: Hadoop : CPU system 使用率高騰 "zone_reclaim_mode = 1" 編

テクノロジーカテゴリーの変更を依頼記事元:

blog.etsukata.com

21 usersがブックマークコメント

コメント

2

記事へのコメント2件

注目コメント
新着コメント

s-wool これCloudera Managerのホストインスペクタで怒ってくれるとうれしい。

2015/10/23 リンク

orangeclover LinuxでのperfとFlameGraph でのコールグラフはよさげ。『Hadoop : CPU system 使用率高騰 "zone_reclaim_mode = 1" 編』

2015/10/10 リンク

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

アプリのスクリーンショット

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

関連記事

{{ total_bookmarks_with_user_postfix }}{{ root_title }}

Etsukata blog: Hadoop : CPU system 使用率高騰 "zone_reclaim_mode = 1" 編

はじめに会社で PB 級の Hadoop クラスタを運用していますが、ある日から Datanode の CPU system (Ker... はじめに会社で PB 級の Hadoop クラスタを運用していますが、ある日から Datanode の CPU system (Kernel 内での CPU 使用率) が高騰し、Job が遅延するという症状が発現しました。Hadoop で CPU system 高騰というと、 Transparent HugePage 設定が有名ですが、そちらについては既に特定し、対策済みでした。 THP と Hadoop に関係については下記 Blog が詳しいです。 Transparent Huge Pages and Hadoop Workloads 今回は THP ではなく、 "zone_reclaim_mode" の設定による性能劣化について、現象から原因特定に至るまでの経緯と、推奨する設定について解説します。現象観測された現象について簡単に箇条書きします。 CPU user が 5% 程度

ブックマークしたユーザー

takayuki0072018/06/23
bopperjp2017/11/18
emmeleia2017/05/25
Spring_MT2017/04/13
peketamin2016/09/07
daisukebe2016/06/23
kuenishi2016/06/21
n-sega2016/04/22
yoheimuta2016/03/10
yukimori_7262015/10/27
s-wool2015/10/23
orangeclover2015/10/10
s_nkmc2015/10/04
y0sh1kaw2015/10/01
hiboma2015/09/28
dann2015/09/27

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - テクノロジー

いま人気の記事 - テクノロジーをもっと読む

新着記事 - テクノロジー

新着記事 - テクノロジーをもっと読む

設定を変更しましたx