とゆーわけで、なにやらWeb記事にのったようです。
よく考えたらこのblogは匿名blogのはずだったのだが、なんか事実上周知の事実らしいので
もはやどうでもいい。
- 関連記事
-
- RHELのSRPMの置き場所 (2008/03/30)
- OOM killerとの危険な関係に終止符は打てません (2008/02/29)
- CELF Technical Jamboree #19 (2008/02/19)
まりおんさんに謝らねばなるまいて・・・
- 関連記事
-
- インターネット復活した (2008/03/20)
- ぐぎゃーん (2008/02/29)
- 英語で「だが断る」とやんわり言うのが難しいという話 (2008/02/20)
あわてて、だが断るだが断るだが断ると連呼したが、最初むこうはなんでそんなにマージをいやがるのか理解できなかったようだ。
うーむ、たしかに見るからに副作用がないパッチなので、mmかっとばして2.6.26に入っても誰かがギャッーと叫ぶ事はないと思うのだが。
上手な断り方をもっと勉強する必要があるよね、向こうはすごい親切な人なんだし(´・ω・｀)
- 関連記事
-
- ぐぎゃーん (2008/02/29)
- 英語で「だが断る」とやんわり言うのが難しいという話 (2008/02/20)
- 出身大学が変態だった件について (2008/02/16)
おおお・・・
しかし、単語のカバー率がやたら低いのであった・・・
- 関連記事
-
- 貴様の問題などどうでもいい (2008/06/29)
- beckyでスペルチェック (2008/02/20)
- それって対処じゃないよー (2007/12/19)
http://www.celinuxforum.org/
見かけたら声をかけてくださいませ ＞各位
- 関連記事
-
- OOM killerとの危険な関係に終止符は打てません (2008/02/29)
- CELF Technical Jamboree #19 (2008/02/19)
- hackbenchが1000% 速くなるパッチをLKMLに投げた (2008/02/19)
絶対反対すると思っていたNick Pigginが
Yeah this is definitely needed and a nice result.
とか言い出したので、かなりいい流れ。
background
========================================
current VM implementation doesn't has limit of # of parallel reclaim.
when heavy workload, it bring to 2 bad things
- heavy lock contention
- unnecessary swap out
abount 2 month ago, KAMEZA Hiroyuki proposed the patch of page
reclaim throttle and explain it improve reclaim time.
http://marc.info/?l=linux-mm&m=119667465917215&w=2
but unfortunately it works only memcgroup reclaim.
Today, I implement it again for support global reclaim and mesure it.
test machine, method and result
==================================================
CPU: IA64 x8
MEM: 8GB
SWAP: 2GB
got hackbench from
http://people.redhat.com/mingo/cfs-scheduler/tools/hackbench.c
$ /usr/bin/time hackbench 120 process 1000
this parameter mean consume all physical memory and
1GB swap space on my test environment.
before:
hackbench result: 282.30
/usr/bin/time result
user: 14.16
sys: 1248.47
elapse: 432.93
major fault: 29026
max parallel reclaim tasks: 1298
max consumption time of
try_to_free_pages(): 70394
after:
hackbench result: 30.36
/usr/bin/time result
user: 14.26
sys: 294.44
elapse: 118.01
major fault: 3064
max parallel reclaim tasks: 4
max consumption time of
try_to_free_pages(): 12234
conclusion
=========================================
this patch improve 3 things.
1. reduce unnecessary swap
(see above major fault. about 90% reduced)
2. improve throughput performance
(see above hackbench result. about 90% reduced)
3. improve interactive performance.
(see above max consumption of try_to_free_pages.
about 80% reduced)
4. reduce lock contention.
(see above sys time. about 80% reduced)
Now, we got about 1000% performance improvement of hackbench :)
foture works
==========================================================
- more discussion with memory controller guys.
Signed-off-by: KOSAKI Motohiro
CC: KAMEZAWA Hiroyuki
CC: Balbir Singh
CC: Rik van Riel
CC: Lee Schermerhorn
---
include/linux/nodemask.h | 1
mm/vmscan.c | 49 +++++++++++++++++++++++++++++++++++++++++++++--
2 files changed, 48 insertions(+), 2 deletions(-)
Index: b/include/linux/nodemask.h
===================================================================
--- a/include/linux/nodemask.h 2008-02-19 13:58:05.000000000 +0900
+++ b/include/linux/nodemask.h 2008-02-19 13:58:23.000000000 +0900
@@ -431,6 +431,7 @@ static inline int num_node_state(enum no
#define num_online_nodes() num_node_state(N_ONLINE)
#define num_possible_nodes() num_node_state(N_POSSIBLE)
+#define num_highmem_nodes() num_node_state(N_HIGH_MEMORY)
#define node_online(node) node_state((node), N_ONLINE)
#define node_possible(node) node_state((node), N_POSSIBLE)
Index: b/mm/vmscan.c
===================================================================
--- a/mm/vmscan.c 2008-02-19 13:58:05.000000000 +0900
+++ b/mm/vmscan.c 2008-02-19 14:04:06.000000000 +0900
@@ -127,6 +127,11 @@ long vm_total_pages; /* The total number
static LIST_HEAD(shrinker_list);
static DECLARE_RWSEM(shrinker_rwsem);
+static atomic_t nr_reclaimers = ATOMIC_INIT(0);
+static DECLARE_WAIT_QUEUE_HEAD(reclaim_throttle_waitq);
+#define RECLAIM_LIMIT (2 * num_highmem_nodes())
+
+
#ifdef CONFIG_CGROUP_MEM_CONT
#define scan_global_lru(sc) (!(sc)->mem_cgroup)
#else
@@ -1421,6 +1426,46 @@ out:
return ret;
}
+static unsigned long try_to_free_pages_throttled(struct zone **zones,
+ int order,
+ gfp_t gfp_mask,
+ struct scan_control *sc)
+{
+ unsigned long nr_reclaimed = 0;
+ unsigned long start_time;
+ int i;
+
+ start_time = jiffies;
+
+ wait_event(reclaim_throttle_waitq,
+ atomic_add_unless(&nr_reclaimers, 1, RECLAIM_LIMIT));
+
+ /* more reclaim until needed? */
+ if (unlikely(time_after(jiffies, start_time + HZ))) {
+ for (i = 0; zones[i] != NULL; i++) {
+ struct zone *zone = zones[i];
+ int classzone_idx = zone_idx(zones[0]);
+
+ if (!populated_zone(zone))
+ continue;
+
+ if (zone_watermark_ok(zone, order, 4*zone->pages_high,
+ classzone_idx, 0)) {
+ nr_reclaimed = 1;
+ goto out;
+ }
+ }
+ }
+
+ nr_reclaimed = do_try_to_free_pages(zones, gfp_mask, sc);
+
+out:
+ atomic_dec(&nr_reclaimers);
+ wake_up_all(&reclaim_throttle_waitq);
+
+ return nr_reclaimed;
+}
+
unsigned long try_to_free_pages(struct zone **zones, int order, gfp_t gfp_mask)
{
struct scan_control sc = {
@@ -1434,7 +1479,7 @@ unsigned long try_to_free_pages(struct z
.isolate_pages = isolate_pages_global,
};
- return do_try_to_free_pages(zones, gfp_mask, &sc);
+ return try_to_free_pages_throttled(zones, order, gfp_mask, &sc);
}
#ifdef CONFIG_CGROUP_MEM_CONT
@@ -1456,7 +1501,7 @@ unsigned long try_to_free_mem_cgroup_pag
int target_zone = gfp_zone(GFP_HIGHUSER_MOVABLE);
zones = NODE_DATA(numa_node_id())->node_zonelists[target_zone].zones;
- if (do_try_to_free_pages(zones, sc.gfp_mask, &sc))
+ if (try_to_free_pages_throttled(zones, 0, sc.gfp_mask, &sc))
return 1;
return 0;
}
- 関連記事
-
- CELF Technical Jamboree #19 (2008/02/19)
- hackbenchが1000% 速くなるパッチをLKMLに投げた (2008/02/19)
- うむ (2008/02/18)
- 関連記事
-
- hackbenchが1000% 速くなるパッチをLKMLに投げた (2008/02/19)
- うむ (2008/02/18)
- 2.6.25-rc2 (2008/02/16)
http://headlines.yahoo.co.jp/hl?a=20080216-00000918-san-soci
なんか、こんな記事があるらしい。
２ｃｈでも結構スレッドが立っている模様。
今度海外で講演する機会があったら、ぜったいKinki University出身です。からプレゼンを始めるよ(ﾟ∀ﾟ)
近大生から近大職員となったアテネ五輪競泳バタフライ２００メートル銀メダリスト、山本貴司選手は、海外遠征で大学名入りＴシャツを着ていると、外国人選手から交換してくれと毎回のように頼まれるという。
また、左胸に「ＫＩＮＫＩ ＵＮＩＶＥＲＳＩＴＹ」と書かれたオリジナルＴシャツを送ってほしい、と海外から近大にメールが寄せられることも。米人気歌手、ビヨンセのバックバンドでベースを担当している女性から「世界ツアーで近大Ｔシャツを着たいので送ってほしい」と問い合わせもあったという。
バカに国境はない(´・ω・｀)
- 関連記事
-
- 英語で「だが断る」とやんわり言うのが難しいという話 (2008/02/20)
- 出身大学が変態だった件について (2008/02/16)
- 福井市の小学生が驚くべき発見 (2008/02/11)
被害者（Lee）に黙祷・・・
- 関連記事
-
- うむ (2008/02/18)
- 2.6.25-rc2 (2008/02/16)
- LWNのコメント多すぎ (2008/02/12)
んで、一生懸命LWNのアドレスをさがしたら、あった、あった
http://lwn.net/Articles/267013/
なんか、コメントが５０個ちかく、印刷すると１０ページを超えるぐらいついてる。
お、おまいら。。
LKMLでは誰もコメントくれないくせに、こんな所で・・・・
とりあえず、がんがって読むぜ (｀･ω･´)
- 関連記事
-
- 2.6.25-rc2 (2008/02/16)
- LWNのコメント多すぎ (2008/02/12)
- きになるー (2008/02/12)
- 関連記事
-
- LWNのコメント多すぎ (2008/02/12)
- きになるー (2008/02/12)
- Linux Today記念リリース (2008/02/10)
というエントリを檜山さんがblogで書いたんだけど、めずらしく答えは次回で発表方式になっていて話題を呼んでいる。
てゆーか、みんなはてブのコメント欄で答えの予想を書きまくっている。
一番笑ったのはこれ↓
外周は面積を裏切らない 面積も外周を裏切ってはならない
- 関連記事
-
- 出身大学が変態だった件について (2008/02/16)
- 福井市の小学生が驚くべき発見 (2008/02/11)
- Zijilstra と Jrsutela (2008/02/04)
だんだんメンドくなってきたので、今回からはRFCをとった。
あと、コメントがあまりに少ないと色々と具合が悪いので、今までコメントをくれた関係者をCCしまくってやった。
- 関連記事
-
- きになるー (2008/02/12)
- Linux Today記念リリース (2008/02/10)
- Linux Todayにmem_notifyが載りました (2008/02/09)
Linux Todayって知らないんだけど、たぶん、Linuxをウォッチしているニュースサイト。
ありがたいことに、パッチの紹介がとてもよくまとまっているので、次からのパッチ投稿では
いただきだぜ！ｗｗ
でも
it would seem to be getting close to being merged.
は誇張にもほどがある、とかオモタ
ところで、こういうニュースサイトって掲載するときに関係者に連絡はこんもんなのね。
運よく気づいたけど、普通だったら、ぜってー気づかねー
そして、予想通りコメント欄は「こんなんイラネー」「OOM killerサイコー」という声で荒れるであった
追記：
親切な人から、あれはLWNの記事であって、Linux Todayとは関係ないよーと指摘をいただいた。
うーむ、記事が載っているサイトを調べようとしてリンクを見まくっているうちに、あらぬ誤解をしてしまったようだ。
これは恥ずかしい。
しかしLWNがなんなのかはやっぱり分からないのであった（＾＿＾；
たぶん、Linux関係のニュースなんだろうけど・・・
- 関連記事
-
- Linux Today記念リリース (2008/02/10)
- Linux Todayにmem_notifyが載りました (2008/02/09)
- ページマイグレーションのデバッグ (2008/02/05)
切り分けの結果ページマイグレーションを契機にリークしていることを突き止める。
彼はまじめなので自分のコードを疑いまくっていたようだが、結局原因はRik van Rielのコードであった。
しかも超単純に明らかに不要なget_page()を呼び出しのせいで、参照カウンタが０にならなくなっていただけという・・・・
Rikよ。。。
追記： 訂正。元になったnick pigginのパッチからしてまちがっとるわ( ﾟдﾟ)､ﾍﾟｯ
追追記： すまんnick。あんたのパッチはやっぱあってるわ。悪いのはrebaseするときにエンバグさせたLee ←結局１周しとるね
- 関連記事
-
- Linux Todayにmem_notifyが載りました (2008/02/09)
- ページマイグレーションのデバッグ (2008/02/05)
- ううむ (2008/02/03)
- 関連記事
-
- 福井市の小学生が驚くべき発見 (2008/02/11)
- Zijilstra と Jrsutela (2008/02/04)
- イリピー・オントール (2008/01/23)
ext4のメールなんて追ってないものなー
- 関連記事
もちろん最新版ではなく１つ古い3DMark06をである。
あのベンチの最新版がまっとうなPCで動くわけないでしょ（暴論）
２年も前のソフトを買ったばかりのハードで動かすので楽勝かと思いきやFPS３とか出る。
3Dmarkテラオソロシス( ﾟДﾟ)。。。
- 関連記事
-
- jemalloc (2008/04/14)
- 3DMark (2008/02/03)
- Windows VistaのIE7で文字サイズ変更が記憶されない。 (2007/12/02)
でもって、今日は朝からLeeからLKML外で一緒に開発しようメールをばんばん受け取る。
まったくイヤではないので、まあいいのだが。
(1) $ ./hackbench 150 process 1000
(2) # sync; echo 3 > /proc/sys/vm/drop_caches
$ dd if=tmp10G of=/dev/null
$ ./hackbench 150 process 1000
vanilla 2.6.24-rc8-mm1
(1) 127.540 （単位：秒）
(2) 727.548
B. 2.6.24-rc8-mm1 + split-lru-patch-series
(1) 92.730
(2) 758.369
2.6.24-rc8-mm1 + rvr-split-lru + kosakiパッチ
(1) 61.965 (Vanillaから約2倍の改善）
(2) 85.444 (Vanillaから約10倍の改善）
- 関連記事
-
- ううむ (2008/02/03)
- Linux VM scalability effort メンバーになってしまった件について (2008/02/01)
- kdumpの設定ができん (2008/01/28)