JRuby と CRuby の Rails アプリの性能比 (並列度との関係)

前回の記事では、Apache Bench で並列度を 10 に固定した状態で、アプリケーションサーバごとの render :text => 'xxx' の性能比をみてみましたが、Charles Nutter さんからもコメントをもらったので、並列度に応じた性能の変化を調べてみました。

• Charles O Nutter 2009/01/31 02:56

You may want to try running your benchmark with a higher concurrency. GlassFish does better and better as the number of concurrent requests is increased.

環境は相変わらず Core 2 Duo な iMac 上で、アプリも ab も動かしてるので、いっぱいいっぱいになってしまっているところもありますが、クライアントからの同時接続数の増加にともなうアプリケーションサーバの性能変化について、以下の結果が得られました。

CRuby では、Mongrel の場合、並列度があがるほど性能が明かに劣化しますが、Thin はなかなかいい感じです。一方 JRuby では、GlassFish は Thin に迫るいい結果です。ちなみに server オプションで動かしました。
ざっと見た限り、CRuby + Thin も JRuby + GlassFish も、並列度 100 くらいでは性能劣化の気配はほとんど見られませんでした。
# GlassFish はメモリの使用量が増えてくると性能劣化してきますが、それはまたそれとして...。 (^^;

もう少しコア数の多い環境で比べてみたくなってきましたね...。

結果

並列度	CRuby+Mongrel	CRuby+Thin	JRuby+GlassFish
1	357.16	427.33	220.95
2	331.06	445.27	364.69
5	319.43	455.82	415.80
10	313.83	461.64	440.32
20	307.54	461.57	443.40
50	293.56	461.36	435.78
100	274.87	457.43	421.24

# 表の数字は、下記で取得した Requests per seconds [#/sec] の平均値となります。

% ab -n 10000 -c 並列度 http://localhost:xxx

環境

• iMac (intel Core 2 Duo 2.33GHz)
• Mac OS X 10.5.6

• 処理系、ライブラリのバージョンは以下のとおり

% ruby186 -v
ruby 1.8.6 (2008-08-11 patchlevel 287) [i686-darwin9.6.0]

% jruby -v
jruby 1.1.6RC1 (ruby 1.8.6 patchlevel 114) (2008-12-03 rev 8263) [i386-java]

% java -version
java version "1.6.0_07"
Java(TM) SE Runtime Environment (build 1.6.0_07-b06-153)
Java HotSpot(TM) 64-Bit Server VM (build 1.6.0_07-b06-57, mixed mode)

% $GLASSFISH_HOME/bin/asadmin version
バージョン = Sun GlassFish Enterprise Server v2.1

% gem list --local

*** LOCAL GEMS ***

mongrel (1.1.5)
rails (2.2.2)
thin (1.0.0)
warbler (0.9.12)
...

# 目ぼしいものを適当に抜粋

測り方

• render :text => 'Hello World!' だけのアクションを用意
• ab -n 10000 -c 10 http://localhost:xxx で -c に渡す値を 1, 2, 5, 10, 20, 50, 100 に変化させて計測
• ab と Rails は同一筐体で動作
• Rails の threadsafe オプションは uncomment (つまり利用)
• 当たり前だけど、production 環境
• 各並列度ごとに 5回計測して、最小/最大値を除外して平均値を算出 (5回分すべてのデータは下記参照)
• JRuby + GlassFish はメモリ使用量が増えると性能が劣化したので、その傾向がではじめたら GlassFish を再起動して再計測

詳細

左から順に、並列度、最小/最大値を除外した平均値、全計測結果(5回分) です。

• CRuby + Mongrel

concurrency:1 average:357.16 <= [357.32, 355.97, 356.73, 357.45, 357.43]
concurrency:2 average:331.06 <= [331.27, 332.16, 331.48, 330.42, 328.91]
concurrency:5 average:319.43 <= [321.23, 318.95, 320.2, 318.73, 319.13]
concurrency:10 average:313.83 <= [314.14, 313.71, 313.49, 314.03, 313.74]
concurrency:20 average:307.54 <= [308.16, 307.94, 306.59, 304.89, 308.08]
concurrency:50 average:293.56 <= [295.57, 292.58, 292.52, 293.64, 294.47]
concurrency:100 average:274.87 <= [276.25, 274.7, 275.47, 274.31, 274.44]

• CRuby + Thin

concurrency:1 average:427.33 <= [426.65, 427.25, 428.03, 426.7, 429.2]
concurrency:2 average:445.27 <= [443.02, 445.57, 443.83, 448.66, 446.41]
concurrency:5 average:455.82 <= [456.15, 458.36, 454.6, 455.05, 456.25]
concurrency:10 average:461.64 <= [462.86, 461.37, 445.55, 461.57, 461.97]
concurrency:20 average:461.57 <= [462.58, 460.16, 463.06, 461.96, 459.45]
concurrency:50 average:461.36 <= [461.56, 461.09, 462.14, 460.27, 461.43]
concurrency:100 average:457.43 <= [457.8, 458.65, 456.21, 458.28, 455.2]

• JRuby + GlassFish v2.1 (server option)

concurrency:1 average:220.95 <= [150.02, 204.79, 225.9, 232.15, 232.94]
concurrency:2 average:364.69 <= [362.36, 358.22, 374.37, 360.24, 371.46]
concurrency:5 average:415.80 <= [403.02, 420.01, 419.93, 407.47, 423.66]
concurrency:10 average:440.32 <= [434.1, 429.52, 444.21, 447.44, 442.66]
concurrency:20 average:443.40 <= [441.94, 420.8, 442.01, 446.26, 447.42]
concurrency:50 average:435.78 <= [419.98, 435.91, 438.71, 433.98, 437.44]
concurrency:100 average:421.24 <= [411.54, 425.45, 426.73, 432.83, 393.01]