Solaris 11 for x86からEPYCはどう見えるのか

$ cat /etc/release
                             Oracle Solaris 11.3 X86
  Copyright (c) 1983, 2018, Oracle and/or its affiliates.  All rights reserved.
                             Assembled 02 March 2018

$ prtdiag -v
System Configuration: Dell Inc. PowerEdge R7415
BIOS Configuration: Dell Inc. 1.2.5 03/13/2018
BMC Configuration: IPMI 2.0 (KCS: Keyboard Controller Style)

==== Processor Sockets ====================================

Version                          Location Tag
-------------------------------- --------------------------
AMD EPYC 7551P 32-Core Processor CPU1

==== Memory Device Sockets ================================
(以下省略)

UltraSPARC T1のシングルスレッド性能の低さ

小ネタです。先日のプレゼンの中で、UltraSPARC T1のシングルスレッド性能が低いため、日ごろの管理作業でレスポンスが遅くイライラすると言いました。この遅さを表現するために「いつの時代のCPUだよ」と言ったのですが、あまりいい表現ではなかったです。より的確に表現するなら、過負荷のサーバーにログインして作業しているときの「あれ」です。ftp.jaist.ac.jpの場合は、CPUの負荷が50%程度で普通に動いているときでも、ログインするとレスポンスが「あれ」なんです。どれだけイライラするかおわかりいただけますよね。

第九回カーネル／VM探検隊で発表してきました

12月8日に行われた第九回カーネル／VM探検隊でftp.jaist.ac.jpに関する話をしてきました。主にUltraSPARC T1について話しました。わりと変わったアーキテクチャのCPUなので、この会に集まる低いレイヤーに興味がある人たちに楽しんでもらえると思いまして。でも、こんなマイナーなCPUの話題を選んだのに、次の発表者と話題がかぶってしまいました。次の方の話題がUltraSPARC T1のオープンソース版のOpenSPARC T1だったんですよ。これがカーネル／VM探検隊のおもしろいところですね。

RAID-Zの読み込みのIOPSはなぜ低いのか

現在ftp.jaist.ac.jpはストレージの性能不足に悩まされています。ピーク時にストレージのI/Oが飽和して、スループットがやや低くなることがあります。ストレージは11本のHDDで組んだRAID-Z2を2組たばねて構成しています。読み込みのIOPSは、HDDが22本あるのに約600しか出ません。HDDのIOPSは約180出ているので、全体のIOPSはHDDの約3.6本分になります。

これはあくまでもキャッシュなしの性能です。読み込みのI/Oの98%はARCかL2ARCのいずれかにヒットするので、キャッシュ込みのIOPSは約30,000となります。最近はこれでも足りなくなっているので、死蔵しているメモリが192GiBのサーバーに移行して、ARCを増やして性能を改善する予定です。

mixiのサーバーOS移行について

mixiのサーバーOSの移行の話がブログ(mixiのサーバOS移行のお話、mixiのサーバOS移行のお話 - 前回補足＆インストール編)で公開されました。移行先がFedora 17だったことについて否定的な見解を示す人が多いです。私ならこの選択はしませんが、真っ向から否定するほど合理性を欠く選択だったとは思っていません。

ARCミスを分析してみた

先日の障害で、ARCミスしたI/OがHDDで処理できるIOPSを超えていることがわかりました。そこでZFSへのアクセスのうち、どんなARCミスがどれくらい発生しているかを調べてみました。使ったのはこのDTraceスクリプトです。プロセスとファイルシステムのオペレーション(vnode operation)ごとに、ARCミスとL2ARCミスの発生回数を100秒間計測します。12月12日の16:30にHDDの負荷の平均が81.7%のときにデータを取りました。

ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/...

以下のURLにアクセスできるのを見て、「おかしいんじゃないか」とか、「どんだけUbuntu好きなんだよw」とか言っているのを、ときどきtwitterで見掛けます。

http://ftp.jaist.ac.jp/pub/Linux/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/

これは/pub/Linux/ubuntu/にubuntu -> .というシンボリックリンクがあるだけです。そのため、パスに含むことができるシンボリックリンクの数の最大まで、ubuntuを繰り返せます。ftp.jaist.ac.jpはSolaris 10なので20個です。

ミラー元のマスターサーバーに同じシンボリックリンクがあるので、ほかのミラーサーバーでも同様にたくさん繰り返せます。いくつ繰り返せるかはサーバーのOSやファイルシステムによって異なるので、比べてみるとおもしろいかもしれません。

L2ARCの仕組み

これは英語版の和訳です。 内容が重複する日本語の記事を2つ削除しました。

ZFSのL2ARCは名前こそL2ですが、CPUのL2キャッシュとは大きく異なっています。次の図はZFSのキャッシュの構造を示しています。L2ARCはHDDからARCに読み込まれたブロックのみをキャッシュします。ARCのHDDに書き込まれようとしているダーティなブロックはキャッシュしません。L2ARCとHDDの間のデータ転送はありません。ZFSは要求されたブロックがARCになくL2ARCにあったときに、L2ARCからARCに読み込んで返します.

大きすぎるl2arc_write_maxはよくない

この記事は全面的に間違えています。この記事はZFSのL2ARCの性能を向上させる方法として以下のものを紹介しています。

• ZFSのレコードサイズを128KBよりずっと小さなものにする
• l2arc_write_maxをより大きくする
• l2arc_noprefetchを0に設定する

これらすべては悪い結果しか生みません。

Solaris 10 08/11 (u10)へのアップグレードではまった

以前からpcacheのZFSで、消したファイルの領域が解放されない現象に悩まされていました。ファイルをオープンしているプロセスがいるならわかるのですが、サービスを全部止めてオープンしているプロセスがいなくなっても空き領域が増えないのです。その結果、duで確認した使用量とdfで確認した使用量がどんどん乖離していきます。

RAID-Zは遅いよ

以前紹介しましたが、ftp.jaist.ac.jpのストレージは2TBのDeskstar 7K2000を24個積んでいます。ZFSの構成は、11個ずつでRAID-Z2を2つ作りストライピングしています。残りの2個はRAID-Z2のスペアです。この構成の問題は読み込みのIOPS (1秒間あたりに可能な読み込み回数)がとても少ない低いことです。

Solaris 10のSMFの話をしよう

このエントリはカーネル／VM Advent Calendarの42日目のために書きました。

Solaris 9ではOSの起動時や終了時の処理は、/etc/init.dに格納されたシェルスクリプトによって行われます。実行される順序は、/etc/rc?.dに作成されたシェルスクリプトへのリンクの名前で決まります。リンクの名前は、開始のための処理はS、終了のための処理はKで始めて、次に2桁の数字を続けて処理の順序を制御します。

他のSystem V系のUNIXや、System V互換のinitを採用しているLinuxディストリビューションでも同様の方法が用いられています。この方法では処理の依存関係の管理が困難ですし、依存関係のない処理を並列に実行して起動時間を短縮することもできません。

SolarisでAMD SP5100のAHCIモードが使えない

新しいサーバにとりあえずOpenIndianaをインストールしようとしたのですが、SATAをAHCIモードにするとハードディスクを認識しません。Solaris 11 Expressも試してみたのですがだめでした。同じチップセットのDellのPowerEdge R715でSolarisは動くことになっているので、HCLのデータを見てみたのですがIDEモードで動かしていました。

L2ARCがやってきた

先日ご迷惑をおかけしたばかりですが、openSUSE 11.2のリリースの前にOSのバージョンをSolaris 10 10/09 (s10u8)に上げてしまいたかったので、日曜日の18時ごろから40分ほどftp.jaist.ac.jpを止めてしまいました。

Live Upgradeを使ったので、停止時間は再起動1回の間で済むはずだったのですが、ちょっとしたミスがあって停止時間が長くなってしまいました。敗因はluupgradeと再起動の間にZFSの構成が変わっていたことでした。luupgradeしたら、すぐに再起動しましょうね。

ともあれOSのバージョンはs10u8になり、晴れてL2ARCが使えるようになりました。L2ARCはSSDをリードキャッシュに使って、ZFSのランダムリードの性能を上げることができる仕組みです。ログをSSDに書き込んで同期書き込みの遅延を減らすZILはs10u6から使えたのですが、s10u8でようやくL2ARCが使えるようになりました。