今月はちょっと苦しいです

以下に示したのは、ftp.jaist.ac.jpの一日平均のトラフィックの一年間のグラフです。2月に入ってSourceForge.netの台湾のミラーが一つ止まったため、アジアからのアクセスが増えて急にトラフィックが増えています。

この影響でストレージの負荷がかなり増えていて、キャッシュから外れたI/Oのレスポンスが遅くなる傾向があります。以前説明したように、rsyncによるアクセスはキャッシュミスが多いので、ファイルの転送が遅くなることがあります。

台湾のミラーの停止は一時的なもののようですので、復活すれば性能は戻ると思います。しかし、上のグラフは明らかに単調増加しているので、この調子で行くと今年中に詰みますね。一日も早くハードウェアをリプレースしてほしいです。

10GbEのNICを挿してみた

Ubuntu 12.04の前日にFirefox 12がリリースされることに、Ubuntu 12.04のリリースの数日前に気が付きました。Firefox 12のリリースが4月25日の朝で、Ubuntu 12.04のリリースは4月26日の22時くらいです。Firefoxの更新の初日はピークで3.7Gbpsくらい帯域を使用し、翌日も3Gbpsを超えることがあります。特に22時以降はアメリカの東海岸のFirefoxの更新が増えるので、これがUbuntu 12.04のリリースにぶつかるとftp.jaist.ac.jpの帯域の上限の4Gbpsを超える可能性があります。そこで急きょ10GbEのNICをSun Fire T2000に挿すことにしました。

IPv6に対応しました

第二十六回 WIDE賞（2010年秋）をもらいました。表彰文はネタなので本気にしないでください。そもそも熱と電源で困ったことはないんですよ。ディスク容量とCPUの処理能力とメモリ容量の不足とは長い間戦ってきましたけど。表彰文の後半は我々への要求なので、Zinくんがその一つであるIPv6対応をしました。アドレスは2001:200:141:feed::feedです。それっぽいアドレスですね。

ip_squeue_bindは0にするといいらしい

先日増設したネットワークカードでCPUの負荷が偏る問題を検討していてわかったのですが、カーネルパラメータのip_squeue_bindはsun4vでは0にしたほうがよいようです。

今度はネットワークカードのチューンアップ不足でした

本日未明にUbuntu 10.04がリリースされて日中多くのアクセスがあったのですが、9.10に続いてふたたびftp.jaist.ac.jpの性能が出ませんでした。原因は、先日導入したネットワークカードのチューンアップ不足でした。

ヤフオクで落札したQuad GbEを増設してみた

以前のエントリで書いたように、4つあるネットワークインターフェイスを全部アグリゲートしていたのをやめて、2本ずつアグリゲートしてIPMPでロードバランスするようにしてみました。しかし、インターフェイスが突然応答しなくなる症状は治まるどころか、よけいにひどくなってしまいました。

1/4の確率でつながらない

タイトル通り憂鬱です。昨晩(3月15日)20時過ぎから本日(3月16日)午後1時半ごろまで、一部のIPアドレスからftp.jaist.ac.jpにつながらないという現象が起きていました。一部のIPアドレスというのは、全アドレスのちょうど1/4です。アグリゲートした4つのインターフェイスのうち1つが死んでいたため、インターフェイスを振り分けるハッシュ関数で、死んだインターフェイスに当たってしまったIPアドレスからftp.jaist.ac.jpに一切つながらない状態でした。

こういう事故を防ぐために、LACP (Link Aggregation Control Protocol)があるのですが、前回1つインターフェイスが死んだときは、縮退せずに全部のインターフェイスが応答しなくなったため、何かおかしいということで切ってしまいました。今回はLACPなしで1本だけ死んだため、中途半端につながらない状態が長時間続いてしまいました。一部のアドレスだけつながらないものですから、BANされたのではないかと、身に覚えのある海外のサーバ管理者からお詫びのメールをいただく始末。いえいえ悪いのはこちらなんですよ。

本質的な原因はさっぱりわからないのですが、このところのトラブルはインターフェイスを4本アグリゲートしてから起きているので、以前のように2本ずつ2組に戻しました。性能はだいぶ落ちますが、このところのトラブルはひどいので、これで様子を見ます。

オンボードのGbEの性能が出ませんでした

2月18日の朝から定例のFirefoxのアップデートが始まりました。今回は借りていたSun Multithreaded 10 GbE Networking Card (nxge)を返却していたので、オンボードの4つのGbEをアグリゲートして立ち向かったのですが、見事に玉砕しました。

18日の18時ごろに急に出力パケットが詰まり、外からのpingにも応えなくなったので、一番怪しいLSOを切って19時ごろにリブートしました。ところが1時間も経たないうちにまた詰まってしまったので、今度はJumbo Frameを切って21時15分ごろにリブートしたのですが、ちょっと手違いがあって20分ほど外からアクセスできないになってしまいました。

ネットワーク性能のチューニング (TCP編)

前回はsun4vアーキテクチャのSolarisでネットワーク性能を改善する方法について説明しました。今回はSolaris一般についてTCPの性能を改善する方法を説明します。

TCPの性能のチューニングといえば、まずはウィンドウサイズです。必要なウィンドウサイズは、通信相手とのRTT(ms)÷1000×帯域(bps)÷8で求められます。今どきはRTTが300msくらいあるヨーロッパ相手でも50Mbpsとか出ることがあるので、2MBはほしいです。国内については、石川県から東京を経由して行くので場所によってはRTTがいくらか大きくなりますが、悪くても50ms程度なので2MBもあれば320Mbpsまで対応できます。

ネットワーク性能のチューニング (Sun Fire T2000編)

Sun Fire T2000には4ポートのGbEが装備されているので、これを束ねれば理論的には4Gbpsのスループットが出ます。しかし、Sun Fire T2000はうまくチューニングしないと、CPUに余裕がある場合でも低いスループットしかでないので注意が必要です。

Ubuntu 9.10のリリース直後に遅かったわけ

今回のUbuntu 9.10のリリースの際に、ftp.jaist.ac.jpが本来の性能を発揮できず、日本のUbuntuユーザの皆様にご迷惑をおかけして申し訳ありません。

今回性能を発揮できなかった理由は二つあります。一つは、ディスクアレイが一つ故障していたため、代わりにJAISTの学内インフラのEqualLogicのiSCSIストレージを借りていたこと。もう一つは、Firefoxのアップデートが突然Ubuntu 9.10のリリースの前日に降ってきたことです。