本を読む

　レッドハット社のイベントレッドハットフォーラム2010に行ってきました。RHEL6リリース直後のため、“新製品すげーぜ”セッションが並んでいて、直球な力の入れようだったように思います。

　とりあえずセッションのメモ。

「RHEL6。最も進んだ仮想化を今日から使えます。」（レッドハット 藤田稜）

• 最も進んだ仮想化
• RHEL6 KVM上のRHEL6、RHEL6 KVM上のRHEL5.5、RHEL5.5上のRHEL5.5の起動速度比較
• 6 on 6が28秒、5.5 on 6が56秒（倍）、5.5 on 5.5がもっと
• KVMの特徴
  • 軽量・高速
    • Intel VT、AMD-V
    • それを前提に設計、実装
  • Linuxのアップストリームに完全にマージされている
    • KVMの開発者：Red HatとQumranetで50％ぐらい
    • AMD、Intelなど多くのベンダーが開発な参加
  • デバイスエミュレーションはユーザースペースのQEMU
    • 単なるプロセス
    • プロセスを管理すればいい
    • Xenとの大きな違い
    • 古くからのRHELのスキルが使える
• スケーラビリティ
  • RHEL6で大きなスケーラビリティを獲得
  • vSphereと比較
  • Linuxが進化すればそのスケーラビリティやパフォーマンスをそのまま享受できる
  • 4096物理CPU
  • 64仮想CPU
    • Hyper-VはLinuxには1CPUのみ
  • メモリ64TB
• cgroups
  • リソースをプロセスごとに制御
  • QEMUはユーザースペースのプロセス
    • KVMのVMも管理下に
  • Linuxではいままでできていなかった
  • QoS
• パフォーマンス
  • SR-IOV
    • Single Root I/O Virtualization
  • フルに対応
  • 1つのHWを複数に見せるのを、HWがやってくれる
  • vhost-net
    • 従来はQEMU内のvirtio-netでパフォーマンスを稼ぐ実装
      • これだけでもかなりパフォーマンスがいい
      • が、10GbEでは追いつかない
    • カーネルの中にvhost-net
      • カーネルのコンテキストスイッチがない
  • NAIO（Native AIO）
    • AIO = 非同期I/O
    • ブロックI/O
  • Transparent Hugepages
    • Red Hatスペシャル
      • まだLinusのツリーにマージされていない
      • そろそろマージされるだろう
    • 従来、HugeTLBfsで指定
      • 起動時に確保する必要
    • 連続した領域が確保できたら自動的にhugepageとして扱う
      • デフォルトでオン
      • EPT＋THP
  • HPET
    • High Precision Event Timer
  • Tickless
    • 消費電力を減らすため、CPUをできるだけ寝かせる
    • 注意
      • フルに活用すると、処理の立ち上がりが悪くなる
      • HPCなどではチェック
• 機能
  • KSM
    • すでに動いているプロセスのページをスキャンしてマージ
      • kscand
    • 変更があればまたCoW
    • ゲストOSが同じであれば、重複も多い
    • パフォーマンスへの悪影響小さい
• セキュリティ
  • SELinux
  • 「みなさんオフにしていると思いますが、RHEL6ではぜひオンに」
    • それほど問題にはならなくなっている
    • 自宅サーバー：MovableTypeのプラグインが問題になったぐらい
    • RHEL6ではインストーラではオフにできない
      • /etc/sysconfg/selinuxをいじればオフにもできる
    • 問題が出たらサポートへ
  • sVirt
    • VMにそれぞれSELinuxのラベルを付ける
    • libvirtがSELinuxに対応
    • ゲストOSがクラックされたときに、ハイパーバイザー経由の攻撃の可能性
      • sVirtによって攻撃を遮断
    • Virt Managerでのインストールで、「セキュリティ」で「モデル」を「selinux」に
• RHEL 6はクラウドのOSとして大本命

「Green ITに対するRed Hatの取り組み」（レッドハット 平初）

• RHEL6のリリーステーマに「グリーンIT」
• サーバー1000台あれば、1台あたり1Wの節電で1kWの節電
  • 1年間で17万5200円の削減
  • RHELアップグレード費用と電力代の天秤
• Watt is Money
• ムーアの法則、マルチコア化
  • 発熱、冷却
  • 電力消費
• 身近な消費電力
  • ラップトップで消費電力を計ってみた
    • 液晶のバックライト
      • 100%で33W消費、50%で31W消費、0%で27W消費
    • CDドライブにCDを入れていると7W消費
• RHEL6の効果
  • HWに低消費電力機能がついていてもOSが対応していないと意味がない
    • アイドル時RHEL5.4→5.5→6でそれぞれ20%低減
    • フル稼働では同じなので注意
• ACPI Deep C-State
  • Intel Nehalen以降C6ステート
    • Deep Power Down
    • 特定コアの給電停止、L2キャッシュの消費電力をゼロに近づける
• cpuspeed
  • 周波数を動的に変更
    • コア単位で
    • 電力消費をおさえる
  • performance、powersave、userspace、ondemand、conservative
    • RHEL6のデフォルトはondemand
    • conservativeは、落とし方・上げ方が緩やか
• Tickless Kernel
  • tickの割り込み
    • 定期的にCPUを起きてしまうのでCPUが省電力状態に移るのを妨げてしまう
  • Ticklessで妨げないように
• relatime
  • ハードディスク
  • 最終アクセス時間を更新
  • 読み込みでも書き込みが発生してしまう
    • ウイルス対策ソフト
    • 一覧、検索
  • atimeの更新はHDDヘッドが動く
  • リードキャッシュに乗っていてもatimeの更新がかかる
  • noatimeだと、いくつかのアプリケーションで問題に
  • RHEL6ではrelatimeがデフォルト
  • 特定のときだけatimeを書き込む
    • ctimeとmtimeがatimeより新しいとき
    • 86400秒（1日）以上過去なら書き込む
  • 無効にするにはカーネルオプションでdefault_relatime=0
• ASPM（Active State Power Management）
  • PCI-expressカード
  • 最近のNICやRAIDカードはヒートシンクがついている
    • 1GHzを超えるプロセッサーが搭載されている
  • レーンが増えると最小限電力を流し続けなければならない
  • あまり考慮されていなかった
    • 効果が見込める
  • ASPM：PCI-expressの節電のしくみ
  • 使用中でないことを検出してカードとマザーボードで互いに節電
  • 注意
    • ハイパフォーマンス状態に移るための遅延はある程度増える
    • 通常は大丈夫。HPCでは無効にしたほうがいい
  • マザーボードで対応していないものも多い
    • 今後増えるかも
  • 段階：default、powersave、performance
    • カーネルパラメータまたはsysfsで設定
• ALPM（Aggressie Link Power Manageent）
  • SATAのコネクタのAHCI規格
  • ポート単位で給電停止
  • モード：min_power、medium_power、max_performance
    • デフォルトではmax_performance
    • min_powerとmedium_powerではSATAのホットプラグが無効に
• EGPM（Enhanced Graphics Power Management）
  • サーバーにはモニターがつながっていない
  • でもグラフィックカードから毎秒60回信号が送られる
  • 信号と、GPUのクロックダウン
  • 最大5Wの節電
  • 複数グラフィックポートがあると、その数ぶん
• tuned
  • 自動的にチューニングを行うデーモン
    • デフォルトでは入らない
  • Red Hatの定義したプロファイルにもとづいて
  • CPU、ディスク、ネットワーク
  • チューニングパラメータを管理
    • /etc/rc.localにパラメータを記述しなくてよい
      • あまりおすすめできない方法だった
    • 引継ぎが楽に
  • 8つのプロファイルが用意：default、desktop-powersave、enterprise-storage、laptop-ac-powersave、laptop-battery-powersave、latenccy-performance、serer-powersave、throughput-performance
    • defaultはチューニングしない
    • NICの速度、無線LAN、Bluetoothなども
  • サーバーではenterprise-storageとthroughput-performanceがおすすめ
    • enterprisee-storageはdeadlineスケジューラ
    • throughput-performanceはできるだけ割り込みのないように

「KVM対談：実機検証結果も交えて」（NTTコミュニケーションズ 石崎晃朗、日本仮想化技術 宮原徹）

• Bizホスティングベーシックの話（石崎）
  • KVMベースのサービス
  • クラウドホスティングサービス
  • 2010年4月から
  • NTT comの各種VPN網と接続可能
  • イントラネットタイプ、インターネットタイプ、ハイブリッドタイプ
  • 略歴
    • NTTサイバースペース→NTT OSSセンタ
      • Linuxカーネルをいじる
      • Xen、KVM
    • Bizホスティングの設計なども
    • 2010年 NTT comへ異動
• 実機検証結果（宮原）
  • 日本仮想化技術
    • 4年
    • 仮想化の設計・運用・保守
    • 仮想化はあくまでインフラの中の一部
    • 上から下までワンストップでサポート
  • pgbenchによるCPU+メモリ性能検証
    • PosgreSQLをベンチマークするソフト
    • HP DL380 G7/G5
    • G5はVMM数が多いと急激に落ち込む（CPUのオーバーコミットメント）
    • CPUのオーバーコミットメントをやらないかぎり、きちんと性能が出る
  • HTもある程度効果
    • 推奨はオフ。特にマルチテナント
  • netperfによるネットワーク性能検証
    • 性能出る
    • 10GbEのHT ONで落ち込んだ数字も
      • 偶然かもしれないが
    • Fedora 13ベース（RHEL6を見据え）、チューニング
      • 少しカーネルパラメータを変えた
      • インテルのNICのオフロード
    • チューニングしないと3～5Gbまで

• （宮原）
  • KVMを採用する利点：作り込み
• （石崎）
  • 既存のものでは管理しきれない
• （宮原）
  • 設定管理するツールが設定ファイルを上書きすると、自分の設定が上書きされてしまったり
• （石崎）
  • Bizベーシックもそこが重要だった
  • ボンディングの複雑なネットワーク構成
  • 既存なものでは対応できない
  • ストレージ構成
    • iSCCIマルチパスの上にLVM、その上にqemu device model
    • 複雑
  • 独自のオペレーションのシステム
  • 1つのコントロールパネルから操作
  • PHP等で開発
• （宮原）
  • Linuxでワンストップで作れる
  • Linuxのチューニングノウハウが発揮できる
  • 管理ツール vCenterのツールがいい人と、自分で作るほうがいい人と

• （宮原）
  • なぜKVM？ VMware多い
• （石崎）
  • 私がかかわったときにはすでにKVM
  • Xenとの比較もされた
  • Xenがメインラインカーネルに入らない、KVMは入る、きれいな作り
  • VMwareは中がみれないので障害などのときに後手に回る
• （宮原）
  • そこまでやる会社は少ないけど
  • オープンソースに力を入れている？
• （石崎）
  • いちばんはコストw
  • VMwareのホスティングもすでにやっていた。それと違った層に向けるという意味もあった
• （宮原）
  • 不安要素
• （石崎）
  • RHがKVMということでスタート
  • 当初はKVMも枯れてなくてバグが多かった
  • 5.4ぐらいで安定した
  • ベータで中を見たり検証したりしていた
• （宮原）
  • KVMを実運用で使っている人挙手（→会場1割ぐらい）
  • Linux中心にやっている人にとっては、上から下までひとつですむ、というメリット
    • WindowsでHyper-Vがやりやすいのと同じ
  • 開発や運用で大変だったところは
• （石崎）
  • ユーザーのOSの中は見ないというサービス
  • が、中を見ないと障害を解析できない、という場合も
    • kvmとQEMUとゲストOSが連動してトレースできない
    • 状況証拠でやるしかない
    • 長いスパンが必要になったり
  • 外からモニタリングできるといいが、セキュリティなど難しい
• （宮原）
  • ユーザーの評価
• （石崎）
  • まだ入ったばかりなのでw
  • こみいった構成がとれるのは強み
• （宮原）
  • コミュニティなどで情報共有がもっとあってもいい
  • ノウハウ
  • 先駆者だと大変だったのでは
• （石崎）
  • ソースコード見たりw
  • KVMのML
• （宮原）
  • 内側をみれる人の数
• （石崎）
  • NTT OSSには何人かいた
  • アメリカは中を見て使う人が多いが、日本ではそのまま使う人が多い
• （宮原）
  • パッチも想定？
• （石崎）
  • 想定している
  • iSCSIのバグなど。パッチをあてないと運用できない
• （宮原）
  • クローズドの製品だと質問が海を往復しないと帰ってこないということも。船便かよと
  • 自分たちで手を入れられるOSSのメリット
  • チューニングができるのも大きい
    • ドライバ
    • パラメータ。基本的にはLinux。特殊な技能は必要ない
    • でもそこまでLinuxをいじれる人が少ない？
• （石崎）
  • そこがハードルかも
• （宮原）
  • いろいろなクラウドベンダーでの話
  • ユーザーが、Linux、PHPからネットワークまでアドバイスできる必要
  • クラウドベンダーは箱と線のビジネス
• （石崎）
  • コストを下げる
• （宮原）
  • ローカルストレージでなくiSCSIにした理由
• （石崎）
  • ライブマイグレーションが要件にあった
• （宮原）
  • ストレージの性能をあげる必要
  • FusionIO、FlashCache
  • ローカルのSSDを1.5次記憶にしていくとか
    • 元DB屋なのでオンメモリは怖い
  • LVMにかますと面白い？
  • 仮想化の単純比較の時期は終わった
  • お客さんは、目的がばらばら、ホットスポットがばらばら
• （石崎）
  • テストツール、ベンチマークとりづらい
  • 観点がばらばら
• （宮原）
  • すべてクラウドで統合という声もあるが、そのスイートスポットにぴたりはまるのは少ないと考えている
  • 松・竹・梅などのメニュー
  • 1個で対応するのは難しい
  • 多様なニーズ
  • 各社と仕事をして、KVMは実用レベルになっているか？
• （宮原）
  • いちどVMwareやXenで組んで、ひと段落
  • あとは、いかに差別化して売っていくか
  • そのための道具としてKVM
  • 完全にフリーライド指向なのも見うけられる。よくないと思う
    • どんだけCentOS？w
    • 使い分け
    • 誰かが作ってくれたものを食いつぶしている感も
  • レンタルサーバーの二の舞はやりたくない、という声
    • ふたを開けるとやはりコスト競争になっている
  • コストのため自分でやって中途半端になっている例
  • 今後、おもしろいものもできてくるだろう
  • おもしろいと思っているものは？
• （石崎）
  • スイッチと連係
  • 帯域制御
  • できるようになってきた
• （宮原）
  • ストレージやネットワークの制御ができる展示も今日やっている
• （石崎）
  • 冗長化したいという声
  • ただ遅延の問題も
• （宮原）
  • DC間でDRBDできないか
• （会場）
  • QEMUの不安は？
  • バージョンが枯れていない感じも
• （石崎）
  • KVMからQEMUへのマージ
    • 安定して開発されるようになった
  • エミュレーションが読めないことも
    • Windowsは中が見られないし
• （宮原）
  • QEMUを開発しているフランス人が仕事を探していた
  • 重要なコンポーネントなので、もっと開発体制がしっかりするといい
  • もっとリスペクトとコントリビューションを
• （twitterから）
  • 課金は
• （石崎）
  • 月額
• （宮原）
  • 今後、社内クラウドではアカウンティングが必要になるだろう
• （石崎）
  • そこまではやっていない
  • 容量課金
• （twitterから）
  • 運用オペレーターに特別な訓練？
• （石崎）
  • 管理コンソール
  • KVMを直接さわることはない
• （宮原）
  • 管理コンソールはフルスクラッチ？ 流用？
• （石崎）
  • フルスクラッチ

• まとめ
  • （宮原）RHEL6で本格的にKVMが使える雰囲気に
  • （石崎）KVMはVMwareよりシンプル。さわってみてほしい