数週間前、クラウド上の処理負荷を簡単にベンチマークできる
Perfkit を公開 しました。その際にもお伝えした通り Perfkit は進化しており、アプリケーションを支えるサーバを増やしていった際に、レイテンシに及ぼす影響を測るためのツールも盛り込むように開発を続けてきました。
我々はこの新しいパフォーマンス ベンチマーク ツールを、Online Data Intensive Simulator または
OLDISIM と呼んでおり、スタンフォード大学の
Multiscale Architecture and Systems Team (MAST) チームとの共同開発を行っています。このベンチマーク ツールは、Google Search や NoSQL データベースアプリケーションなど、レイテンシに対して要求が高い分散・ファンアウト型の多くの最新のアプリケーションをモデルにしています。
Google 社内でも、ハードウェアとソフトウェア両方の改善において、処理負荷に対するスケールの幅とスケールの効率を計測するために OLDISIM を使っています。スケールアウトが効率化に行えると、可能な限り最小のサーバ数で素晴らしいユーザ体験を提供できるようになり、ユーザの新しいニーズにより一層応えていく事ができるようになります。よりサーバ数を少なく、よりエネルギーを高く、そして、より低コストのソリューションを実現できます。サービスが実際どのようにスケールアウトしていくのかを予測するのは、開発研究の環境では通常とても難しいことですが、下の表で示すとおり、OLDISIM の測定結果と、現状の Google Search のパフォーマンスは、スケーリングの効率において強い相関関係にあることが実験の結果分かっています。
Google のベンチマークに対するニーズは、世の中のインターネット処理負荷のスケールアウトに対する課題に類似しています。我々は
PerfKit Benchmarker を通して OLDISIM をオープンソースコミュニティに Apache V2 ライセンスとして公開しています。OLDISIM を使えば、Hadoop や NoSQL 製品を含む殆どのファンアウト・合成型のアプリケーションを、より簡単にモデル化したりシミュレーションできるようになります。それぞれのノードに組み込むワークロードを指定するだけで、スケーリング効率とアプリケーションのレイテンシを測定することができます。
OLDISIM は
GitHub の
インストラクション にあるように利用してもよいですし、
PerfKit Benchmarker を使って一般的なクラウドプロバイダ上で実行することも可能です。コマンドは ”pkb.py --benchmarks=oldisim” だけです。
OLDISIM チーム、PerfKit Benchmarker チームともに GitHub であなたのフィードバックをお待ちしております。感想や提案、また問題があればぜひお知らせください。
Happy Benchmarking!
- Posted by Ivan Santa Maria Filho on behalf of the Cloud and Platforms Performance Teams
* この投稿は、米国時間 3 月 13 日、 Cloud and Platforms Performance Teams の Ivan Santa Maria Filho によって投稿されたもの の抄訳です。
数週間前、クラウド上の処理負荷を簡単にベンチマークできる Perfkit を公開 しました。その際にもお伝えした通り Perfkit は進化しており、アプリケーションを支えるサーバを増やしていった際に、レイテンシに及ぼす影響を測るためのツールも盛り込むように開発を続けてきました。
我々はこの新しいパフォーマンス ベンチマーク ツールを、Online Data Intensive Simulator または OLDISIM と呼んでおり、スタンフォード大学の Multiscale Architecture and Systems Team (MAST) チームとの共同開発を行っています。このベンチマーク ツールは、Google Search や NoSQL データベースアプリケーションなど、レイテンシに対して要求が高い分散・ファンアウト型の多くの最新のアプリケーションをモデルにしています。
Google 社内でも、ハードウェアとソフトウェア両方の改善において、処理負荷に対するスケールの幅とスケールの効率を計測するために OLDISIM を使っています。スケールアウトが効率化に行えると、可能な限り最小のサーバ数で素晴らしいユーザ体験を提供できるようになり、ユーザの新しいニーズにより一層応えていく事ができるようになります。よりサーバ数を少なく、よりエネルギーを高く、そして、より低コストのソリューションを実現できます。サービスが実際どのようにスケールアウトしていくのかを予測するのは、開発研究の環境では通常とても難しいことですが、下の表で示すとおり、OLDISIM の測定結果と、現状の Google Search のパフォーマンスは、スケーリングの効率において強い相関関係にあることが実験の結果分かっています。
Google のベンチマークに対するニーズは、世の中のインターネット処理負荷のスケールアウトに対する課題に類似しています。我々は PerfKit Benchmarker を通して OLDISIM をオープンソースコミュニティに Apache V2 ライセンスとして公開しています。OLDISIM を使えば、Hadoop や NoSQL 製品を含む殆どのファンアウト・合成型のアプリケーションを、より簡単にモデル化したりシミュレーションできるようになります。それぞれのノードに組み込むワークロードを指定するだけで、スケーリング効率とアプリケーションのレイテンシを測定することができます。
OLDISIM は GitHub のインストラクション にあるように利用してもよいですし、PerfKit Benchmarker を使って一般的なクラウドプロバイダ上で実行することも可能です。コマンドは ”pkb.py --benchmarks=oldisim” だけです。
OLDISIM チーム、PerfKit Benchmarker チームともに GitHub であなたのフィードバックをお待ちしております。感想や提案、また問題があればぜひお知らせください。
Happy Benchmarking!
- Posted by Ivan Santa Maria Filho on behalf of the Cloud and Platforms Performance Teams