S4 - hidemonのブログ

S4 - hidemonのブログ

S4というYahooが開発したシステムがある。これはいわゆるストリームコンピューティングのための枠組み。...概要を表示 S4というYahooが開発したシステムがある。これはいわゆるストリームコンピューティングのための枠組み。データは連続したストリームとして外部から供給され、それに対する演算を行うというもの。S4はこの処理を分散環境、つまり複数の計算ノードで並列に実行することを目的としたシステムだ。 今のところノードの障害に対応できないなど、実用するにはまだまだ厳しそうな点もあるようだが、なかなかおもしろそうなのでちょっと調べてみた。 S4の構造 S4はデータを一連のイベントとして受け取り、それを連続的に処理していく。計算機構としてのS4は、多数のPE（Processing Element）と呼ばれるイベント処理機構が、ストリームで連結されたグラフ構造となる。このグラフの中をさまざまなイベントがデータフロー的に流れることで演算が行われる。 イベント イベントはデータストリームを構成するひとかたまりのデータで、