Moving computation to the data (1)
- 1. Moving Computation to the Data @kazunori_279
- 2. 自己紹介 @kazunori_279 ● クラウドやビッグデータ関連の仕事 ○ appengine ja night管理人 ● HDL歴は数か月 ○ DE0で勉強中。やっと4bit CPUが動いた ○ FPGAエクストリームコンピューティング（勉強会）始めま した
- 3. Disclaimer ● 専門外なので見当違いなこと書いてるかも ● 個人の研究であり、私の雇用主とは関係ありま せん ● 引用した図には引用元のリンクが張ってありま す
- 4. アジェンダ ● ● ● ● ● ● なぜFPGAが気になるか Moving Computation to the Data 最近の業界動向 金融分野はさらに先に進んでいた そしてMemcached＋FPGAが熱い なぜMemcachedはFPGA実装で速くなる？
- 9. FPGAのコモディティ化による 破壊的イノベーション ● いまやリコンフィギャラブルコン ピューティングが1万円で ○ CPUもOSもTCPもとばしてFPGAでア プリ処理を書ける ○ アプリ開発者がアプリごとに専用ハード 設計できる時代に ○ しかも自宅で ○ これってMakerムーブメントだ ○ 昔の8bitマイコンみたい
- 10. FPGAは電力性能比がケタ違いに高い ● 大規模データセンターでは電力性能比 がネック ○ データセンターに供給可能な電力量には限り がある ○ 例えば、１か所につき数MW程度 ○ データセンターが提供できる処理能力は サーバーの電力性能比によって大きく左右さ れる
- 12. CPUとFPGAの適材適所がキモ ややこしいロジックはCPUで ● ● ● ストリーミングの前処理 認証、OLTP、トランザクション セッション管理、例外処理、UI/CLI/API 大量・並列処理はFPGAで ● ● ● ● CPUやOSを経ないストリーミング、RDMA ログ集計、パース、ウィンドウ処理 ソート、ジョイン、マージ、パターンマッチング メディア配信・画像処理・数値演算・暗号化 →ARM+FPGA混載コアがおもしろい ● Xilinx Zynq ● Altera SoC ● 既存アプリの一部分のみアクセラレーションできる
- 14. CPUとFPGAはどう連携するか？ ↓ Moving Computation to the Data
- 16. データのある場所で計算する データのあるストレージやネットワークに計算させよう そんな事例が増えている：Violin Memory, IBM Netezza, HFT...
- 20. Moving Computation to the Data っぽい最近の業界動向
- 25. Seagateのkey/value Ethernet drive HDD/SSDがそのままKey Value Storeに...! ● CPU/OS/TCPのオーバーヘッドなし
- 27. FPGAスイッチArista 7124FXによる High Frequency Trading High Frequency TradingのFPGA化 ● 数msの遅れが数千万、数億規模の 損失を生む ● FPGA搭載NICでトレーディング ○ ○ TCPや取引アルゴリズムのFPGA実装 CPU/OSを介さず低遅延を保証 ● FPGA搭載アプリケーションスイッチ Arista 7124FX ○ 株価がサーバーに届く前にスイッチが株の 売り買い
- 36. ConveyのFPGAマシン 他にもいろいろ速い ● ゲノム解析 ● グラフ ● 文字列の編集距離 ● 文字列の近似検索
- 38. Memcached＋FPGAの論文が増えた ● An FPGA memcached appliance ○ HP Labs, Univ. of Massachusetts Lowell ○ FPGA '13 ○ 内容：FPGAでMemcachedを実装してみた ● Achieving 10Gbps Line-rate Key-value Stores with FPGAs ○ Xilinx, ETH Zurich ○ HotCloud '13 ○ 内容：実効レート10GbpsのMemcached（白目
- 39. Memcached＋FPGAの論文が増えた ● Thin Servers with Smart Pipes: Designing SoC Accelerators for Memcached ○ HP Labs, Facebook, ARM, Univ. of Michigan ○ ISCA 2013 ○ 内容：FPGAとCPUによるハイブリッド実装の提案 HPとFacebookとARM！
- 40. x86上のMemcachedの ボトルネックを探る ● 100台のMemcachedクライアントと5種類の負荷を再現 ○ ○ ○ ○ ○ 固定サイズ（128B） マイクロブログ（平均1KB） Wiki（平均2.8KB） サムネイル（平均25KB） FriendFeed（MULTI-GET） ● テスト対象サーバー ○ ○ Xeonベースのハイエンドサーバー ■ 2.25GHz x 6コアXeon／12GBメモリ／10GbE NIC Atomベースの低消費電力サーバー ■ 1.6GHz x 2コアAtom／4GBメモリ／10GbE NIC
- 41. ボトルネックその１：命令キャッシュ ● ● 命令キャッシュのボトルネック ○ SPEC CPU 2006 integerベンチマークとの比較では、Memcachedでは最 大15倍も低い。これはLinuxカーネルとネットワークスタックのコード量の大 きさによるものである ITLBのボトルネック ○ AtomではITLBの不足によりミス率がXeonに比べてきわめて高い
- 44. CPU+FPGAによるボトルネック解消： TSSP: Thin Server, Smart Pipe ● 複雑な処理はソフトウェア（Thin Server）で ● 簡単・大容量処理はハードウェア（Smart Pipes）で
- 47. 性能評価 ● ● MemcachedのFPGA実装（冒頭の論文）を用い、GETのみハードで実装 ○ Altera DE4 (Stratix IV 530 FPGA), 4GB DDR2 x 2, GbE x 4 この既存実装での評価結果を元に、Zynq上でTSSPを実装した場合の電力性 能比を推量。Xeonの6倍、Atomの16倍を見込んでいる
- 48. まとめ
- 49. まとめ ● ARM+FPGAのコモディティ化のインパクト ○ しかしFPGA開発のコストは高い ○ CPUとFPGAの適材適所が焦点に ● Moving Computation to the Data ○ データのある場所で計算する、というパラダイム ○ Thin Server, Smart Pipes ● FPGAがデータセンタにやってくる ○ Memcached/MapReduceアプライアンス ○ データベース/KVS ○ … and more!
- 50. Questions?