少し前に，Facebookのロードバランサが話題になっていた． blog.stanaka.org このエントリを読んで，各種Webサービス事業者がどういったロードバランスアーキテクチャを採用しているのか気になったので調べてみた． ざっくり検索した限りだと，Microsoft, CloudFlareの事例が見つかったので，Facebookの例も併せてまとめてみた． アーキテクチャ部分に注目してまとめたので，マネジメント方法や実装方法，ロードバランス以外の機能や最適化手法といった部分の詳細には触れないことにする． 事例1: Microsoft Azure 'Ananta' MicrosoftのAzureで採用されている(いた？)ロードバランサのアーキテクチャは，下記の論文が詳しい． Parveen Patel et al., Ananta: cloud scale load balancing

1. © 2015 Kenji Urushima All rights reserved. 一歩先を行くインフラエンジニアに 知ってほしい  SSL/TLS設定 qpstudy 2015.11：キューピー３分インフラクッキング勉強会 セキュリティに万全を求めるのは間違っているだろうか 於：東銀座  ドワンゴ株式会社 2015年11月14日(土) 14:00〜17:00 @kjur (15:15-16:30 75分) 2. © 2015 Kenji Urushima All rights reserved. ・経歴 ・富士ゼロックス(2010～) ・エントラストジャパン(2005～2010) ・セコム(1988～2005) ・興味： PKI,  TLS,  電子署名,  SSO,  認証,  暗号, CSIRT,  脆弱性検査,  フォレンジック, スマホ,  プログラミング,  ビットコイ

インフラストラクチャー部の成田です。2015年10月現在、インフラストラクチャー部には私を含め7人のインフラエンジニアが所属しており、このメンバーでクックパッド本体サービスをはじめ様々な新規事業やいくつかの子会社のサーバを運用しています。私自身もエンジニアではありますが部のマネージャも兼ねているため、立場上、社外の方からインフラエンジニアのマネジメントについて質問されることがよくあります。今回は、私自身の考え方とクックパッド社における事例を紹介したいと思います。 「インフラエンジニア」とは 「インフラエンジニア」という言葉の定義はあいまいで、しばしば議論の的になります。傍目からは明らかにインフラエンジニアであるように見えるにも関わらず「私はインフラエンジニアでは無い」と主張する人たちもいます。このような状況になっているのは、サーバ運用に関する業務分掌が会社ごとに異なるからであると私は考えて

To access a presentation's content, please click on its title below. Proceedings Front Matter: Cover Page | Title Page and List of Organizers | Message from the Program Co-Chairs The full FAST '13 conference proceedings (in PDF, EPUB, and MOBI) and the table of contents (in PDF), which contain papers entitled SD Codes: Erasure Codes Designed for How Storage Systems Really Fail and Screaming Fast G

クラウドのように大規模なシステムでは、ソフトウェアの開発と同等以上に、大規模運用の巧拙が、システム全体の成功を大きく左右します。 6月22日から、米サンタクララで行われていたWebサイトのパフォーマンスと運用に関するオライリーのイベント「Velocity 2010」で、FacebookのTechnical Operations teamを担当するTom Cook氏が「A Day in the Life of Facebook Operations」（Facebook運用のある1日）と題したセッションで、Facebookがふだんどのような運用を行っているか、紹介しています。 世界でトップクラスの大規模サイトが、普段どのようなツールを用い、どのような方法で運用しているのか、セッションの内容を紹介しましょう。 6年で4億アクティブユーザー、3カ所のデータセンター Tom Cook氏。Facebo

中〜大規模サービスのインフラの様子を知りたいアプリケーションエンジニア向けに、もともとアプリケーションコードを書いていた視点から、個人的な体験をベースにはてなで大規模サービスのインフラを学んだ過程や学んだ内容の一部を紹介します。 Webアプリケーションのブラックボックス Webアプリケーションフレームワークの向こう側 なぜ複数のサーバが必要なのか 突然のWebサービス3層構成 リバースプロキシ アプリケーション データベース その他のコンポーネント キャッシュは麻薬 飛び道具としてのKVS/NoSQL 非同期処理 バッチ処理 Mackerelの場合 参考 まとめ Webアプリケーションのブラックボックス 今年もはてなインターンの時期が近づいてきた。 毎年ではないけど、はてなインターンでは「インフラ講義」というのをやっている。 今年はインフラ講義の講師としてアサインされたのでちょうど何を話そ

どすこい！ 昨年ぶりです！最近よくお相撲さんを見る@sitotkfmです！ またエンジニアブログを書かせて頂くことになりました！ 今回のトピックですが、最初は前回同様ストリーミングアルゴリズムでも発表しようかと思ったんですが、まああんまり受けが良くなかったので今回はパスで。。。(同期に「お前Advent Calender書いてたのかよ」と言われました。。。) それとあの後業務で本当にSparkをつかうことになりまして、まあ、えっと、本当に大変ですね。。。 さて今回のエンジニアブログではCQRSについて説明したいと思います。 CQRSが何故必要なのか まずドメイン駆動設計(Domain-Driven Degien)という、ビジネスの概念の抽象化であるドメインの要求を最優先として設計を行うソフトウェアの設計思想があります。 ここではドメイン駆動設計について説明しだすと主題から外れかねないのと私

先月投稿した2015年Webサーバアーキテクチャ序論では、Webサーバアーキテクチャを学ぶ道のりと代表的な実装モデルの概要を紹介しました。 今回は、前回同様、主に新卒Webエンジニア向けに、Webアプリケーションサーバとデータベースサーバ間の接続管理モデルと運用事情について紹介します。 データベース接続の永続化やコネクションプーリングとは何なのか、なぜ必要なのかといったことが主な話題です。 背景 データベース接続の永続化とはなにか データベース接続のオーバヘッド データベース接続の永続化手法 コネクションプーリングとはなにか コネクションプーリング: ドライバ型 コネクションプーリング: プロキシ型 コネクションプーリング全体について PostgreSQLとMySQL 参考資料 まとめ 背景 2015年Webサーバアーキテクチャ序論では、Webサーバアーキテクチャの話とWebアプリケーショ

Ansible と Mackerel API を組み合わせて、1000台規模のサーバ群に対して同時にパッケージの更新やその他のサーバオペレーションのための方法を紹介します。 タイトルに Mackerel とありますが、それほど Mackerel に依存しない話です。 (AnsibleとDockerによる1000台同時SSHオペレーション環境 - ゆううきブログに続編を書いています。) 背景 社内では、サーバ構成管理ツールとして Chef を使用しています。 Chef Server は運用が大変なので使用しておらず、knife-solo と Mackerel APIを組み合わせてホストと Chef role とのマッピングに Mackerel のロール情報を用いています。 また、Mackerel の Ruby クライアントを利用して recipe 内で API を叩いて、Mackerel か

2023年03月31日追記：この記事を基に、@sadnessOjisanさんより、コードレベルにより踏み込んだ、かつ、グリーンスレッドベースの新しいWebサーバアーキテクチャも含めて整理された記事 Webサーバーアーキテクチャ進化論2023 | blog.ojisan.io が公開されました。 主に新卒のWebエンジニア向けに、古典的なWebサーバアーキテクチャを学ぶ道のりと代表的な実装モデルの概要を紹介します。 この辺りの話題がWeb界隈で流行っていたのは数年以上前というイメージですが、Webサービスは相変わらずWebサーバの上で動いているので、流行り廃り関係なく学ぶべき内容だと思っています。 また、HTTP/2がいよいよRFC化し、既にh2oやtrusterdなどのHTTP/2のサーバ実装があり、今後Webサーバアーキテクチャを再訪することが増えるような気がしています。 ところが、We

おはようございます。やっぱヒノキっぽいんだよなぁ、、、（花粉 ということで鼻ズルズルマンです。 Dropboxはオンプレ回帰した？ 最近良く聞きます、Dropboxはオンプレ回帰した、クラウドはコストが高いから最近オンプレに戻る企業が増えている、とか。 一つ一つの記事やツイートをイチイチピックアップはしないですが、とにかくよく聞くわけです。 でも思うんですよね、「そんなわけないのでは？」だってよく考えてみてください、テックが強い組織であればあるほど適材適所でクラウドを使ったほうがいい所も見えてきます。 現代のアーキテクチャでクラウドがハマる部分が全くないシステムはありません。一時的なリソース確保と開放、管理のいらないインフラ、様々なサービス。これを利用しないなんてことあるのかな？ってことなわけです。無理にオンプレのみで頑張るのが論理的か？という話かもしれません Dropboxがオンプレに移

高可用性・高負荷対応のWebシステムをAWSで構築する場合、ELB配下に2台以上のEC2インスタンスを配置する構成が鉄板です。こういった構成の場合、各EC2インスタンスは同等の挙動をすることが期待されます。各インスタンスにデプロイされているアプリケーションの挙動に差異があると予期せぬ問題を引き起こすことは想像に難くないでしょう。 今回は、ELB構成のWebシステムを構築する場合の、EC2インスタンスの管理やデプロイなどのポイントを紹介します。 ベースインスタンスの作成 プロダクション環境のインスタンスは複数となるため、1台1台をセットアップしては効率がよくありません。AMIを作成することで、EC2インスタンスは簡単に複製できるため、ベースとなるインスタンスを1つ構築して複製すると、効率良く構築することができます。 それ以外のベースインスタンスに関するトピックを紹介しましょう。 ステージング

O'REILLY Velocity 2015 Santa Claraが2015年5月27日から29日まで開催されました。ハートビーツからも松鵜と滝澤の二人が参加しました。 前編に引き続き、この後編では5月28日と29日のセッションの一部を紹介します。 なお、内容については紹介している資料を確認してください。聞き間違えたり、認識が違っているかもしれないためです。 ※会場であるSanta Clara Convention Centerの前にあるライトレールの駅の写真です。 レポート、その１ まずは、松鵜のレポートです。 Operating Docker security for speed and profit Operating Docker security (slideshare) Dockerにおけるセキュリティの諸問題(Dockerイメージは信用できるのか、ホストの安全性はどう確保す

詳細については後述しますが、MapReduceの処理モデルは、上記の通り各区分ごとにそれぞれ単純化（限定）されたモデルであったと言えます。 また、MapReduceの関数プログラミングおよびグラフ的な特徴も合わせて以下に整理してみます。 関数プログラミング的な特徴 MapおよびReduceフェーズは、それぞれ関数型プログラミングのMapおよびReduce処理をモデル化したものです。MapReduceは、参照透過性がある純粋な関数処理と言えます。参照透過性とは入力により出力が一意に決まる性質のことです。言い換えればMapReduceの処理は、大域などの処理に影響する外部の環境は持たず、内部的にも静的な一時変数などの状態も持たないことを意味します。 純粋な関数処理は複数の処理が同時に実行されても他の並列に動作している処理の状態には左右されないため、この参照透過性は並列化に向いている性質がありま

ここでは、複数のRAIDレベルを組み合わせる技術と、あまり利用されることのないRAIDレベルを紹介しよう。またRAIDに含まれる技術ではないが、RAIDにとって重要な機能も併せて紹介する。 複数のRAIDレベルの組み合わせ RAID 0／1／5はそれぞれ異なるメリット／デメリットを持っており、決して万能とはいえない。そこで考案されたのが、複数のRAIDレベルを組み合わせる技術である。発想としては、あるRAIDレベルが不得意とする機能は別のRAIDレベルでカバーすることで、総合的にデメリットの少ないディスク・サブシステムを実現する、というものだ。単一のRAIDレベルに比べ、必要最小限のディスク台数が多くなりコストがかかりやすいものの、複数のRAIDレベルの組み合わせは、耐障害性の向上と高速化、大容量化を同時に実現する有効な手段としてよく利用されている。実際、ハードウェアRAIDコントローラに

Redundant Array of Independent Diskの略号 複数のディスクにデータを分散し冗長性デ−タを付加して格納し、ディスク障害のときにユーザデータの再生を可能とするディスクアレイ 1987年　カリフォルニア大学バークレイ校において論文化 デビット.A.パターソン、ガースギブソン、ランディカッツ教授 「A Case for Redundant Arrays of Inexpensive Disks」 ディスクアレイのアーキテクチャ

米HPがChefやDocker、Ansible、OpenStack、VMwareなど主要インフラのAPIを統合する「Project Synergy」を発表 サーバやネットワーク、ストレージなどのインフラをソフトウェアで構成する「Infrastructure as Code」（コードとしてのインフラ）は、ChefやPuppetのようなデータセンター自動化ツールやクラウドなどの登場によって、数年前から現実のものとなっています。 米HPは、こうしたさまざまなInfrastructure as Codeのツール群、インフラ群を統合した1つのAPIで呼び出し可能とし、より柔軟な構成と管理を実現する目的の「Project Synergy」を、先週開催された同社の年次イベント「HP Discover Las Vegas」で発表しました。 同社はこれにより、サーバやストレージとなどのリソースプールからイン

(注記：6/9、いただいた翻訳フィードバックを元に記事を修正いたしました。) 今回の記事は毎秒300万ものリクエストを処理できるほど強力で高性能なWebクラスタの構築についてのパート1になります。まず初めに、あまり多くはありませんが、私がこれまで使用したことのあるロードジェネレータツールをいくつか紹介します。私のようにてこずって時間をかけてしまわないよう、今回の記事が理解の手助けになれば幸いです。 ロードジェネレータはテストを目的とした数種類のトラフィックを発生させるプログラムです。それによって高負荷においてサーバがどのように動いているか、そのサーバの弱点はどこなのか、などが見えてきます。負荷テストを通じてサーバの限界を知ることは、サーバのレジリエンシーを測定する最適な方法であり、あらゆる問題に対する準備の手助けにもなります。 ロードジェネレータツール 負荷テストをする際に頭に入れておくべ