greeさんで開催されたKey Value Store勉強会に行ってきました。 時間にして4時間超え、内容も国内のKey-Value Storeなソフトウェアの最前線の話ばかりで相当なボリューム。以下、メモってたのを残しておきたいと思います。（誤字、脱字、内容に誤りを含むものなどありましたらお伝えください）また、発表者の方やプロダクトについて、ざっくり調べてURL見つけられたものについてはリンク張っています。 森さん / 末永さん   groonga Sennaの後継エンジン 融通が効かないのがSennaのデメリット スコア算出式のカスタマイズなど Sennaの転置索引 索引の構成部品を自由に組み合わせて使える APIもいろいろ QL DB Low Level memcached互換のkey-value store バイナリのみ対応 計測 クライアント　memstorm-0.6.8 mem

ヨドバシカメラのサイトがリニューアルに失敗してレスポンスが著しく低下している。ただでさえ重いところに、「ほらほらみてみて、重くなってるよ！見に行ってみてよ」なんてGIGAZINEが煽ったり、yahooニュースに飛び火したりしてさらにリクエストが増えて、瀕死の重病人いよいよまさに往生せんとす、といった雰囲気である。構築した会社は今頃針のむしろだろうし、ヨドバシ側の担当者もきっと現場からは「使い物にならんぞ！」と突き上げを食らい、上からは「なんでこんなところに依頼したんだ！」と怒られて社内キャリアはぶっ吹っ飛んだだろうし、まあ他人事ながら同情申し上げる。すでにあちこちで、CMSが腐ってるとか構築会社の社長がすごいとかいろいろ言われているが、基本に立ち返って外側から見える現象をひとつずつチェックしてみよう。1. DNSは問題なし大阪吹田にあるどっかの会社のサーバでDNS引いてみた。 $ dig

社内ではインフラを触るエンジニアが少なく、とても寂しい思いをしているarashoです。夏本番で夏バテしています。 表題のテーマで勉強会を開催しました。といっても、webアプリケーションプログラミングの話ではなく、今回はロードバランサについてです。 ロードバランサはスケーラブルなサイト構築だけではなく、耐障害性を確保するためにも必要なものです。ハードウェア障害で夜中に起こされるとか、ない方がいいですよね。 普段webアプリケーションの開発しか行っていないなかったり、ネットワーク/インフラの知識が弱いメンバーにとってはロードバランサは魔法の箱だったりブラックボックスだったり、あるいは存在を知られていない事もあったりするかと思い、今回はロードバランサの話をしてみました。 といっても、対象はロードバランサ初心者向けということで、かなり基本的な話になっています。ロードバランサで出来ることは多岐に

 403 Forbidden nginx

昨日、開催された DeNA テクノロジーセミナーへ行ってきました。当初の予想を大きく上まわる応募があったようで、 会場にはたくさんの人たちがきていました。 DeNA へ行く途中ですこし迷ってしまって、15 分ほど遅れてしまい、一番興味のあった MySQL の話をあまり聞くことができませんでした。今回の資料が公開されるといいのですが・・・。 以下、メモとして書いておきます。まずは、MySQL まわりの話から。 MySQL は、バージョン 5.0.45 を使った master-slave 構成（5 系には最近移行したらしい、あわせて OS も 32bit から 64 bit に変更した） OS は、CentOS4（CentOS 5 にしたいと言っていた） master が落ちたときの予備のサーバとして、別途バックアップするサーバがある Slave には、読み込み専用のユーザしか設定しない（なの

先月開催したテクノロジーセミナーのスライド (PowerPoint ファイル) を公開します:モバゲータウンのインフラ構築、運用 (有澤 高介)モバゲータウンの HTML テンプレート、絵文字の扱い＋α (松内 良介) DeNA テクノロジーセミナーについて先月の「お誘い」には「第 1 回」と書いてしまったのですが、実際の初開催は 2006年の 10月, 2007年 2 月で、その時はモバオクのシステム開発・運用全般について説明しました。この時の内容はほぼ DB マガジン 2007年 1月号に掲載していただいた記事と同じものです。たしか 1 時間くらい僕がプレゼンテーションをし、30 分くらい質疑応答 (こちらは川崎も担当) するというような感じでした。質疑応答では「ここはどうなっているのか?」「ここの部分の性能はけっこういいですね」「この部分は公開してくれるとうれしい」というような質問や

Introducing... NagVis is a visualization addon for the well known network managment system Nagios. NagVis can be used to visualize Nagios Data, e.g. to display IT processes like a mail system or a network infrastructure.

注意書き。 この文章は、やっぱり Debian GNU/Linux(unstable) をベースに書かれています。 RedHat など、他の distribution をお使いの方は、適切に読みかえるなり、 他の文書を当たるなりしてください。 はじめに 私は、もともと IIJ4U を ISP として 使っていたのですが、最近 natcracker を 利用して固定 IP アドレスを得ることができました。 (natcracker で固定 IP を使おう 参照) 210.***.***.a 210.***.***.b Flets ADSL natcracker | : |PPPoE :VTun |<ppp0> :<tun0> | : +-(eth1)------------------+ | Linux PC | +---------(eth0)----------+ | | LocalNet

Linuxを含む多くのOSは、default gw（デフォルトゲートウェイ）の 送出先を１カ所しか設定できません。このため、複数のプロバイダを契約して 接続をしていても、実際に使うことの出来る回線は１本のみとなってしまいます。 iproute2を使うと、２つのプロバイダに接続をした１台の LinuxBoxからそれぞれの接続に対して正しく通信することが可能です。 ここでは、２つのグローバルIPアドレスをDNSラウンドロビンにより リクエストを分散し、１台のWWWサーバーでそれぞれの経路から来たリクエストに 応答できるように設定を実施します。 接続概念図 ここでは、下記の接続図を想定して設定を行います。 別に３階層のネットワークでなくても良いのですが、 この構成でならばウェブサーバを100台程度まで増やすことが可能になります。 (ISP:210.149.88.1) (ISP:61.114.8

2重投稿してしまってトラックバックも2発Cnet様に飛んでます。すいません。 ひろゆき氏、「ウェブ動画がビジネスになる日は遠い」 そうなんですよね。 回線コスト。帯域を確保するように考えると、異常にコストがかかります。 ニワンゴは、動画上に視聴者がコメントを付けられるサービス「ニコニコ動画（γ）」を提供している。西村氏によれば、登録会員数は100万人、動画の再生回数は2億回超以上で、1日のページビュー数は1000～2000万PVという。「回線コストがかかりすぎて、これ以上なかなか規模を広げられない」（西村氏）という人気ぶりだ。 （中略） 「テキスト広告であればデータ量は100Kバイト程度だが、動画になると100Mバイトにもなりうる。データ量が1000倍になったからといって、広告単価が1000倍にはならない」（西村氏） いったいどれくらいなのか予測してみましょう。 専用線として考えてみる 国

« brainf*ck でマジメに素数探索 | メイン | Brainf*ck で動的リスト » 2006年06月29日 DNS ラウンドロビンと高可用性 (High Availability) ウノウラボ Unoh Labs - ベンチャー流サーバ構築のススメ(ネットワーク編) について。 おもしろく読ませていただきました。また、監視系を導入せずに自律的に動作させようという発想も大好きです。 でも、 DNSは各回線の内側に設置しておきます。例えば上図のような場合、回線A側のDNSは回線AのIPアドレスを返すようにして、回線B側のDNSは回線BのIPアドレスを返すようにします。こうするとどちらかの回線が切れたときは切れたほうの回線のDNSにアクセスできなくなるので、自動的に生きている方の回線に接続されるようになります。 (ウノウラボ Unoh Labs - ベンチャー流サーバ構築のススメ(

尾藤正人です。 前回のエントリ ベンチャー流サーバ構築のススメ(ハードウェア編) では多くのコメント、トラックバック、ブックマークをしていただきました。ありがとうございます。僕自身多くのことで勉強になりましたし、新たな発見もありました。 技術は公開、共有して発展するものだと思っていますので、自分の無知をさらけ出すのを恐れずにいろいろ公開して、自分自身も成長していければと思っています。 今回はサーバ構築するときのトピックとして、どのようにネットワークを構築したかを書いてみます。 サーバ構築に限ったことではありませんが、重要なのは質を下げずにコストを下げることです。ネットワーク部分でお金がかかるのは回線ぐらいですから、ネットワーク周りで重要なのは人的コストを下げること、つまり管理コストを下げることです。 ・回線は2回線以上用意する 2回線以上用意するのは高可用性を確保するためです。通常は全ての