もはや改めて説明の必要もないほど人気の「ニコニコ動画」、略して「ニコ動」は、コメント機能などによって今までにないコミュニケーション手段を作り上げた動画投稿共有サービス。インターネット発の新たな流行を生み出しており、日本のインターネット文化にも大きな影響を及ぼしているサービスの1つといえる。 このサービスのインフラに、日本ヒューレット・パッカード（以下、HP）のストレージが採用されたという。 スループットも容量も柔軟に拡張できるストレージ構成 動画コンテンツの商用サービスとしての要件を、どのように満足させていったのかについて、「ニコニコ動画」のサービス構築・運用を行うドワンゴ 開発計画運用部 佐藤哲也氏は次のように話す。 動画コンテンツの商用サービスとしての要件を、どのように満足させていったのか。「われわれとしては、NFSでアクセスでき、全体を単一のボリュームとして扱えるもので、かつ拡張性も

ファイルの入出力性能の改善は，システム全体の処理速度向上に大きく貢献する。高速なプロセッサを搭載する現在のコンピュータでは，ファイルのアクセス速度がシステム・パフォーマンスのボトルネックになっているためである。不要なディスク・アクセスの削減とアクセス速度そのものの向上が，チューニングの要となる。 アクセス時刻の記録を省略しファイル読み込みを高速化 ファイルにアクセスしたときには，最終アクセス時刻が属性情報として記録される。この情報を記録しないように設定することで，ファイルの読み込み速度を向上できる。最終アクセス時刻の記録を止めるには，ファイル・システムのマウント時に，noatimeオプションを指定する。ベンチマークでは，読み込み速度が2倍強に改善できた。 atimeは無駄 LinuxなどのUNIX系OSでは，statやfstat，lstatというシステム・コールを使って，ファイルの属性情報

まだまだ認知度の低いOpenID。ユーザ登録を乱発せずにサービスを利用できるので便利な技術ではあるのだが、一般に流行らせるにはまだまだ越えるべき壁も数多い。問題の一つはまだまだOpenIDサーバの提供が少ないということだ。 トップページ 自サービスを手軽にOpenID対応にするのに、専用のサーバを利用するのはいかがだろうか。 今回紹介するオープンソース・ソフトウェアはmasquerade、Rails製のOpenIDサーバだ。 masqueradeはRailsを使って簡単にOpenIDサーバを構築できるソフトウェアだ。ユーザ登録はもちろん、メールアドレス認証もある。OpenID1.0系のサーバが構築できるようだ。 ログイン masqueradeを使えば、既存サービスの認証情報をOpenIDサーバに対応させられる。既存サービス内にOpenID機能を持たせるのは大変だが、認証情報だけ流用して提供

企業内のファイルサーバというと、SambaやWindowsを使った中央集約的なファイルサーバがメインになっている。だが、扱うファイルの量が膨大になってきていること、その維持管理がわずかなサーバによって管理されている問題がある。 そうした状況を受け、ファイルシステムも次世代化を目指す段階にきたようだ。 今回紹介するオープンソース・ソフトウェアはOpenAFS、分散化ファイルシステムだ。 OpenAFSの開発は実に1983年からはじまっているらしい。当時ではまだまだ速すぎたかも知れないが、現状のネットワーク化がようやくOpenAFSを求めつつある。分散化することによって複数のファイルサーバを意識することなく利用できるのは素晴らしい。 Mac OSX向けインストーラー インストーラー付きのクライアントはWindows、Mac OSX向けが用意されている。クライアントはインストールするだけで良いの

賃貸暮らしのわが家の地震対策【揺れから命を守る編】 以前のブログでも記載した、防災の優先順位に基づいて対策を進めています。まだ手をつけられていない部分もありますが、ある程度まとまってきたのでざっくりとご紹介していきます。 優先順位別に改善していっているため、今回は主に地震の揺れ対策がメインになります。…

MySQLfs を使うと、リレーショナル・データベースMySQLの中にファイルシステムを入れることができる。このファイルシステム中のファイルに含まれるバイト列はデータベースの各行に分割して格納されるため、大きなファイルがある場合もデータベースが巨大なBLOBフィールドをサポートしている必要はない。ファイルシステムをMySQLデータベースに入れておくと、データベースが備えているバックアップやクラスタリング、レプリケーションの機能を利用してMySQLfsファイルシステムを保護することができる。 Fedora、openSUSE、UbuntuにはMySQLfsのバイナリー・パッケージは含まれていない。したがって、MySQLfsを使うにはソースからビルドする必要がある。また、あらかじめmysql-develとfuse-develをインストールしておかなければならない（FUSEにより、一般のプログラム

前回に続いてまたmemcachedの話をしたいと思います。今回は改造編です。 ハッシュデータベースサーバなどの実装でmemcachedライクなものを書くのも良いですが、以前からmemcached自体のストレージをmodularにできたら面白いかも？と思っていたので実験的にmemcachedを改造してみました（memcached-1.2.4がベース）。 とりあえず名前はmemcached modularの略でmmcmodと名づけて、mikioさんのTokyo Cabinetをストレージとして使うモジュール（厳密にいうと共有ライブラリ）を書きました。ソースコードは後日CodeReposの方に上げますがとりあえずこの記事で公開します。ちなみに新しいプロダクトを作る気はなくて、最終的にpatchを作ることが目的です。 で、話を続けると今回の改造を簡単にビジュアライズするとこんな感じです： 図のmm

All of Percona’s open-source software products, in one place, to download as much or as little as you need.

最近一段とメモリが安くなっている. http://www.watch.impress.co.jp/akiba/hotline/20071006/p_mem.html 「今使ってるマザーボードは8G対応って書いてあるし, メモリスロットも4つあるから5万円出せば8Gメモリのサーバってぇ寸法よ」 という目論見だったけれど,いろいろ実験及び調べてみたところうまくいかなかったので,わかったところまでをご紹介.どなたか私の屍を乗り越えて先に進んでください. 得た知見としては下記の通り. メモリコントローラの最大バンク数について フツーに売ってるインテルベースのマザーボードのチップセットのメモリコントローラは最大ランク数(バンク数)という概念が存在して,チップセット的にハンドリングできるメモリ上限とは別の制限がある.メモリモジュールのランク数はおおむね片面実装(チップが基盤の片面にだけくっついてるもの

ゴール 負荷分散のいくつかの方法に関して理解する mod_proxy_balancerによる負荷分散クラスタが構築できる 基礎知識編 基本的な資料 主にクラスタによる負荷分散の資料。 - Apache モジュール mod_proxy_balancer - mod_proxy_balancerで中?大規模サーバー運用するときの勘所 - cyano あと社外秘資料。 負荷分散？ 複数台のサーバにアクセスを分散して、個々のサーバにかかる負荷を減らし、全体的に処理できるアクセスを増やすこと。 以下のようなアプローチがある。 DNSラウンドロビン DNSでひとつのホスト名に複数のIPアドレスを割り当てる方法 シンプル しかしダウンしているホストにもアクセスが振り分けされてしまう 冗長化と併用でなんとかなるかな？ 機能ごとにホストを分割 ウェブサーバとDBサーバの分割（基本過ぎるが一応これも負荷分散）

すこし前にはてなスターのリリースがされたのですが、サービス開始直後にありがちなことに、時々負荷で遅くなったり、アクセスしにくくなったりしてしまいました*1。これではいけない、ということで、すぐ次の日に、バックエンドのサーバを一気に10台近くまで増やして、おおむね快適に使える状態になっていると思います。この時に、新しいサーバをまっさらな状態から、だいたい30分程度で本番投入することができていました。これを、どのように実現したのかを軽く紹介したいと思います。 ちなみに、サービスの重さは、サーバ増強だけで済むものではなく、それ以降も、Javascriptが重い!とか、アプリケーションロジックで重いSQL を走らせてしまって遅いという問題は何回かありました。が、そこはインフラではなく、アプリケーションの問題で、アプリケーションの改善は、継続的に進んでいると思います。ので、今回は、インフラの話に限定

新しくGIGAZINEの現在提供しているサービスを拡張する上において、仮想環境ではなくテスト用サーバの実機を購入して検討する必要がついに出てきたため、試しに現時点での代表的な各サーバメーカーの最安値サーバをそれぞれ調べてみました。 それぞれ最低の最小構成で比較しているだけなので、実際に必要なオプションをくっつけるとまた結果は違ってくると思われますが、いずれにしてもとにかく動けばそれでよし、負荷が上がったら順次買い足して負荷分散させるという使い方を目指すのであればかなり参考になるのではないかと思われます。 詳細は以下から。 以下はすべて現時点での税込価格であって送料は入っていません。サイトやPDFファイルのパンフレットなどを見ながら書き写したモノなので、実際は違うというケースがあるかも。参考にする際は自己責任で、購入前には事前に相手先ベンダー・メーカーにちゃんと問い合わせておきましょう……。