みなさんこんにちは。ISUCON4 出題担当チームの mirakui です。 2014年11月に行われた ISUCON4 本選ではテコラスさん提供のホスト上に用意された VM で競技を行いました。今回、本選の VM に似た環境を再現する AMI を用意しましたのでご紹介いたします。 本選環境を再現するために、2つの AMI を提供します。1つはチューニング対象アプリケーション用の AMI 、もう1つはベンチマーカー用の AMI です。 アプリケーション AMI ami-86e8e287 ベンチマーカー AMI ami-84e8e285 アプリケーション AMI は、本選で参加チームに3台ずつ提供された VM とほとんど同じ内容です。 ベンチマーカー AMI は、ベンチマークサーバを再現するもので、 benchmarker の実行ファイルと、本選で実際に用いられた動画ファイルのセット（13G

1. ISUCON4 予選問題でアプリ ケーションコードを変更せ ず、”my.cnf”に1行だけ足し て、予選通過ラインを突破 するの術 MySQL Casual Talks vol.7 ISUCON芸人 長野雅広 a.k.a kazeburo 4. 何を変更したのか • インデックスの追加 • アプリケーションをPerlに変更 • アプリケーションサーバの変更と起動設定のチューニング • nginx での画像/CSS/JavaScript配信 • nginx <=> アプリケーションサーバ間をTCPからunix domain socket に • my.cnfのチューニング 6. Benchmark 04:02:01 type:info message:launch benchmarker 04:02:01 type:warning message:Result not sent to

予選からご参加いただいた皆さん、ありがとうございました！おかげさまで参加者も増えまして、今年も運営やらせていただきました。毎回どんな運営やったかを書いているようなので今回も書いておきたい。 エンジニアがやりたいというので 技術コンテスト #isucon の運営をしてみた - 941::blog #isucon2 の運営担当をしたので準備とか企画とかの話 - 941::blog ISUCON3 予選の企画と運営をしました - 941::blog エンジニアが熱狂した 第三回 #isucon 運営の話 - 941::blog 読み返すと長い。今回は短めで。 ISUCON4 概要 LINE　主催・賞金提供 クックパッドさま　出題 テコラスさま　本選サーバ提供 AWSさま　予選サーバサポート オンライン予選は参加総数 185組、507名 本選出場は 31組、88名でした。 準備から本選までの話は出

ISUCON4本選の振り返り こんにちは。ISUCON4 出題担当スタッフの mirakui です。 あの盛り上がった本選から約一ヶ月が経過してしまいましたが、本選について振り返ってみます。 ISUCON4 の予選は、参加チーム180組以上という過去最大の規模でしたが、本選に出場できたのはその中のたった30組でした。この倍率の高さからも激戦であったことは想像に難くないと思いますが、一体どのような問題で、どのような戦いだったのでしょうか。 テーマは「動画広告配信」 本選問題のテーマは、「動画広告配信」でした。広告リクエストに応じて表示すべき動画クリエイティブを抽選し、5MB 程度の mp4 ファイルを出力するという問題です。 この問題には以下の内容が含まれていました。 広告主が動画広告を入稿する API。おもに以下の情報を POST する 広告動画ファイル ユーザが広告（リダイレクタ）をクリ

この記事は、mod_mruby ngx_mruby Advent Calendar 2日目の記事になります。 「分かったこととか、ちょっとしたノウハウ（レベル低いやつですｗ）とか、感想とか」とエントリーしましたが、全部まとめて書くとエライ長くなりそうなのと、情報がまぜこぜになって読みづらくなりそうなので、幸いアドカレの枠にまだそれなりに空きがあるようですので分割させていただきますm(__)m ここではまず、やってみて「分かったこと（というかやってて気づいたこと）」と「感想」の辺りを書きたいと思います。 ノウハウについては5日目に書こうと思います。 きっかけ まず、常々出たいとは思っていたものの、相棒が居ないので出れなかったISUCONの予選問題が公開され、それを普段使っていた（現在はPythonの会社に転職したので過去形）PHPでやってみたりしてました。 isucon4予選AMIが公開され

現実的なWebサービス環境において、Docker化によるパフォーマンス低下がどの程度のものか調査するために、 ISUCON4 の予選問題のうち、Nginx と MySQL 部分を Docker 化してベンチマークをとってみた。 典型的なWebサービスシステムの3層構造（Proxy, App, DB）を構築し、ベンチマーカーにより高ワークロードを実現できるので、ISUCON の予選問題は適当な題材といえる。 Docker のパフォーマンスについて留意することは先日書いたエントリに全て書いてる。 上記のエントリを要約すると、Docker のパフォーマンスについて重要なこととは storage-driver の選択 (AUFS or Device mapper or ...) Volume の ON / OFF AUFS などの差分ファイルシステムをバイパスするかしないか Host networ

ISUCON4 にクックパッド選抜の†空中庭園†《ガーデンプレイス》として @ryot_a_rai、@__gfx__ と参加し、結果は8位でした http://isucon.net/archives/41187491.html 。 使用言語で大きくスコアが分かれることはないだろうということで、3人が共通して慣れている言語として Ruby を選びました。 最初に試しにベンチマークを一回実行しつつ app.rb を読んで、一回の実行だけでかなりスワップしていることと、入稿された動画が Redis に保存されていることに気付いて、まずそれを何とかしようとした。 LTSV 形式で書かれた nginx / Apache のアクセスログからレスポンスタイムの情報を出す access-log.rb を用意して、その結果から動画の配信が支配的だということがわかった。 Ruby の初期実装では全く使われてい

ISUCON4の本戦に@cnosukeさんと@k0kubunさんの3人で、「railsへの執着はもはや煩悩」というチームで出てきました。 cnosukeさんのブログ( http://cnosuke.hatenablog.com/entry/2014/11/11/141321 )やk0kubunさんのブログ( http://k0kubun.hatenablog.com/entry/2014/11/09/003455 )に状況とか詳しく書いてあるのであんまり書くことないですが、とりあえず最終結果は6,000点も行かずにダメダメな感じでした(ヽ´ω`) 戦略 動画広告の配信だし、多分ベンチマークから攻撃のようなアクセスをされるだろうと思い、3台与えられたサーバ全部に対してアクセスさせるようにしました。 ただし、各サーバともメモリが1GBしか積んでいなかったためスワップしまくりだし、OOM Kil

@cnosukeと@rkmathiと僕で学生枠で予選通っていたので、ISUCON4本戦出てきた。 予選で反省して直した点 悲惨な前回の記録 予選の時は常に精神的に余裕がなかった上にチームワークが全く成立していなかったので、@cnosukeに指揮をとってもらってお互いの作業が被らないようにし、 サーバー上で変更を加えるときは声を掛け合い、またチームの誰かが話してるときは落ち着いて聞くようにした。 前回はDevOps的なことに時間を大量に使っていたけど、普通に全員サーバー上で作業して手動デプロイするようにした。 @cnosukeと@rkmathiがインフラを見てくれていて、僕はアプリのコードの読み書きに集中できたのでよかった。 戦略 ファイルサイズの大きい動画配信だったので、何か去年と同じような問題なのかなーと思って全台の帯域を使い切ることを目標にした。 フロントは3台でリクエストを受け、動画

さっき受付で「煩悩の方ですか？＾＾」て言われてウケた #isucon— シン・ノスケ (@cnosuke) 2014年11月8日 アルバイト仲間な @k0kubun と大学の友人の @rkmathi となんとか予選を突破できていたのでISUCON4の本戦に出場してきた。 そういえば今思い出したのですが予選も記事に書いてなかったのでさらっと予選についても書いておく。 予選の話 ちなみに去年も出てました。去年の話はこちら。予選突破と思いきやFail出過ぎで結局スコア低くて死亡みたいな感じだったので今年はなんとしても予選は突破したい気持ちでした。 去年の反省で一番大きかった「ベンチがちゃんと通る状態を続ける」というのを徹底的に守ることを意識。 今年は事前に集まって練習したりもしたので、まぁよく使われるnginxとかvarnishとかunicornとかmysqlとかはそれなりに設定いろいろ弄って実

ISUCON4 本選結果 : ISUCON公式Blog 私の所属するチームフリー素材が準優勝でした ちなみにISUCON4本選TOP3 3位 15350 藤原組 2位 362755 チームフリー素材 1位 614841 生ハム原木 #isucon— ⑨④① (@941) November 8, 2014 チーム構成は 予選 に引き続いて @walf443 さんと @edvakf さんの計 3 人で出場しました 私以外の 2 人は去年の本戦にも出場していますが，私自身は ISUCON 初出場でした 結果としては準優勝でしたが，優勝チームには惨敗したという気持ちでいっぱいですし，自分たちのチームがスコアが高い理由も終わってから分かったという有り様でした 言われてみれば私が担当している広告サーバーで全部ぶち当たって自分で解消していった問題だったのにどうしてすぐに気付けなかったのかと思って悔しいで

結果発表 にある通り、 KLab から参加した3チームは、 2チームが8000点前後の過密地帯で、 lily white だけがほんの少し飛び出て5位でした。 1位、2位が Cache-Control 勢、 3, 4 位が Public/Private ネットワーク束ねた勢だと思われますが、 lily white は API は public, 動画は private と使い分けたため、 片側の帯域を使い切った 過密地帯から少し上に出ることができて5位でした。 以下、時系列でどんな事をやっていたのかを残していきます。 前日: 休み、モニタリング環境準備 実は ISUCON 本戦への参加をカンファレンスでの講演と同じ休出扱いにしてもらって、 前日は振替休日として家族サービスと休息に割り当てました。 おかげで去年や予選時と違って途中で集中力を切らさず最後まで頑張れました。 一応モニタリングツー

みなさんISUCON4お疲れ様でした。まずはじめに運営のLINEさん、出題のクックパッドさん、そしていつも大量のサーバを提供していただいているデータホテル改めテコラスさんありがとうございました。ピザとお寿司おいしかったです。 さて、今回はベンチマークの気持ちになってCache-Controlヘッダをつけることが出来たかどうかだけがブレイクスルーできるかどうかを左右するという潔い問題でした。結果は既に既報のとおりで上位2チームだけブレイクスルーし、3位以下はずーっとネットワーク帯域にめいっぱいデータを流し続けてドングリの背比べとなりました。 1Gbpsの帯域を使い切るレベルまでアプリを高速化できると大体スコアが8000〜9000程度となるようで、最後の1時間までほぼ8000台に団子となっていましたが、Cache-Controlでブレイクスルーした2チームを除くと私の所属するfujiwara組

今回の ISUCON 、みんなはどうだったかな？楽しかったかな？ベンチマーカーについての文句？いいよ、こいよ、俺がベンチマーカー実装者だ。 ということで、まずはお詫びを。今回、過去の ISUCON に比べて本当にトラブルが多くて申し訳なかったです。次の出題者になれる機会があるならば、本当にもっとしっかりしたいと強く思っています。本当に、申し訳なかった。 あとは後悔を。正直当日まで実感なかったし、朝の方も徹夜明けであんまわかってなかったんだけど、昼飯が喉を通らないところでストレス過多で死にそうになってることに気づいた。いやーだって考えてみたら今まさに僕よりすごいエンジニアが僕のベンチマーカーを叩き潰すために全神経を注いでるわけですよ。そりゃ胃痛もするわ。もう二度と出題者になんてなりたくないね。 問題についての詳しい解説や、講評なんかは後日 ISUCON 公式ブログの方に乗せてもらえると思うの

櫛井です。 参加者の皆さん、応援してくださった皆さん、お疲れ様でした！すでに公式ハッシュタグにて紹介していますが、順位は以下の通りでした。 1位　614841　生ハム原木 2位　362755　チームフリー素材 3位　15350　fujiwara組 4位　14448　ナイスカロリー 5位　10855　lily white 6位　9355　.dat 7位　9199　SHINCHOKU.ZERO 8位　8416　†空中庭園†《ガーデンプレイス》 9位　8407　Oops! 10位　8347　山形組 11位　8329　PHPに花束を 12位　8281　(ρ_-)/超銀杏バスターズ\(･ω･ o) 【学生１位】 13位　8275　Printemps 14位　8095　マカレラーズ 15位　8095　Mr. Frank & Co: A New Hope 16位　8068　チームレッド 17位　8017