【トレタ×プレイド】TechBlog Deep Dive Meetup #1 〜インフラ編〜 http://plaidtech.connpass.com/event/33511/ での発表内容。 Terraform, Packer, Roadworker, Ansible, Serverspec, C…

微力ながらレビューに協力させていただいた @koemu 先輩の単著（マジすごい！） ITインフラ監視実践入門をいただきました。 ソフトウェアエンジニアのための ITインフラ監視[実践]入門 (Software Design plus) 作者: 斎藤祐一郎出版社/メーカー: 技術評論社発売日: 2016/01/16メディア: 単行本（ソフトカバー）この商品を含むブログを見る 詳細な目次は gihyo.jp を参照してください。http://gihyo.jp/book/2016/978-4-7741-7865-3 なし崩し的にサービス運用を担当しているWebアプリケーションエンジニア……あるいは先輩（インフラ）エンジニアがどのような選択肢を考えた上で現在の方法を選んでいるか？をうかがい知るためにうってつけの本 長い見出しで恐縮です。 ただ、自分のように専門のインフラ担当というわけではないものの

どんなに魅力的なサービスでも、インフラがしっかりしてなければ価値はない 「ユーザー登録が数十万、数百万人に達して大人気！」 「テレビ番組に取り上げられて、アクセス数がうなぎのぼりに！」 Webサービスがそんな華々しい実績とともに紹介されるのをよく目にしますが、その裏側で大きな問題が起きることはめずらしくありません。 「アクセスしてるのに、まったくつながらないんだけど……」 「なんとかつながるはつながるけど、異常に遅くてイライラする……」 そんな経験、あなたも一度はあるのではないでしょうか？ どんなに便利で役に立つWebサービスがあったとしても、それを的確にお客さんに届ける基盤がしっかりしておらず、サイトが頻繁に落ちていたり、動作が遅かったりすれば、価値がありません。その基盤のことを、「⁠インフラ」（⁠Infrastructure：インフラストラクチャーの略）といいます。一般的には水道、電気

エンジニアになってかれこれ14年目、そのうちの多くをインフラエンジニアとして過ごしてきました。ドリコムが弱小ベンチャーの時代から始まり、上場を経て今に至るわけですが…… そんな私の経験を凝縮したような書籍 『たのしいインフラの歩き方』 を執筆しましたことを、ご報告させていただきます！ 本の概要 タイトルどおり、インフラ周りの歩き方について記したものであるため、これを読めば環境を構築できるとか、深い技術や仕組みを理解できる、というようなザ・技術書といった類の内容ではありません。 では、ここでいう歩き方とはなんぞや？といいますと、起業したての小企業から、数百人規模の大企業に至るまでに、どのような技術的要望があり、どのように解決していくのか、という時間軸や規模感に沿ったインフラのエンジニアリングや、その心構え、ということになります。 対象読者としては、大きくは初～中級者のエンジニアとなっています

中〜大規模サービスのインフラの様子を知りたいアプリケーションエンジニア向けに、もともとアプリケーションコードを書いていた視点から、個人的な体験をベースにはてなで大規模サービスのインフラを学んだ過程や学んだ内容の一部を紹介します。 Webアプリケーションのブラックボックス Webアプリケーションフレームワークの向こう側 なぜ複数のサーバが必要なのか 突然のWebサービス3層構成 リバースプロキシ アプリケーション データベース その他のコンポーネント キャッシュは麻薬 飛び道具としてのKVS/NoSQL 非同期処理 バッチ処理 Mackerelの場合 参考 まとめ Webアプリケーションのブラックボックス 今年もはてなインターンの時期が近づいてきた。 毎年ではないけど、はてなインターンでは「インフラ講義」というのをやっている。 今年はインフラ講義の講師としてアサインされたのでちょうど何を話そ

お久しぶりでございます。諸事情によって半年近くも息を潜めていましたが、また継続的なアウトプットをしていきたいと思います。あうとぷっとあうとぷっと。 昨年からAWSに触り始めて、少しずつ研究して、今年から本番運用を開始できています。なので、そっち方面が多くなりそうなのですが、その一発目として昨年にAWSを軸に新卒インフラエンジニアを育成してみた話を書いてみます。 経緯 ウチでは一般的な新卒採用を行っています。内定が出て、入社後はエンジニアも一定期間の研修を受けて、そして配属されることになっています。 私は稀に、キャリアプランによっては内定した段階の子との面談を組まされるのですが、その時点でインフラエンジニアになるという断固たる決意を持っていて、研修の段階に入っても意志は変わらなかった野郎がいたのでインフラ部隊に入れることにしました。しましたといっても普通は、配属は本人の希望以外に人事部判断や

過去2回ほど、20%~30%程度のサーバ削減をやったことがあって、 その時のメモが出てきたので、考え方とかやったことをザックリまとめてみる。 まず例えば、不要なサーバを削減してインフラコストを月額10万円減らしたらどうなるか。 これは運用コストも解約リスクも無い、恒久的な利益になる。 裏返すと以前は恒久的な損失が発生していたということなんだけど、情報をまとめないとだれも気づかない。 なのでどこまでやるかは状況次第だけど、情報をまとめることは最低限必須だと思う。 ということで、『効率化する』、『安く買う』についてはまた次回にして、 今回は『情報をまとめる』、『ポリシーを決める』、『適切なサーバ台数を維持する』ことについて。 基本的にオンプレ環境を前提として考えます。 情報をまとめる まずは最初に言ったように、必要な情報をまとめる。 そしてだれでも見れるようにする。 これをしないと自分が思いつ

重要: 全員発表必須のゼミナール形式です 趣旨 ここ数年、ITインフラの構築・運用の自動化が盛んに話題になっています。 しかし、ベストプラクティスはこれだ！と言えるほどの知見はまだまだ少なく、個々人で悩みつつも前進されているのが現状ではないでしょうか。 そこで、今回は 全員発表のゼミナール形式 で皆さんの知見を持ち寄り、かつ意見を交換できる場を作ってみました。その上で、明日から良いITインフラの構築・運用が行える知見を獲得できる場にできたらと考えております。 形態 ゼミナール形式 持ち時間10分/人程度 質問時間を含む 「背景」「導入内容」「効果」という流れでお話頂けると皆さんと共有しやすいです 全員発表が必須 スライド、またはデモンストレーション環境等を用意して下さい。 事前にテーマがお話しできる方はコメント欄にお書き下さい(必須ではありません)。 一部オフレコとしたい場合は発表時にその

技術部の高井です。 最近、日本でもマイクロサービスという言葉が流行しつつあります。 今回は、なぜクックパッドがマイクロサービスを選択したのか、また実際にどのようなやり方をしているのかということを紹介します。 Conwayの法則 ここ数年の間、クックパッドはレシピの投稿・検索サービスから「食を中心とした生活のインフラ」として事業領域を拡大しつつあります。海外レシピサービスの買収による海外展開は、単なる金銭的な関係にとどまらず、人的・技術的な交流も含めて本格化しつつあります。また、「モバイルファースト」を標語とするモバイルアプリケーションへの取り組みも加速してきました。 事業領域の拡大やグローバル展開、モバイルファーストといったビジネス要求の変化に応じて、会社の組織構造も変化しています。そして、Conwayの法則 として知られているように、組織構造とソフトウェアアーキテクチャには密接な関係があ

20年越しの大規模リニューアルが進行中。「わくわく時間100%」を目指すDMM通販モダナイズプロジェクトの全貌

TIS株式会社で行った社内勉強会（西新宿Tech-Circle）の資料です。 Test-Kitchenを使ってTDDを実践する方法をご紹介しています。 資料内で出てくるGitLabやJenkinsのLT資料は以下リンクより見れます。 http://www.slideshare.net/yoshimitominaga/ss-36972336

昨夜、ドリコムさんで行われた「最新インフラエンジニア技術勉強会 〜Fluentd, Elasticsearch,Chefの実践実例〜」に足を運んできました。 タイトルにもありますように、Chef, モニタリング, Fluentd, そして elasticsearch が使われている現場の情報を伺える機会となりました。 それでは、いつものようにノートをアップしておきます。 概要 2014-05-23 ドリコム 本社 (目黒アルコタワー) 19:30-20:00 ひらしー ドリコムのInfrastructure as Code 20:00-20:30 mickey Winning the metrics battle 20:30-21:00 外山 寛 Fluentd プラグイン開発講座 21:00-21:30 yoshi_ken MySQLと組み合わせて始める全文検索エンジン「elastics

ガチのAWSド素人が年末に調べまくった、AWS関連のリンク集です。 まだまだ調査中なので随時追加する予定ですが、広深くてキリがないのと、年始一発目の目覚ましエントリということでいってしまいます！ はじめた目的 多数のスタートアップにおいて、インフラ専門のエンジニアが付かなくても、小～中規模程度まではそのチームでインフラ面を完結できるようにしたい。 …ということで、今の時代に合わせて簡単・安価・拡張性・耐障害性…を満たす環境を考えるべく、ひたすら知識をかき集めることにしました。考えた構成などについては別途書きたいと思います。 また、遡って調べるほどに出来と進化速度に感心するとともに、情報消費期限がせいぜい２年だと感じ、ほぼ２年以内の情報をもってこのような臭ぇタイトルにしています。 目次 ドキュメント アーキテクチャ クラウド全般比較 クラウド性能比較 費用／スペック ネットワーク 基本インス

＜SKILL BASECAMP 2013＞ MySQLの冗長化～無停止運用を実現するには～ http://www.pasonatech.co.jp/entry/index.jsp?mode=2&d=on&no=3756

mixiのサーバOS移行のお話 – mixi Engineers’ Blog とその続編に触発されて、私の寄生先であるドリコムではどのように考え、何を選択してきたのか振り返ってみたいと思います。 こういう情報の公開は、確かにしないに越したことがない類のものかもしれませんが、年末ですし、当たり障りのない範囲で思い出エントリで締めくくろうかなと思い立った次第であります。 OSの選択を振り返る 2001年あたりから覚えている範囲でザッと振り返ると、 RedHat 7-9 FedoraCore 1-3 Debian 3-6 CentOS 4-6 という感じで、現在はDebian(5/6)とCentOS(5/6)を主流で利用しています。あとはたまにBtoB案件とかでWindowsServerやRHELもちょこちょこありましたが、今はないですね。 こういう選択をしていった理由は、 まずRedHat～F

新卒採用のイベントで『知的ヘンタイ六番勝負』というのをやっていまして、その『第三戦 大規模インフラ・解析勉強会』にてインフラについて話してよ、と人事オファーをいただきまして発表した次第でございます。 エンジニア志望とはいえ、不特定多数の人間に対してインフラの話と一口で言われても、誰が何をどれくらい理解してるのかわからないので厳しい案件ではありましたが、せっかく来ていただくので真面目に張り切った結果、質疑応答含めて１時間弱に渡る発表＋風邪でノドが潰れた資料がこちらになります。 補足 新卒の方々に向けて これまで新卒の人に関わる機会がなく、インフラについてどの程度理解があるのか全くの不明でしたが、思っていたより勉強しているなという感触と、良いエンジニアになれそうな匂いを発している野郎も結構多かったな、という印象でした。 資料でも触れてますが、WEBエンジニアを目指した時に、何を武器に何エンジニ

久々に社内向けに勉強会を行いました。 既に稼働しているサービスの、サーバの台数調整の考え方についてです。半分くらいは口頭で話したので資料だけでは物足りないかと思います。が、せっかくなので公開しておきます。 内容はインフラ管理についてですが、対象者はどちらかというとアプリケーションエンジニアとして作成・発表しました。資料と、ブログ用に補足を書いていきます。 作りやすくて頼りになるので、 もう、赤さんはテンプレでいいかな、とも思い始めました。 補足 勉強会をするに至った理由 いわゆるインフラエンジニアが、サーバの負荷状態を観測したり、台数を判断できるのはアタリマエですが、サービスを作成しているアプリケーションエンジニアにとってはアタリマエではなかったりします。 理想としては、WEBエンジニアたるもの、自宅サーバやレンタルサーバを１つは持っていて 総合的な知識を得ようとする環境・努力をして欲しい