仮想サーバ17万台、物理サーバ9万台　「ヤフオク!」「Yahoo! JAPAN」を支えるヤフーのITインフラ運用術（1/2 ページ） 国内最大級のポータルサイト「Yahoo! JAPAN」をはじめ、ECサイト「Yahoo!ショッピング」やオークションサイト「ヤフオク!」など、コンシューマー向けWebサービスを数多く運営するヤフー。同社はこれらのサービスを裏で支えるシステム基盤として、大規模なプライベートクラウド環境を自社で構築・運用している。 ヤフーの奥村司さん（クラウドプラットフォーム本部 プライベートクラウドチーム リーダー）が、クラウドインフラの運用管理者向けイベント「Cloud Operator Days Tokyo 2020」で明かしたところによると、その規模は、仮想サーバが約17万台、物理サーバが約9万台。物理サーバのうち2万台がIaaSの仮想化ハイパーバイザーとして使用されて

｜DMM inside

こんにちは、はてなでWebアプリケーションエンジニアをやっている id:polamjag です。 最近のはてなでは、若手エンジニアを中心として、いろいろな技術を見つめ直すワーキンググループをやっています。先日、id:onk も「デプロイ今昔」という記事を書きましたが、このエントリーはそのシリーズの続きで、ワーキンググループの「ログ」の回で議論したこと・話題になったことをまとめました。 Web開発におけるログを見つめ直す ログを4つの目的で分類する 目的ごとに求められる取り扱いの要求水準 いまどきのログフォーマットについて まとめ：どう実装するかを模索していく Web開発におけるログを見つめ直す Webサービス（Webアプリケーション）の運用には、多種多様なログがついてまわります。多くのミドルウェアは何もしなくてもそれなりの量のログを出力しますし、クラウド上のマネージドサービスも然りです。行

吉祥寺.pm23 https://kichijojipm.connpass.com/event/182287/

今月、とうとうオンプレミス環境がその役割を終えたので、当たり障りのない範囲で思ひでを記録しておこうと思います。 だいたい 2002年 から運用が始まったので18年ほどの歴史でしたが、血と汗と…… 血と汗くらいですかね滲んでるのは。さぁ振り返りです。 大阪 私が参画した時にはインフラエンジニアというかサーバー担当者が既に１名おり、「サーバーやってみない？楽しいよ！」と言われて乾いた笑顔を返したのを覚えています。 当時は京都の極小ベンチャー企業で、なぜ最初が大阪のデータセンターだったのかは聞きませんでしたが、とある現地作業についていって、ハーフラック１台に１Ｕ２台が積載されていました。このへんは私自身かなりのペーペーだったので知識不足もあり記憶がかなり曖昧です。 平々凡々に運用していたある日、WEBサイトへのアクセスが途絶えました。 社長の「ねぇ、サイトに繋がらないんだけど」の一言が口火です。

2019年9月25日、ランサーズ株式会社が主催するイベント「オープンタレントサミット〜令和元年、これから求められる本当の働き方改革とは？〜」が開催されました。働き方改革が施行され、大企業が副業を解禁するなど、これまでの「働き方」が大きく変化するこの時代、企業はどう向き合っていくべきか。このイベントでは、本質的な働き方の変化を進める企業の担当者が登壇し、取り組みや事例をもとに様々なディスカッションが行われました。この記事では、マイクロソフトの澤円氏による基調講演「本当の働き方改革に必要な考え方」の内容をお届け。日本人が持つべきコスト意識の話題を中心に、世界で生き残るためのこれからの働き方について語りました。 外資系出身者が感じる、日本企業へのある違和感 澤円氏：さて、ある人の物語でちょっとお話をしましょう。これは日本企業に転職した元外資系のマネージャーです。すごく優秀なやつだったんですけど、

前のエントリの続きです。思ってた以上に反響があったので、主語を控えることも検討しましたがこのまま行きます。前回同様、すでにMicroservicesでバリバリやっている人は読む必要ないと思います。 前回の最後にMicroservices時代になると、開発者がこれまで以上に監視に取り組んでいく必要があると言う話を書きました。多少重複するところもありますが、その辺りから話を始めます。 モノリシック世界観での監視 アプリケーション監視の浸透 Microservices時代の監視設計 開発者自身が監視する どう監視するか メトリクス設計 The Four Golden Signals USEメソッド REDメソッド USEとREDの補完関係 The Four Golden Signalsの素晴らしさ 例: ある認証コンポーネントの監視設計 まとめ モノリシック世界観での監視 Webサービスの構成が

ssmjp 2019/03での発表資料です。 「運用自動化の基本原則」シリーズの番外編と位置付けています。 # 運用自動化の基本原則シリーズ - 2019-03-06 「運用自動化」とは: https://speakerdeck.com/opelab/20190306-operation-…

はじめに このエントリは全9回を予定する18卒新人ブログリレーの第6回です。 はじめまして。今年の4月にリクルートテクノロジーズに新卒入社した小松凌也です。 約3ヶ月に渡る新人研修を終え、7月にサービスオペレーションエンジニアリング部プロジェクト基盤グループに配属されました。現在はインフラエンジニアとして、新規プロダクトの基盤構築や既存プロダクトのインフラ運用フロー改善などに取り組んでいます。 今回この記事で紹介するのは、Amazon Web Services (AWS) 上に構築済みの既存サービスの開発環境を別のAWSアカウントに分離し、Terraformというツールを用いてソースコードでインフラの構成を管理できるようにした事例です。 事例の紹介に加えて、Terraformを使用する上での実践的なテクニックについても随所で解説します。 前提 アカウント分離とTerraform化の背景 こ

こんにちは。インフラエンジニアの永井(shnagai)です。 今回は、Fargateを本番投入し1ヶ月強が過ぎたので、運用する中で気付いた点について書こうと思います。 以前書いた、Fargateに関する調査のまとめ記事はこちら。 tech.connehito.com 内容はざっくり下記3項目です。 いきなりFargateはハードルが高め 良かった点 コンテナのリソースキャパシティを簡単に変更出来る オートスケーリングもシンプルに組める 安定運用 つらい点 タスクの起動速度がEC2バックエンドと比べるとやはり遅い 料金面 いきなりFargateはハードルが高め Fargate導入を通して一番感じたのは、新規にコンテナ化するアプリケーションをECSで動かす場合、EC2バックエンドで試験をパス出来る状態まで持っていった後に、最後にFargateで動かすパターンがよさそうということです。 今回のF

2018年7月12日、三重県津市で開催のJANOG42ミーティングでの発表資料です。 その運用自動化では行き詰まる 〜「つながらない」「つたわらない」「つみあがらない」を防ぐために〜 https://www.janog.gr.jp/meeting/janog42/program/OPE 詳…

コミックDAYSも 脱ブラック化します！ DAYSの連載作品の更新を７月１０日（火）より ブラックの極みだった「真夜中０時」から 真っ白ホワイトな「昼12時」に切り替えっ・・・！ （ただし雑誌の更新は０時のまま・・！） 運用会社の豊国印刷・梅田さんも笑顔っ・・・！ 今後ともコミックDAYSをなにとぞっ・・・！ ↓トネガワ最新話はこちら！↓ ↓コミックDAYS連載一覧もどうぞ！↓ https://comic-days.com/today

「SRE」のエンタープライズ適用を考える ~ AIは、運用管理をどう進化させるのか ~ https://itmedia.smartseminar.jp/public/seminar/view/1180 での基調講演資料です。 詳細: https://www.opslab.jp/publish/20180608-itmedia-sre.html 40分という短い時間で言葉足りずなところもありますが、「運用自動化」を冷静に見なおす機会になれば幸いです。 (運用設計ラボ合同会社 波田野裕一)

This document summarizes how LINE messaging uses Redis. It discusses: - How LINE has scaled Redis from 3 nodes in 2011 to over 14,000 nodes today to support over 25 billion messages per day. - The key ways LINE uses Redis, including for storing sequences, caches, secondary indexes, and local queues. - Challenges LINE faced in scaling their in-house Redis cluster to over 1,000 nodes and workarounds

2018/04/19 JAPAN CONTAINER DAYS V18.04 (https://containerdays.jp/) にて発表したものを加筆修正しました。 Abstract: Kubernetes は豊富な機能とその高い拡張性により、現実における様々なユースケースに対応できる一方、…

Kubernetesは、コンテナアプリケーションをデプロイするためのオーケストレーションツールです。Kuberenetesは分散環境におけるスケーラブルなコンテナ実行環境をつくるための、さまざまな機能が提供されています。 もともとはGoogleが開発したBorgをもとにOSS化したものですが、今日ではマイクロソフトやRedHatも積極的に開発に加わり、非常に早いスピートで機能拡張していて、追いかけるのも大変です。 Kubernetesの大きな特徴は宣言的設定にあります。 この宣言的設定とは、イミュータブルなインフラを作るための基本的な考え方で、「システムのあるべき姿」を設定ファイルにて宣言する！という考え方です。Kubernetesは設定ファイルに書いたとおりのインフラを維持するように設計されています。 Kubernetesはコンテナを「Pod」という単位で管理します。このPodをKube

俺の話を聞け！！LT大会 #8でトークした資料です

【ACM】 サーバー証明書の有効期限切れ／自動更新失敗 ACMは、CloudFrontとELBと連携してサーバー証明書を提供するサービスです。 ACMで発行する証明書は1年毎に更新する必要がありますが、基本的には自動更新されます。 ただし、場合によっては自動更新が失敗するケースがあります。 検証の仕組みは、以下のドキュメントを確認してください。 自動ドメイン検証の仕組み 自動検証に失敗した場合、EメールおよびPersonal Health Dashboardで通知されます。 自動検証に失敗した場合 また、外部で発行された証明書を利用している場合は、手動で更新する必要があります。 再インポートの手順は、以下のドキュメントを参照してください。 証明書の再インポート EV証明書が必要なケースでも無ければ、ACMで証明書を取得してオペレーションが発生しないようにしておきたいですね。 【Route

情報処理推進機構（IPA）は2018年3月13日、ITパスポート試験の団体申し込みにおいて個人情報の漏洩があったと発表した。同試験を申し込んだ二つの団体の間で、互いの申込者の情報が漏れてしまったという。