Kubernetes 8 Factors - Kubernetes クラスタの移行から学んだクラスタのポータビリティの重要性と条件 こんにちは、Wantedly で技術基盤に関わる Developer Experience Squad で Engineer をしている大坪（@potsbo）です。 今日は、WANTEDLY TECH BOOK 7 から「Kubernetes クラスタの移行から学んだクラスタのポータビリティの重要性と条件」という章を抜粋し加筆修正を加えたものを Blog にします。 「WANTEDLY TECH BOOK 1-7を一挙大公開」でも書いた通り、Wantedly では WANTEDLY TECH BOOK のうち最新版を除いた電子版を無料で配布する事にしました。Wantedly Engineer Blogでも過去記事の内容を順次公開予定であり、この Blog もそ

こんにちは、sue445です。 先日社内で使ってるGitLabのリプレイスをしたのでその辺の話をしたいと思います。 リプレイスの内容 今回のGitLabリプレイスでは主に下記を行いました。 サーバ移設に伴いURL以外全部変えた レガシーな環境で運用されていたGitLabを全てDockerコンテナに載せた MySQLからPostgreSQLに移行 以上を1時間弱のメンテでやりきった 構成 ざっくり書くと、SSL終端のフロントサーバのみ同じで、それ以外のバックエンドを全部変えました。 旧 APサーバ Debian Wheezy CPU: Intel Xeon E5-2640v2 * 2 Memory: 40GB Disk: 64G + 512G MySQL兼Redisサーバ Debian Wheezy CPU: Intel Xeon X3430 Memory: 8GB Disk: 256G M

同社が障害明けの26日に行った、エンジニアチームによる障害の振り返り会議に記者も同席した。「障害発生当初、いろいろなジョブに影響が出たため何が起きているのか分からなかった」「各サービスを管理するAWSマネジメントコンソールの動きもおかしく、問題に対応しようとしても何度もリトライしないとインスタンスが立ち上がらなかった」「AWS CLI（コマンドによる管理ツール）は比較的調子が良かった」──など、現場の生々しい声が飛び交った。 一方、「『AWS Fargate』で運用しているサービスは自動復旧できた」という報告も上がった。Fargateはサーバなどの管理をAWS側に任せてコンテナを実行できる、いわゆる「サーバレス」のサービスだ。 会議では、「バッチ処理サーバをコンテナ化するのが、今後の対応策の一つだろう」という意見でまとまった。コンテナ化してFargateで運用すればAWS側が可用性を自動管

セキュリティとコンプライアンスは AWS とお客様の間で共有される責任です。この共有モデルは、AWS がホストオペレーティングシステムと仮想化レイヤーから、サービスが運用されている施設の物理的なセキュリティに至るまでの要素を AWS が運用、管理、および制御することから、お客様の運用上の負担を軽減するために役立ちます。お客様には、ゲストオペレーティングシステム (更新とセキュリティパッチを含む)、その他の関連アプリケーションソフトウェア、および AWS が提供するセキュリティグループファイアウォールの設定に対する責任と管理を担っていただきます。使用するサービス、それらのサービスの IT 環境への統合、および適用される法律と規制によって責任が異なるため、お客様は選択したサービスを慎重に検討する必要があります。また、この責任共有モデルの性質によって柔軟性が得られ、お客様がデプロイを統制できます

SpotifyがミスによりKubernetesの本番クラスタを二度も削除。しかし顧客へのサービスにほとんど影響しなかったのはなぜか？ 今年、2019年5月20日から3日間にわたりスペイン バルセロナで開催されたKubeCon＋CloudNativeCon Europe 2019の基調講演では、SpotifyがミスによってKubernetesのクラスタを消去してしまった経験を振り返るという非常に興味深いセッション「Keynote: How Spotify Accidentally Deleted All its Kube Clusters with No User Impact - David Xia」（基調講演：SpotifyはいかにしてKubernetesクラスタの全削除というミスにもかかわらず顧客への影響を引き起こさなかったのか？）が行われました。 障害が起こることをあらかじめ計画とし

※当然ながら、障害発生時はどのグレードでも0bpsになります 「なら専用線選んでおけばいいじゃん」と思うかもしれませんが、費用が圧倒的に違い、同じ帯域なら１段あがるごとに2～10倍ほどになります。たとえば5倍として、ベストエフォート100Mbpsで月額10万円なら、帯域確保は50万円、帯域保証は250万円、専用線は1000万円という差になってしまうでしょう。予算は有限ですから、むやみに高い品質を選んでしまうと帯域がとれないということになります。同じ予算であれば、1Gbpsベストエフォートがよいのか、200Mbps帯域確保がよいのかは場合によって異なるので、適切な選択をするべきです。 そして、ベストエフォートはベストエフォートでも、1Gbpsで100Mbpsしか出ないキャリアもあれば、1Gbpsで900Mbpsくらいを保証しているキャリアもあります。これは概ね値段に比例しますが、つまりベスト

エッジにおけるKubernetesは、「開発者をエッジソリューションの主役にする」：KubeCon＋CloudNativeCon Europe 2019詳報（3）（1/2 ページ） エッジコンピューティングにおけるKubernetesのユースケースとは、具体的にどのようなものなのか、そのユースケースを支えるために、Kubernetesはどのように活用できるのか。2019年5月にスペイン・バルセロナで開催されたKubeCon＋CloudNativeCon Europe 2019では、多様な議論が展開された。 エッジコンピューティングにおける「Kubernetes」のユースケースとは、具体的にどのようなものなのか、そのユースケースを支えるために、Kubernetesはどのように活用できるのか。2019年5月にスペイン・バルセロナで開催されたKubeCon＋CloudNativeCon Euro

Lv：25　Exp：47042 闇の戦士です。 https://jp.finalfantasyxiv.com/lodestone/character/492168/ 大好きなもの: FFXIV/ガルパ/スタァライト 好きなもの: Angular/flutter/Kubernetes 嫌いなもの:Stackdriver Monitoring/ピーマン/辛いもの GCP力: CA/DE/CD/Authorized Trainer

Kubernetes、コンテナ技術を活用した開発アジリティー向上にインフラアーキテクトはどう貢献したのか：コンテナベースのCI/CD本番事例大解剖（1）（1/3 ページ） Kubernetes、コンテナ技術を活用したCI/CD基盤におけるサービス開発について、リクルートの事例を基に解説する連載。初回は、インフラアーキテクトの視点から技術選定の考え方について解説。 インフラアーキテクト、アプリ開発者、運用／インフラ技術者の視点で 本連載「コンテナベースのCI/CD本番事例大解剖」では、リクルートテクノロジーズが取り組んだ事例を基に、Kubernetes、コンテナ技術を活用したCI（継続的インテグレーション）/CD（継続的デリバリー）基盤におけるサービス開発について解説します。事例は、リクルートジョブズが運営する「ジョブオプLite」という、「採用ホームページ」の作成、採用応募の管理を行うため

re:Invent 2018のキーノートにおいて、AWS環境をオンプレ環境に丸ごと提供する「Amazon Outposts」が発表されました。 ちょっとにわかには信じがたいぶっとんだ発表です。公式サイトはこちら。 AWS Outposts Overview page ﾄﾞﾄﾞﾄﾞｰｲｳｺﾄﾔﾈﾝ…!! ( ﾟдﾟ)　ｶﾞﾀｯ /　　 ヾ ＿_L| /￣￣￣/＿ ＼/　　　/ Amazon Outpostsとは？ ネイティブのAWSサービス一式をオンプレに提供可能なサービスです。AWSネイティブのサービス、インフラ、運用方式をほぼ全てそのまま、データセンターなどのオンプレ環境に提供します。クラウドとオンプレ双方で同じAPIやツール、ハードウェア、機能を利用してハイブリッドな環境を構築可能。 提供形態は2種類。 1. VMware Cloud AWSサービス上のVMware Cloudで動作す

メルカリは開発組織を拡大するためにマイクロサービスアーキテクチャを採用した（後編）。Mercari Tech Conf 2018 メルカリはこの1年、マイクロサービスアーキテクチャにどう取り組み、実現のためになにをしてきたのか。技術面と組織面の双方に関する興味深い取り組みが、10月4日に都内で行われた同社主催の技術カンファレンス「Mercari Tech Conf 2018」のセッション「Microservices Platform at Mercari」で紹介されました。 （本記事は「メルカリは開発組織を拡大するためにマイクロサービスアーキテクチャを採用した（前編）。Mercari Tech Conf 2018」の続きです） DevOps文化を組織内に醸成する 次はDevOps文化の醸成です。 この1年で、マイクロサービスの開発者が自分たちでできるようになったことが大きくふたつあります。

初めまして。サイバーエージェント技術本部インフラエンジニアの@prog893です。今回は「AWA」という音楽ストリーミングサービスのMongoDBクラスタの復旧時間を短縮するために行ったインフラの改善について紹介したいと思います。復旧時間が12時間から55分まで短縮できたのですが、皆さんの参考になれば幸いです。（※注意：今回紹介する施策はAWAのインフラ構成や設定のものであり、他の環境で同じような効果が得られるとは限りません） AWAのデータストア構成 まず、現在のデータストア構成について軽く説明します。こちらの図でAPIサーバ，MongoDBに関連する構成の概要を示します： AWAのデータストア構成概要 メインのデータストアとしてはMongoDBを使っており、MongoDBのインスタンスはAWSで管理しています。APIサーバ、MongoDBのインスタンスがそれぞれのプライベートサブネット

This domain may be for sale!

以前に私が書いた「 Dockerの本番運用：失敗の歴史) 」という記事は、非常に多くの反響を呼びました。 その後、長い議論を交わして、何百件ものフィードバックや何千件ものコメントを読み、さまざまな人々や主要事業者とも顔を合わせました。Dockerでの試みが増えるほど、その失敗談は増えていきます。そうした現状を、今回アップデートしておきたいと思います。 この記事では、最近の交流や記事から得た教訓を紹介しますが、その前に簡単におさらいをして軽く背景を説明しましょう。 免責事項：対象読者 たくさんのコメントから、世の中には10種類の人々が存在するということが明らかになりました。 1) アマチュア 実際のユーザがいない試用版のプロジェクトやサイドプロジェクトを実行している人々です。Ubuntuのベータ版を使用するのが当然だと考えており、「安定したもの」は古いものと見なすようなタイプです。 注釈：書

ゲーム好きにはもちろん、普段はスマホゲームに興味がない人にも「グラブってる？」のTVCMでおなじみのタイトルとなったCygamesの「グランブルーファンタジー」。2017年1月には登録ユーザー数が1400万人を突破し、記念キャンペーンも開催された。これだけ大規模なソーシャルゲームの安定稼働を支えるためには、どのような技術や取り組みが求められるのか？ インフラ構築・運用にかかわる人にとっては気になるところだろう。本セッションでは、Cygamesのインフラセクションマネージャーを務める佐藤太志氏が「膨大なログデータの収集・活用」「リアルタイム通信の高速化」「タグシステムによる運用効率化」という3つの取り組みを中心に紹介。グラブルを支えるさまざまなインフラ技術や大規模ゲームならではの運用の工夫を語った。 講演資料：グランブルーファンタジーを支えるインフラの技術（Cygames Engineers

WindowsのDocker（コンテナ）対応、正しく理解できていますか？：その知識、ホントに正しい？ Windowsにまつわる都市伝説（69）（1/3 ページ） Windows Server 2016とWindows 10では「Docker」がサポートされます。一方、Docker社は「Docker for Windows」を提供しています。どちらも“Docker”ですが、両者は似て非なるもの。似たものがいろいろと出てきていますので、整理しておきましょう。 探しているのは、Windows上のDockerですか？ Windows上のUbuntuですか？ Windows Server 2016では新たに「Docker」がサポートされます。その一部は、Windows 10 Anniversary Update（バージョン1607）のProおよびEnterpriseエディションにも提供されます。 一

Googleのクラウドは間違いなく世界最大規模のコンピュータシステムです。膨大なハードウェアとソフトウェアから構成されるこの巨大なシステムを、同社はどうやってセキュアに保っているのか。そのことを解説したホワイトペーパー「Google Infrastructure Security Design Overview」が公開されました。 ホワイトペーパーには、Googleのデータセンターを構成するデバイスの1つ1つにまで独自のセキュリティチップを組み込んで正規のデバイスかどうかを相互に認証するという物理レベルのセキュリティから、何層のものロードバランサーからの情報を集約してDos攻撃を検知すると、その通信を破棄するといったDoS対策。 そしてマシンも従業員もサービスも包括するグローバルな名前空間など、きわめて広範かつ綿密なセキュリティ施策が説明されています。 クラウドがいかに高度なセキュリティで

Vagrant 1.8 で、ansible_local という新しいプロビジョナが追加されました。 これは、Ansible をゲスト（VM）側にインストールして、ローカルコネクションで VM 内で実行するものです。これは、まさに待ち望んでいた機能ので紹介します。 Vagrant + Ansible で気を付けること 以前から、Vagrant + Ansible の組み合わせでローカルの開発環境を作るなら、ホスト側に Ansible を入れるのではなく、ゲスト（VM）側に Ansible を入れる方が良いと考えていました。勉強会などでも良く話していたのでお聞きになった方もいるかと思います :) ホスト側に Ansible を入れない理由は、3 つあります。 まず、ホストに Ansible をインストールする手間が増える点です。Vagrant と Virtualbox のインストール（あとコー

Windows「に」Vagrant を入れて仮想環境を作成したという記事は Web 上にたくさん見つかるけど Vagrant で Windows 環境「を」構築したという記事はあんまり見つからなかったので、メモ。 また、Vagrant や Ansible というインフラ系ツールについてよく耳にするものの実際触ったことがなくて それぞれでできること等ちゃんと理解していなかったので、勉強も兼ねて。 動作環境 今回使用した各ツールのバージョンは以下の通り。 Mac OS X Yosemite 10.10.5 Vagrant 1.8.1 Ansible 2.0.0.2 Python 2.7.10 Virtualbox 5.0.10 pywinrm 0.1.1 はじめに Mac で Web アプリケーション開発をしていると、IE での動作確認のために Windows 環境を使いたいことがよくある。