はじめに こんにちは。須藤(YOUTRUST/X)です。 私はSRE（Site Reliability Engineer）兼エンジニアリングマネージャー（EM）として、この半年間さまざまな取り組みを行ってきました。まだまだ未熟な部分も多いですが、これまでの経験や学びを共有することで、同じようなポジションにいる方や、これから目指そうと思っている方の参考になれば幸いです。 エンジニアリングマネージャーとは何をする役割なのか？ 一般的なEMの役割や業務内容については、多くの有用な情報がWebや書籍で紹介されていますので、ここでは割愛します。私自身の考えとしては、「メンバーやチームのパフォーマンスを最大化するために、自分ができることを全て行う」というシンプルなものです。 これまでいくつかのチームをマネジメントしてきましたが、優秀な人材が揃っているにもかかわらず、組織として十分な成果を出せていない場

MySQL のバックアップに Percona XtraBackup を使って、Amazon S3 へ直接バックアップする 技術本部 サービスリライアビリティグループ（SRG）の長谷川 @rarirureluis です☺ #SRG（Service Reliability Group）は、主に弊社メディアサービスのインフラ周りを横断的にサポートしており、既存サービスの改善や新規立ち上げ、OSS貢献などを行っているグループです。 弊社では Cycloud と呼ばれる、サイバーエージェント社内で運営されているプライベートクラウドがあります。 CyberAgentのプライベートクラウド Cycloudの運用及びモニタリングについて #CODT2020 / Administration and Monitoring for Cycloud 僕が担当しているいくつかのサービスでも Cycloud を利用

技術本部 サービスリライアビリティグループ（SRG）の長谷川 @rarirureluis です👳 #SRG（Service Reliability Group）は、主に弊社メディアサービスのインフラ周りを横断的にサポートしており、既存サービスの改善や新規立ち上げ、OSS貢献などを行っているグループです。 はじめに Apple M1 で Arm という単語をよく耳にし、そしてその性能に驚いた方も多いと思います。Apple M1 が搭載された Mac のベンチマークはこちら そして Amazon EC2（以下：EC2）にも Arm が搭載されたインスタンスがあります。 https://aws.amazon.com/jp/ec2/graviton/ 今回はとあるサービスの全開発環境の EC2 インスタンスを m5.large から t4g.medium へ移行したら幸せになれたので、この記事を

全部見せます！ BigQueryのコスト削減の手法とその効果 / BigQuery Cost Reduction Methods

概要 Mercari Tech Conf 2017に行ってきました。 とても素晴らしい基調講演だったので、無我夢中でメモを取りながら聞き入りました。せっかくなのでまとめを公開します。 本編のスライドが全て公開されていますので、正しくはそちらを御覧ください。 感想 メルカリがなぜココまでの急成長を遂げられたのか、 国内にとどまらずグローバルで拡大し続けられるのか、 その理由がよく分かるような発表でした。 自分たちの実現したい事業コンセプトを徹底するために大胆に判断し、必要なところに最大限のリソースを投入する。 既存コードの作り直しを厭わず、冗長な作業を自動化することで本当に必要なことにフォーカスできる環境を作りあげること。 ミスをしても再発を防止する仕組みを作ることで、失敗を恐れない文化が作られたのだと感じました。 基調講演のまとめ 概要 メルカリの創業期の様子 US/UKへのグローバル進出

私はコミットログの書き方に悩む英語の苦手な人間である。実際、似たような人は世の中に結構いるようで、頻出単語を集計したりまとめたものは既にあって役に立つのだけれど、これらはあくまで単語の話であり、具体的な文を構成する過程でやっぱり困る部分がかなりあった。 要するに、どういう時にどういう文が使われているのか、ということを示した例文集が欲しいのである。ググると他にも「例文集があればいいのに」みたいな声はあるくせして、しかし誰も作ろうとしない。何なんだお前ら。それじゃ私が楽できないじゃないか。 仕方なく自分でまとめたので、増田に垂れ流しておく。 はじめにここで挙げているコミットログは全て実際のコミットログからの転載である。当然ながら各コミットログの著作権はそれぞれの書き手にある。いずれも各英文でググれば出てくるし、フェアユースの範囲なら許してくれるだろうと考え名前とプロジェクト名は割愛したが、ここ

たまたまメルカリのQAさんとお話する機会がありました。さすが今一番ホットとも言えるサービスだけあって、触発されていろいろ妄想がふくらみました。次世代QA組織とかテストエンジニアの役割とか、議論した内容をメモ。 はじめに 僕の興味は「速さ」です。「速さはすべてを超越する！」「速さと品質は両立できる！」と信じて、アジャイル開発とかリーン開発、業務改善を仕事で活用しようとしています。また、サービス開発会社で働いているので、作ることが仕事ではありません。作ったらサービスが死んじゃうまで開発運用が続くので、漸進的な開発が求められます。 この記事も前に書いたQAネタと同じく、素人ながら、経験したことをベースに、自分の置かれた環境に対して、あるべき姿を主観的に考えています。 これまでのQA 僕はSIerにいたので、そのときのQAのイメージが強いのですが、日本はSIerが多いので、QAのイメージの基盤にあ

Google Cloud Platform(2) Advent Calendar 2016 2日目 CyberAgent Developers Advent Calendar 2016 19日目 を担当するstrskです。 Google Cloud Platform(2) Advent Calendar 2016 1日目は、前職でほぼ仕事的に絡みのなかった、僕の師匠とも言えるkumanoryoさんのゲロ吐くほど丁寧な記事ではじまったアドベントカレンダーですが、2日目はカジュアルにGKEのノードプールを利用したKubernetesのアップグレード手順についてお話します。 gcloudコマンドでのアップグレード アップグレード方法はいくつかありますが、稼働中でなければ以下のコマンドを打つだけです。 gcloudコマンドでアップグレードした場合は、ノードのインスタンスが1台ずつ削除されアップグレ

みなさん、こんにちは。サイバーエージェントでサーバーを担当しているエンジニアの河野(@tomox)です。 オルタナティブガールズ(以下オルガル)ではパブリッククラウドのGoogle Cloud Platform(以下GCP)を利用しています。本記事では、オルガルでのGCPの活用事例、特にAutoscalerにフォーカスした内容をお届けします。 オルガルのAPIサーバーは、GCEのAutoscalerを利用し、負荷状況に応じて最適なインスタンス数のみで稼働ができるようにしています。Autoscalerを利用することで無駄なインスタンスが稼働することがなくなるため、お財布に優しい運用を行うことができます。 GCPでAutoscalerを利用するにあたり、いくつかこだわったポイントがあります。 General GroupとAutoscaler Group Graceful Shutdown 上記

こんにちは、Engineeringチームの石村(kamatama41)です。Engineeringチームの主な役割はインフラ構築や監視、パフォーマンス改善などのいわゆるDevOpsやSREと言われる領域になります。 Quipperでは現在グローバル向けであるQuipper (School, Video)と日本向けのスタディサプリという二つのプロダクトを運用しており、それらのプロダクトはAWS上に構築され、Terraformを使って構成管理をしています。そこで、私達がTerraformを運用するために工夫している点を紹介したいと思います。 Terraformとは? Vagrantなどを提供するHashiCorp社製のインフラ構成管理ツールで、AWSやGCPなどが提供している各種クラウドサービスをリソースという単位で構築、コード化出来るツールになります。 (AWSのEC2インスタンスを5台立ち

tfenvはTerraformのバージョン管理を簡単にするために作ったツールです。rbenvにインスパイアされてます。 現在複数の環境でTerraformを使ってて、それぞれ使っているバージョンが違う場合があるので、バージョンの切り替えを楽にしたい、間違って違うバージョンを使ってしまう事故を防ぎたい(tfstateの互換性が無かったりする場合があるので)という動機で作りました。 使い方(v0.5.x) Install/Uninstall GitHubから任意のパスにcloneしてtfenv/binにパスを通すだけ。 アンインストールはそのパスを消すだけです。 もしくはMacユーザーの方はHomebrewでもインストールできます tfenv install/uninstall 指定したバージョンをインストール/アンインストールしますlatestで最新版をインストールします。 latest:^

今回はひたすら配色パターンを紹介していく。探しやすいように色ごとに分け、使いやすいように解説とWebコードも合わせて紹介する。プレゼン資料、Webデザインなどで目的に合った配色をそのままコピペして使って頂ければと思う。 ▼ 目次 カラフルな配色パターン 橙系の配色パターン 青系の配色パターン 緑系の配色パターン 黄色系の配色パターン 赤系の配色パターン 高級感を表現する配色 わび・さびを表現する和風配色 シンプルに格好良いグレーの配色 カラフルな配色パターン 1. 淡い「カラフル」 ■ #FF7D7D ■ #FFD580 ■ #B3E2B4 ■ #ABE7FF ■ #B8B2EA ■ #DBDBDB 淡いカラフルな配色は、白の背景に合わせると「透明感」を出すのに効果的。カラフル系の配色は扱いづらいので、上のコードをそのままコピペして使って頂くのが良いかと思う。 2. 力強い「カラフル」 ■

私の場合、開発環境では複数の言語のコードを書いたり実行したりします。 例えば perl, ruby, nodejs, python など。 これらを利用するために、plenv, rbenv, nodebrew, pyenv などを利用していました。 しかし、遅ればせながら anyenv というものがあると聞いたので、こっちに乗り換えました。 **envを2つ以上使ってる人はこれ使うのが良いと思います。おすすめ。 http://blog.riywo.com/2013/06/22/155804 https://github.com/riywo/anyenv インストールは簡単 README.md のとおりにやればOK # ------------------------------------------------------------------------ -# plenv +# an

マイクロサービスアーキテクチャの4章にオーケストレーションとコレオグラフィという話があります。 マイクロサービスを使ってアプリケーションを組み立てる側の、サービスの呼び出し方の違いです。 「マイクロサービス的に作ってるよー」というシステムでも、ここに特に疑問を持たず、ふつうにWeb APIたちを呼び、受け取ったデータでHTMLをレンダリングするというオーケストレーション方式で作られているのが多いのではないでしょうか? Sam Newmanは、それだと呼び出されるサービス側がドメインモデル貧血症になりがちで、呼び出す側にロジックが集まっていくことになると、書籍の中で述べています。 いったいどういうことでしょうか? 書籍中の例をちょっと変えて考えてみます。 マイクロサービスアーキテクチャでECサイトを作る(オーケストレーション編) ECサイトをマイクロサービスアーキテクチャで作ることを考えてみ

Ansibleではinventoryに対象ホストを定義します。 適用したいインフラ構成が複数ある場合、playbook毎にグループ化してください。 グループ化した場合、変数はそれぞれのgroup varsに定義できます。 詳しくは、前回のエントリーを参照してください。 inventoryの構成方法には幾つかのパターンがあります。 対象とするシステムの規模や特徴にあわせて選択しましょう。 なお、パターンを整理するにあたって、Ansibleのインベントリファイルでステージを切り替えるを参考にしました。 ベーシックパターン 開発環境・検証環境・本番環境といった目的毎に環境を作る必要がなく、ひとつの環境（本番環境）のみの場合は、inventoryファイルもひとつで十分です。 hostsという名前のファイルを作成し、inventoryを定義しましょう。 構成は次のようになります。 . ├── gro

運用監視に必要な知識はOS、コマンド、そしてプログラミング～ゼロからの運用監視設計（後編）。July Tech Festa 2016 運用監視の自動化は、複雑化するアプリケーションやサービスに対して効率的かつ確実な運用監視を実現する上で、またコスト削減の意味でも重要な要素になってきています。しかし運用監視の自動化は、どのように考えて実現していけばいいのでしょうか。 （本記事は「正しく運用されているかを評価するのが監視である～ゼロからの運用監視設計（前編）。July Tech Festa 2016」の続きです。） ゼロからの監視設計 ひとつはサービスレベルの定義、もうひとつは非機能要件としてのシステム監視ですね。こういうことは以外と職場でも学校でも教えてくれなかったことです。 なぜかというと、だいたい担当部署によってみているレイヤが違うわけです。物理層を見ているところ、ネットワーク層、あるい

Retty Tech Cafe#7 インフラ/DevOps