はてなエンジニア Advent Calendar 2017の2日目です。 昨日は、id:syou6162 さんによるAWS Lambda上で鯖(Mackerel)の曖昧性問題を機械学習で解決しよう - yasuhisa's blogでした。 この記事は、人工知能学会 合同研究会2017 第3回ウェブサイエンス研究会の招待講演の内容を加筆修正したものです。 講演のテーマは、「自然現象としてのウェブ」ということでそれに合わせて、「自然のごとく複雑化したウェブシステムの運用自律化に向けて」というタイトルで講演しました。 一応、他の情報科学の分野の研究者や技術者に向けて書いているつもりですが、その意図がうまく反映されているかはわかりません。 概要 1. ウェブシステムの信頼性を守る仕事 2. ウェブシステム運用の現状 国内のウェブシステムの運用技術の変遷 クラウド時代 コンテナ型仮想化技術 サーバ

モチベーション 大好きなテック系ポッドキャストe34.fmの#3でSREというロールについて簡潔かつわかりやすく解説されていたので、番組の紹介も兼ねて文字起こしをしてみました。起こしたのはmainセクションの第一部のみですがめっちゃ長いです笑 対象読者 SREというロールの役割についてざっくり概要を知りたい人 e34.fmがどんな番組なのか知りたい人 ラジオの文字起こし記事が好きな人 注意事項 音声コンテンツの文字起こしなので記事としては多少冗長になっています 文字起こしですが文章として読みやすくなるように単語を補うなどしています 本編 @deeeet:D @rrreeeyyy:R @nari_ex:N D : じゃあ早速第一部、SREとは何かについて整理してきたいと思います。じゃあまず、これはれい君への質問なんだけど、そもそもSREとはいったい何でしょうか。 R : すごい難しい質問に聞

どのような事前準備をしているか 有事の際は想定外のことが発生しやすく、事前準備をしていないと冷静な対応が難しくなります。 いきなりしっかりした事前準備をすることは難しいので、徐々に成熟度を上げていきます。 本章では以下の観点で、事前準備についてご紹介します。 手順書 自動化 訓練 手順書 フローやチェックリストを含む手順書を準備しています。 手順書の内容は後述します。 分かりやすい手順書を準備することも重要ですが、その手順書への導線づくりも大切にしています。 運用周りのドキュメントは数が多く、目的のドキュメントが埋もれてしまい他のメンバーが見つけられない場合があるからです。 周知に加えて、ドキュメントの階層を見直したり、特定チャンネルに手順書の URL をピン留めしておくなど、手順書に辿り着きやすくする工夫をしています。 分かりやすい手順書の書き方については、以下のブログが参考になります。

技術部データ基盤グループの青木です。 ここ1、2年はなぜか成り行きでBFFをでっちあげたり、 成り行きでiOSアプリリニューアルのPMをしたりしていたので あまりデータ基盤の仕事をしていなかったのですが、 今年は久しぶりに本業に戻れたのでその話をします。 突然の1人チーム、そして0人へ…… 今年のデータ基盤チームは消滅の危機から始まりました。 間違いなく去年末は5人のチームだったと思うのですが、 メンバーがイギリスへグローバルのデータ基盤チームを作りに行ったり、 山へ検索システムを直しに行ったり、川へレシピ事業の分析業務をやりに行ったり、 海へ広告のエンジニアリングをしに行ったりするのをホイホイと気前よく全部聞いていたら、 なんと4月から1人だけのチームになってしまいました。 事はそれで終わりません。 恐ろしいことに10月にはわたし自身も育休に入ることになったので、 10月はデータ基盤が0

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 関連記事 マイクロサービスを支えるインフラアーキテクチャ (AWS Dev Day 2019登壇資料) ECSデプロイツールを公開しました ECSにおけるログの取り扱いを別ページに移動させました 設計 基本方針 基盤を設計する上で次のキーワードを意識した。 Immutable infrastructure 一度構築したサーバは設定の変更を行わない Infrastructure as Code インフラの構成をコードで管理 (Terraformを採用) Serverless architecture 無駄にサーバを増やさない アプリケーシ

JAWS-UG コンテナ支部 #15 での登壇資料です https://jawsug-container.connpass.com/event/143245/

この記事に出てくる「当社」や「顧客」その他はフィクションです。ポエムです。実在のものとは関係ありません。 一部ではエンジニアの供給源として早く滅びろとまで言われているSIer、その中でも何ら価値を生み出さないゾンビ扱いのSIerのシステム運用が、もし生き延びることが出来るとしたらどんな姿なのかを考えてみるだけのポエムです。 ダラダラ書きますので、お付き合いしたいひとだけどうぞ。 社葬は嫌でもSIerで運用が好きという変態さんには、下記などを。 オカンや嫁をコアにするのではなく、システム運用をコアにしたドメイン駆動設計を、という差し迫った夢です。 システム運用のドメイン駆動設計、または運用の抽象化（とりあえず背景「SIerの伝統的な運用」） システム運用のドメイン駆動設計、または運用の抽象化（ドメインを隔離する） とりあえず、Qiitaを読んでる方が、いわゆるDevOpsやアジャイルという言

こんにちは。メルペイでバックエンドソフトウェアエンジニアをしている id:koemu です。 バッチプログラムのお話、今回は運用・監視についてお話したいと思います。当社はすべての業務が24時間行われていますので、システムがオンラインのときに動作するバッチプログラムについてのみ議論します。 過去の記事はこちらにあります。 運用に備えて バッチプログラムの運用について、「プリモーテム」「実行管理」そして「ログ管理」の3点について述べていきます。 プリモーテム ポストモーテムという言葉を聞いたことがある方はいらっしゃるかと思います。ポストモーテムとは、GoogleのSRE本の15章*1によれば、障害などの失敗を振り返り、今後に活かすプロセスの総称と捉えることができます。 さて、プリモーテム(プリモータム)とは何でしょうか。この言葉は、私が最近読んだThe Manager’s Path*2*3で使

このツールの代表的な存在にあるのがKubernetes。KubernetesはGoogle内で利用されていた「Borg」というツールがオープンソース化したものであり、現在は様々な開発者やクラウドプロバイダによってメンテナンスされている。 Amazon ECSは、AWSが提供するコンテナのオーケストレーションサービス。ECSはKubernetesにある様々な概念をなくし、ライトなオーケストレーションツールという位置付けになる。必要なタスク定義（起動するコンテナ数やリソースなど）を指定すれば、それだけでECSがマネージドよろしく管理してくれる。 Kubernetesの懸念点とは何か サービス/チームへの過剰な権限管理 KubernetesはNamespaceというサービスの空間のようなものを設定し、このNamespaceごとに細かく権限を与えられる。これにより、例えば各マイクロサービスチームが

これまで大小様々なシステム障害に遭遇してきましたが、障害対応から学ぶことは沢山あります。 いろんな習熟度のフェーズで障害発生を学びに変えるための行動事例や、webアプリケーション開発において障害対応を減らすためにできることなどをお話しできればと思います。 TokyoGirls.rb Meet…

2018年11月28日、クックパッド株式会社が主催するイベント「Cookpad Tech Kitchen」が開催されました。第20回となる今回のテーマは「クックパッドのマイクロサービスプラットフォーム現状」。クックパッドが開発を行っているマイクロサービスプラットフォームの今と、その仕組みについて解説します。プレゼンテーション「Amazon ECS の安定運用のために」に登壇したのは、鈴木康平氏。クックパッドにおけるAmazon ECSの運用事例と工夫していることについて解説します。講演資料はこちら Amazon ECSの安定運用 鈴木康平氏：「Amazon ECSの安定運用」というタイトルで発表したいと思います。今回のアウトラインとしては、「ECSをどう使うか」みたいな話ではなくて、そのECSを運用していく上でこんなことやっていますよということを話していければなと思います。 内容としては、

こんにちは。メルペイのデータアナリストチームです。 メルペイはプロダクトの開発フェーズにあり、リリースに向けて全社で頑張っています。 「プロダクトがないのに、データ分析？」と思う方もいらっしゃるはずなので、メルペイのデータアナリストの業務と、力を入れているダッシュボードツール「Looker」の活用について紹介させて頂きます。 Lookerの公式ページはこちら プロダクトがないフェーズでの仕事 Lookerの話をする前に、まずは私達の状況を簡単に説明します。 分析チームを抱える企業は沢山ありますが、「プロダクトができる前から活動しているケース」は少ないと思います。 そういった意味では、私達のチームは他の会社と比べてユニークなポジションになっています。 一言で言えば「事業を作るための分析」を行っています。 メルペイの事業が成り立つには「良いプロダクト」を作り、「ステークホルダーとの関係」を築き

オライリーから出版されている「プロダクションレディマイクロサービス」を読んだ．「プロダクションレディ」という秀逸なタイトルに惹かれただけじゃなく，章ごとのテーマも非常に惹かれる内容になっていた．仕事でアーキテクチャを考えたり，アーキテクチャレビューを担当する場面も多いけど，ベストプラクティスなアーキテクチャをもっと上手に言語化したいなと思っていて，プロダクションレディなマイクロサービスの標準化を学べる本書に興味を持った． 1章 マイクロサービス 2章 本番対応 3章 安定性と信頼性 4章 スケーラビリティとパフォーマンス 5章 耐障害性と大惨事対応 6章 監視 7章 ドキュメントと組織的な理解 付録A 本番対応のチェックリスト 付録B マイクロサービスの評価基準 プロダクションレディマイクロサービス ―運用に強い本番対応システムの実装と標準化 作者: Susan J. Fowler,佐藤直

Applies to: Windows Admin Center, Windows Admin Center Preview Windows Admin Center is a remote management tool for Windows Server running anywhere—physical, virtual, on-premises, in Azure, or in a hosted environment—at no extra cost. To find out what's new, see Release history. Download now Download Windows Admin Center from the Microsoft Evaluation Center. For installation help, see Install. For

SmartHR のソフトウェアエンジニア ぷりんたい です。SmartHR には2017年2月に入社しました。 この記事は SmartHR 長時間のサービス停止を伴うシステムメンテナンスのお知らせ によせて書かれたものです。 ご挨拶 SmartHR では、昨年の6月より週2日という頻度で夜間のサービス停止を行ってきました。まずは、この運用形態を選択したことによりご利用中のお客様にはご不便をおかけしたことをお詫び申し上げます。 今日のクラウドサービスでは、無停止運用が当たり前といった風潮もありますが、なぜ SmartHR が停止メンテナンス運用を選択したのか、今後のサービス提供においてどのようなことを重視していくのかを技術者としての立場からご説明させて頂きます。 SmartHR の開発初期とマルチテナント問題 SmartHR は2015年2月に開発が始まり、同年11月にサービスインしました。

最終報告書を読む 九州商船株式会社のWEB予約サービスに対する不正アクセスについて、最終報告書が公開されました。報告書を読ませていただきましたが、その内容に関して大変勉強となることが多く含まれています。 弊社WEB予約サービスに対する不正アクセスに関する最終報告｜九州商船 ※ITmediaでニュースにもなっていましたので追記しておきます。 japan.zdnet.com 不正アクセスの目的は、linuxに不正侵入し仮想通貨マイニングを行うというものです。データを盗み出すのではなくマイニングというところが2018年っぽいです。ただCPUが100%に張り付くのですぐに見つかってしまっていますが。 この報告書について考察してみます。 原因についての考察 原因はvsftpdで使っているFTPプロトコルをANYで開けていて、ブルートフォースでパスワードが割れてしまったこと。かつ、OS/ミドルウェアの

技術部開発基盤グループの鈴木 (id:eagletmt) です。 クックパッドではほとんどの Web アプリケーションが Amazon ECS 上で動く状態となり、またマイクロサービス化や新規サービスのリリースにより Web アプリケーションの数も増えていきました。 個々のアプリケーションでは Docker イメージを Jenkins でビルドして Amazon ECR にプッシュし、Rundeck から hako を用いて ECS にデプロイし、またその Web アプリケーションからは Amazon RDS、Amazon ElastiCache 等のマネージドサービスを活用しています。 このように多くの Web アプリケーションが存在し、また各アプリが別のアプリや AWS の様々なマネージドサービスを利用している状況では、どのアプリが何を使っているのかを把握することが困難になっていきます

前回は、Apache NiFi を使って、GCP GCS にデータを蓄積する方法を紹介しました。 Apache NiFi を使って Google Cloud Storage にデータを蓄積しよう 今回は、「異なる環境でデータフローを管理したい」「データ基盤環境を徐々に移行したい」という要望があるときに、Apache NiFi の "Site to Site" という機能が、とっても便利なので紹介します。ここでは、AWS S3 にデータを書き込みながら、同じデータを Google Cloud Storage (GCS) に書き込むようなデータフローを試してみたいと思います。 （図には、RedshiftとBigQuery のアイコンがありますが、ここでは試しません。） GCP 側の設定 Apache NiFi と Google Cloud Storage の連携 を参考に NiFi をインスト

CloudFormationで環境を作った後で、スタックのアップデートを禁止したいことがあります。 スタックが複数あるとアップデートの対象を間違えそうになるからです。 既存のスタックに対してスタックポリシーを適用し、アップデートから保護してみました。 全てのリソースのアップデートを禁止する 全てのリソースのアップデートを禁止するスタックポリシーを作成します。 以下の内容をファイルに保存します。 今回はDenyUpdateStackPolicy.jsonとして保存しました。 { "Statement" : [ { "Effect" : "Deny", "Action" : "Update:*", "Principal": "*", "Resource" : "*" } ] } DenyUpdateStackPolicy.jsonをS3にアップロードします。 AWS CLIを実行し、ポリシーを

【ACM】 サーバー証明書の有効期限切れ／自動更新失敗 ACMは、CloudFrontとELBと連携してサーバー証明書を提供するサービスです。 ACMで発行する証明書は1年毎に更新する必要がありますが、基本的には自動更新されます。 ただし、場合によっては自動更新が失敗するケースがあります。 検証の仕組みは、以下のドキュメントを確認してください。 自動ドメイン検証の仕組み 自動検証に失敗した場合、EメールおよびPersonal Health Dashboardで通知されます。 自動検証に失敗した場合 また、外部で発行された証明書を利用している場合は、手動で更新する必要があります。 再インポートの手順は、以下のドキュメントを参照してください。 証明書の再インポート EV証明書が必要なケースでも無ければ、ACMで証明書を取得してオペレーションが発生しないようにしておきたいですね。 【Route