技術部セキュリティグループの水谷 ( @m_mizutani ) です。ここしばらくはフルリモートワーク体制になったので運動不足解消のためウォーキングをしたり筋トレしていたら、リモートワーク前より健康になった疑惑があります。 クックパッドのセキュリティチームでは日々のセキュリティ監視を効率化するため、独自のフレームワークを構築して利用しています。具体的には、セキュリティアラートが発生した際に自動的に様々なデータソースから関連情報を収集し、収集した情報をもとにアラートのリスクを評価、そして評価結果をもとに自動対応をするという一連のワークフローを実現するフレームワーク DeepAlert をAWS上にサーバーレスで構築しました。この記事では、このフレームワークを構築した経緯やアーキテクチャ、仕組みについて解説します。 セキュリティアラートの対応 ここでは、セキュリティ侵害が発生している可能性が

Amazon CloudWatch 監視

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 目的 2017/3/1 に us-east-1 の S3 大規模障害がありました。過去にもいくつか発生しているのと、いつ使っているリージョンで同じ事態が起きてもおかしくないと思い、これを機に過去どのような障害があったのか遡って調べました。 所感 毎年どこかのリージョンで大規模な障害が起きている ap-northeast-1 で起きていないのはたまたま、運がいいだけ AWS は復旧時間の改善・可用性向上に全力を尽くしているものの、未知の障害はいつかどこかで起きるもの ステータスダッシュボードは時に嘘をつく クラウドシェアトップである AW

2016年12月20日からスタートしたMBS（毎日放送）の有料動画配信サービス『MBS動画イズム444』にて、サーバーレス・アーキテクチャ（AWS Lambda）が全面採用されたという事例は、世界を見渡しても類をみない、大変優れた設計であると話題になりました。 でもね、重要なことは「AWS Lambdaを使って構築した」ことではないんです！ 『MBS動画イズム444』は、次々と新しい動画コンテンツが増えていますし、有料会員も猛スピードで増えていると伺っています。そうなると、このサービスの安定運用こそが、もっとも重要なことなのです。 そこで、この記事では「AWS Lambda」で構成されるシステムの運用をcloudpackならこうやります！というのをご紹介いたします。 サーバーレス・アーキテクチャのシステム運用はどう考えるべきか？ 『MBS動画イズム444』のシステム構成は、実に複雑です。

Help us understand the problem. What is going on with this article? 会社で働いていると、運用チームからの問い合わせがあると思います。 問い合わせというものは、割り込みに繋がり生産性を下げるのでなるべく減らしていきたいものです。 Redmineで管理されているオープンなチケットを10分の1に削減した話をまとめます。 常時、約50枚ほどオープンなチケットを5枚ほどに減らしました。 問い合わせが多くて辛みを味わっている方の参考になれば。 概要 Web自社サービス タスク管理ツール Redmine 毎日、5枚ほどチケットが増える 運用と開発がそれぞれ20人ほど こんな環境です。 改善のきっかけ うちのチームは、当番制で「問い合わせの窓口」(以下、窓口)となる人を作ります。 窓口の人がチケットを解決したり、有識者にチケットを委譲した

はじめに こんにちは植木和樹＠上越妙高オフィスです。本日は私がここ10年くらい意識している運用手順書を書くときのポイントについてまとめてみました。 対象読者 開発・構築したシステムを別の人に引き継ぐ予定のある人 他の人が作ったシステムを引き継ぐ担当の人 半年後の自分でも分かる手順書の書き方に困っている人 （この記事を読むのにかかる時間の目安：5分） 1. ドキュメントの冒頭に書くこと まず個々の詳細手順の前に、ドキュメント自体について記載してもらいたいことです。 1.1. ドキュメントに書かれていることを3行で書く ドキュメントの最初には、このドキュメントに何が書かれているのかを100文字くらいで書いておくと良いでしょう。 システムが増えれば増えるほど手順書も増えていくものです。見つけたドキュメントに自分の期待するものが書かれているのか、冒頭数行でわかるようになっているとうれしいです。 1

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Webサービスのシステム管理で疲弊している人々を救いたい話

主にアプリケーション開発者向けに、Linuxサーバ上の問題を調査するために、ウェブオペレーションエンジニアとして日常的にやっていることを紹介します。 とりあえず調べたことを羅列しているのではなく、本当に自分が現場で使っているものだけに情報を絞っています。 普段使っているけれども、アプリケーション開発者向きではないものはあえて省いています。 MySQLやNginxなど、個別のミドルウェアに限定したノウハウについては書いていません。 ログインしたらまず確認すること 他にログインしている人がいるか確認（w） サーバの稼働時間の確認 (uptime) プロセスツリーをみる (ps) NICやIPアドレスの確認 (ip) ファイルシステムの確認（df） 負荷状況確認 top iostat netstat / ss ログ調査 /var/log/messages or /var/log/syslog /

2016/01/23 Cookpad TechConf 2016 http://techconf.cookpad.com/

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? IT界隈でエンジニアしていると、よく出くわすのが障害対応です。できれば会いたくないという人が多いと思うんですが、僕はけっこう好きです。障害対応。どこに原因があるのか調査をして、バランス良くベターな対応をしたときの楽しさは、プログラミングとはまた違ったものがあります。探偵っぽい感じが面白いですよね。もちろん、障害が発生しない状況を作るのが一番です 弊社では数多くのWebサービス／アプリを運営しているので、過去様々な障害対応をしてきました。その際に、解決までどんな道筋を僕がたどるのかを振り返ってまとめてみました。これが大正解なんてことはなく

このエントリははてなエンジニアアドベントカレンダー2015の12日目です。 developer.hatenastaff.com 昨日は id:daiksy によるこちらのエントリでした。 daiksy.hatenablog.jp 現在、私は東京のオフィスで働いているのですが、京都のエンジニアと共に仕事をする場面が多いです。しかし、上記エントリに記載されている様々な取り組みのおかげで遠隔地でもかなり働きやすい環境だなというのを感じています。これからもより皆が働きやすい環境になるように私もいろいろと工夫をしていけたらなと思います。 このエントリでは、今年の8月にはてなに入社した私が最近経験したMySQL4系のmaster切り替え手法について説明します。 背景・概要 はてなの運用するWebサービスではデータストアとしてMySQLが使われる場面が多いです。それにより、入社してから私もMySQLのm

こんにちは、North America事業本部のLiang Fanです。このエントリーは GREE Advent Calendar 2015  10日目の記事です。 本日は、以前所属していたインフラストラクチャ部のサーバ運用と自動化の話を少しご紹介したいと思います。 よろしくお願い致します。 はじめに 運用自動化と聞いて、みなさんは頭の中に何を浮かべますか？仮想化技術(docker、VM)、構成管理ツール(chef、puppet)やクラウドサービス(AWS、Google Cloud Platform）などの答えがたくさん出てくるかもしれません。本日はそれらの技術を使って、かっこいい運用自動化ができたという話ではなく、レガシー環境のサーバ運用を少しでも楽にするための泥臭い自動化の話を紹介したいと思います。 グリーのレガシー環境 レガシー環境と言っても、もう歩けない80歳のおじいさんではなく、

GunosyでのKinesis Analytics利用について / AWS Solution Days 2017 -AWS DB Day-

Sep 8, 2015Download as pptx, pdf192 likes85,955 views

はじめに こんにちは植木和樹＠上越妙高オフィスです。AWS上でのインフラ構築が終わり、アプリケーションがデプロイされるといよいよサービスローンチ。数日〜数週間様子をみて問題がなければ運用チームに業務を引き継ぐことが多いかと思います。 運用チームへの引き継ぎ資料を作って「あとはよろしくね」となるわけですが、その段階で「待て」がかかってしまうことがあります。（だいたい待てを言うのは私なんですが） 今回はスムーズに運用チームに業務引き継ぎができるように、私が注意しているポイントをまとめておきたいと思います。 3つのポイント 注意するポイントは3つです。 1. Input なにをトリガーに作業が始まるのか。どんな通知がくるのか。 2. Action 何をするのか。 3. Output 作業が終わったら誰に報告するのか。 1つずつ説明していきます。 1. Input 運用チームは基本的に「イベント・

この資料の2021年更新最新版（Redmine 4.2対応）があります https://www.slideshare.net/g_maeda/redmine-42-250078622 --- ファーエンドテクノロジーではRedmineを使ったwebサポート窓口の運用を2014年3月から開始し、それまでのメールによる受け付けと比較として省力化・レスポンスタイムの短縮が実現できました。 この資料ではプロジェクト管理以外のRedmineの利用事例としてヘルプデスクシステムとしての活用を取り上げ、メリットと課題、設定手順、運用を紹介します。 ＜更新履歴＞ 2015/10/02 山陰ITレーダー主催 Redmineセミナーの発表資料として改訂。「バグ管理とお問い合わせ対応の類似性」および「利用実績」追加、メリットの加筆。 2015/05/16 (初版) redmine.tokyo 第8回勉強会(20

KubeCon + CloudNativeCon Europe 2025 Recap: The GPUs on the Bus Go 'Round and 'Round / Kubernetes Meetup Tokyo #70

Practical Tips for Bootstrapping Information Extraction Pipelines

Monitoring Casual Talks #7 #monitoringcasual ここ 4 年ぐらいのモニタリング系の OSS/SaaS を列挙してみました。太字は気になってるやつです。 ※このスライドは個人の見解であり、所属する組織の公式見解でも組織を代表するものでもありません※