Submit Search
20140726 jaws-ug chiba AWS operation best practice
•
11 likes
•
7,632 views
Kazuki Ueki
Follow
2014.07.27 JAWS-UG Chiba #4 AWS Operation BestPractice
Read less
Read more
1 of 43
Download now
Downloaded 19 times
More Related Content
20140726 jaws-ug chiba AWS operation best practice
1.
クラメソ保守運⽤用担当からみた AWS使っててよかったこと JAWS-‐‑‒UG 千葉葉⽀支部 Vol.4
-‐‑‒ AWS運⽤用縛り 2014/07/26 Kazuki Ueki
2.
⾃自⼰己紹介 • 名前:植⽊木 和樹(うえき
かずき) • 年年齢:37歳 • 出⾝身:新潟県妙⾼高市(単⾝身赴任中) • 元製造業情報システムG常駐 • 主にUnixサーバエンジニア(監視、保守) • 資格:IPA ITサービスマネージャ IPA システムアーキテクト • JAWS北北陸陸コアメンバー(JAWS DAYS 2013〜~) • JAWS埼⽟玉コアメンバー(2013年年8⽉月〜~) • 好きなAWSサービス:SQS classmethod.jp 2 @czkuk
3.
本⽇日は「運⽤用」しばり classmethod.jp 3
4.
ところで 保守ってなんだろう? 運⽤用ってなんだろう? classmethod.jp 4
5.
保守 classmethod.jp 5
6.
⽇日本⼯工業規格 JIS X 0161:2008 classmethod.jp
6 保守の種類 定義 例例 改良良保守 (ソフト ウェア⾃自体 の修正) 適応保守 引渡し後,変化した⼜又は変化している 環境において,ソフトウェア製品を使 ⽤用できるように保ち続けるために実施 するソフトウェア製品の修正。 OS新バージョンへの対 応/消費税対応 完全化保守 引渡し後のソフトウェア製品の潜在的 な障害が,故障として現れる前に,検 出し訂正するための修正。 ドキュメントの改善 UIの改善 (問題への 対応) 是正保守 ソフトウェア製品の引渡し後に発⾒見見さ れた問題を訂正するために⾏行行う受⾝身の 修正。 不不具合の修正 (リアクティブ) 緊急保守 是正保守実施までシステム運⽤用を確保 するための,計画外で⼀一時的な修正。 是正処置実施までの暫 定処置 予防保守 引渡し後のソフトウェア製品の潜在的 な障害が運⽤用障害になる前に発⾒見見し, 是正を⾏行行うための修正。 ミドルウェアアップ デート、不不要ファイル 削除
7.
つまり 「システムが本来あるべき姿」 になるよう対応すること メンテナンス classmethod.jp 7
8.
運⽤用 classmethod.jp 8
9.
バックアップ 監視 リソース収集 定型業務 classmethod.jp 9
10.
「正常に稼働しているシステム」 を⽤用いて実施する業務 オペレーション classmethod.jp 10
11.
「正常に稼働しているシステム」 を⽤用い「⼿手順やルールに従って」 実施する業務 オペレーション classmethod.jp 11
12.
⾯面倒? classmethod.jp 12
13.
classmethod.jp 13 ⾯面倒は全部AWSに任せる
14.
1.障害復復旧 2.障害原因調査 3.バックアップ 4.監視 5.リソース収集 6.定型業務 (よくある)保守運⽤用業務
15.
1.障害復復旧 2.障害原因調査 3.バックアップ 4.監視 5.リソース収集 6.定型業務 保守運⽤用業務
16.
EC2 Stop ↓ EC2 Start これだけ classmethod.jp
16
17.
・突発障害の多くは仮想ホスト障害が原因 仕組み上不不可避・受け⼊入れる ・“Design for Failure” 極⼒力力複数台構成(できればMulti-‐‑‒AZ) ・再起動すればサービス再開する作りにしておく ・AutoScalingにしておくとなおよし (AutoHealing) AWSでの障害復復旧
18.
1.障害復復旧 2.障害原因調査 3.バックアップ 4.監視 5.リソース収集 6.定型業務 保守運⽤用業務
19.
AWSサポートを 活⽤用しましょう classmethod.jp 19
20.
・環境をみて⼀一緒に原因を調べてくれる ・客観的に調査してくれる(当事者の思い込み) ・ドキュメントへのポインタを教えてくれる ・⼿手順やエビデンスはちゃんと伝えましょう ・EC2 retirement、RI期限切切れの通知(β?) ・ec2
abuse Report(踏み台とか) ・ベーシックは無料料。「開発者」は約5千円/⽉月 AWSサポートは素晴らしい
21.
1.障害復復旧 2.障害原因調査 3.バックアップ 4.監視 5.リソース収集 6.定型業務 保守運⽤用業務
22.
スナップショット 取りましょう classmethod.jp 22
23.
・RDSならスケジュールで⾃自動 ・ちゃんと取れてるかはTrusted Advisor参照 ・EBSには「ソンナコトモアロウカト」 オススメ EBSにタグ設定するだけで⾃自動世代管理理 1クリックで毎⽇日スナップショットを⾃自動取得
〜~ ソンナコトモアロウカト編 | Developers.IO ・リストア/リカバリ⼿手順も確認してる? バックアップが簡単
24.
1.障害復復旧 2.障害原因調査 3.バックアップ 4.監視 5.リソース収集 6.定型業務 保守運⽤用業務
25.
CloudWatch 使いましょう classmethod.jp 25
26.
・インスタンス作成後「すぐに」情報収集 ・気になる項⽬目にはアラーム設定 ・⾜足りない項⽬目はカスタムメトリクスで (ディスク使⽤用率率率、メモリ使⽤用率率率など) ・監視項⽬目数が膨⼤大なのでZabbixなど利利⽤用すべき (ログ監視、RDSイベント監視なども) CloudWatchによる監視
27.
1.障害復復旧 2.障害原因調査 3.バックアップ 4.監視 5.リソース収集 6.定型業務 保守運⽤用業務
28.
やっぱり CloudWatch 使いましょう classmethod.jp 28
29.
・CloudWatchの保存期間は2週間のみ ・CloudWatchはOSより下のみ ・⾜足りない項⽬目も多いのでZabbixなどと併⽤用 (特にRDSまわり) ・Web1台構成でもELBは⼊入れておくと良良い リクエスト数、レイテンシ、HTTPステータスコード リソース収集
30.
1.障害復復旧 2.障害原因調査 3.バックアップ 4.監視 5.リソース収集 6.定型業務 保守運⽤用業務
31.
aws-‐‑‒cli classmethod.jp 31
32.
・運⽤用はドキュメントドリブンで ・マウスでのオペレーションは意外と難易易度度⾼高い ⼿手順書作りも⼤大変(→ ⼿手順書作ってくれない) ・コマンドコピペでOK、操作ログ、複数処理理実⾏行行 ・Zabbixから⾃自動実⾏行行も コマンドラインによる定型業務
33.
1.障害復復旧:Stop/Start 2.障害原因調査:AWSサポート 3.バックアップ:⾃自動スナップショット 4.監視:CloudWatch 5.リソース収集:CloudWatch 6.定型業務:aws-‐‑‒cli 保守運⽤用業務まとめ AWSで⾃自動化・省省⼒力力化が可能
34.
ところで あなたのAWSは健全ですか? classmethod.jp 34
35.
⽇日本⼯工業規格 JIS X 0161:2008 classmethod.jp
35 保守の種類 定義 例例 改良良保守 (ソフト ウェア⾃自体 の修正) 適応保守 引渡し後,変化した⼜又は変化している 環境において,ソフトウェア製品を使 ⽤用できるように保ち続けるために実施 するソフトウェア製品の修正。 OS新バージョンへの対 応/消費税対応 完全化保守 引渡し後のソフトウェア製品の潜在的 な障害が,故障として現れる前に,検 出し訂正するための修正。 ドキュメントの改善 UIの改善 (問題への 対応) 是正保守 ソフトウェア製品の引渡し後に発⾒見見さ れた問題を訂正するために⾏行行う受⾝身の 修正。 不不具合の修正 (リアクティブ) 緊急保守 是正保守実施までシステム運⽤用を確保 するための,計画外で⼀一時的な修正。 是正処置実施までの暫 定処置 予防保守 引渡し後のソフトウェア製品の潜 在的な障害が運⽤用障害 になる前に発⾒見見し,是正を ⾏行行うための修正。 ミドルウェアアップ デート、不不要ファイル 削除
36.
やっぱり AWSサポート classmethod.jp 36
37.
■電話、チャット ・24時間年年中無休 ・ELB暖気(Pre-‐‑‒Warming) ■Trusted Advisor ★イチオシ! ・コスト最適化(RI推奨、EIPつけ忘れ) ・セキュリティ(全開放のポート検知) ・耐障害性(スナップショット取り忘れ) ・パフォーマンス(上限数警告、EBS最適化) ■100
USD または AWS使⽤用料料の10% ・⽉月額使⽤用料料が10万円までなら⽉月1万円 ・契約は⽉月単位 ビジネスサポートがおすすめ
38.
Operational Checklists for
AWS
39.
先ほど公開しました
40.
予防保守が⼤大事 検証が⼤大事 事前チェックが⼤大事 classmethod.jp 40
41.
ご清聴ありがとうございました classmethod.jp 41
42.
参考資料料(1/2) u JIS X
0161:2008(ソフトウェアライフサイクルプロセスー保守) http://ja.wikipedia.org/wiki/ソフトウェア保守 u Amazon EC2 インスタンスに関するよくある質問 「Q: インスタンスが応答しなくなったときは、どうすればよいですか?」 http://aws.amazon.com/jp/instance-‐‑‒help/ u AWSサポート https://aws.amazon.com/jp/premiumsupport/ u 1クリックで毎⽇日スナップショットを⾃自動取得 〜~ ソンナコトモアロウカト編 | Developers.IO http://dev.classmethod.jp/cloud/aws/aws-‐‑‒cfn-‐‑‒advent-‐‑‒calendar-‐‑‒2013-‐‑‒snapshot/ u aws-‐‑‒missing-‐‑‒tools/ec2-‐‑‒automate-‐‑‒backup ·∙ GitHub https://github.com/colinbjohnson/aws-‐‑‒missing-‐‑‒tools/tree/master/ec2-‐‑‒automate-‐‑‒backup
43.
参考資料料(2/2) u ELBの挙動とCloudWatchメトリクスの読み⽅方を徹底的に理理解する |
Developers.IO http://dev.classmethod.jp/cloud/aws/elb-‐‑‒and-‐‑‒cloudwatch-‐‑‒metrics-‐‑‒in-‐‑‒depth/ u グラフの確認⽅方法と確認できるグラフ⼀一覧(EC2/ELB/RDS) | Developers.IO http://dev.classmethod.jp/cloud/aws/cloudwatch-‐‑‒can-‐‑‒be-‐‑‒seen-‐‑‒graph/ u Operational Checklists for AWS http://aws.amazon.com/jp/whitepapers/operational-‐‑‒checklists-‐‑‒for-‐‑‒aws/ u これからAWSを始める⼈人は⼀一読すべき「AWS運⽤用チェックリスト」を読んでみた | Developers.IO http://dev.classmethod.jp/cloud/aws/aws-‐‑‒operational-‐‑‒checklist/
Download