こんにちは、AWS事業本部の荒平(@0Air)です。 EC2のスポットインスタンス、使い方さえ押さえれば、価格を低く抑えたいときに大変便利ですよね。 日中しか利用しないアプリケーションをスポットインスタンスで構築し、定期起動する仕組みを作ってみました。 参考：Amazon EC2 スポットインスタンス (耐障害性を備えたワークロードを最大 90% OFF で実行) 構成図 実装方法はいくつかあると思いますが、今回はCloudFormation・Lambda・EventBridgeを利用します。 やってみた 1. Spot Instance用の起動テンプレートを作成する スポットインスタンスとして起動させるためのEC2起動テンプレートを作成します。 EC2インスタンスを立てる際のUIとほぼ同様で作成が可能です。 起動テンプレートには、「バージョン」の概念があり、このバージョンは後のLambd

2. Copyright © GREE, Inc. All Rights Reserved. 自己紹介 ● わりと MySQL のひと ● 3.23.58 から使ってる ● むかしは Resource Monitoring も力入れてやってた ● ganglia & rrdcached の（たぶん）ヘビーユーザ ● というわけで、自分は Monitoring を大事にする ● 一時期は Flare という OSS の bugfix などもやってた ● さいきんは、ハードウェアの評価をしている時間が長かった ● たまに Linux の TCP プロトコルスタックについて調べたりもする 2 3. Copyright © GREE, Inc. All Rights Reserved. ● 弊社は、古くからオンプレミス環境で、 MySQL をヘビーに使ってきまし た。 ● 過去に、一部のサービスを

AWS と IBM Cloud の二つのクラウドで、Terraform 仮想サーバーをプロビジョニングして、マルチクラウド化ツールの実態を体験して理解したいと思い、前回、IBM Cloudで作成した Terraform の構成ファイルを AWS EC2 用に書き直して、検証をおこないました。 この記事は、Terraform + Cloud-init + Ansible で IBM Cloud VSIプロビジョニング自動化の記事のAWS版です。 Terraform の詳細なコードは、takara9/terraform-aws-ec2 にあります。Terraform の実行環境は、takara9/vagrant-terraformを想定しています。 次のように、GitHubからクローンしたディレクトリで、ファイル名を挙げながら、どのように対応したのかを記述しておきます。 ~/terraform

EC2 Auto-ScalingでECS組んでますか？エラーレート高いですか？救ってあげてもいいですか？ サイバーエージェント技術本部インフラエンジニアの@prog893です。今回も「AWA」という音楽ストリーミングサービスのインフラの改善について紹介したいと思います。前回の記事では、データベースの復旧時間が12時間から55分まで短縮できた話を紹介しましたが、今回は楽曲ダウンロード及びストリーミングレイヤーでのエラー率を大幅に改善したことについて述べたいと思います。 楽曲ダウンロード及びストリーミングの構成 まず、楽曲ダウンロード及びストリーミングの構成概要について紹介します。 音楽ダウンロード及びストリーミングの構成概要 楽曲配信サーバ(以降Track Proxy)はコンテナとして実行しAWS Elastic Container Service（ECS）で運用しており、ECSのバックエン

みなさん、AWSのスポットインスタンスは使っていますか？ スポットインスタンスを使えばオンデマンドインスタンスの約70-80%引きでEC2を利用でき、大きなコスト削減が出来ます。 しかし、スポットインスタンスは価格変動が起きるとインスタンスが停止したりするリスクがありますよね？ その辺りのリスクをヘッジしてくれるのがSpotinstというサービスになります。 Spotinstは価格変動によるリスクヘッジだけじゃないメリットがたくさんあるので紹介したいと思います。 Spotinstは何個かサービスがあるのですが、その中のElastigroupという機能を主に説明していきます。 結論 先に結論書いておきます。 かなり安いから使わない理由は無いです。Pricingの項目を参照ください。 Elastigroupとは spotinst.com トレンド分析 Elastigroupは独自の予測アルゴリ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 今年一年Kubernetes on AWSをやってきて、kube-awsメンテナ目線で、「今日から、できるだけ楽に、安定して本番運用」するための個人的ベスト・プラクティスをまとめておきます。 TL;DR EKSはまだプレビュー申込の段階。実際に動くものがあるかもわからない。 EKSとkops、kube-aws、kubesprayなどは組み合わせて使うもの。代替えにはならない。 SaaSありなら分散ログ、分散トレース、リソースモニタリングはDatadogに寄せると運用が楽 istioは安心して本番運用できるフェーズではない(Service

CMP325 talk for AWS re:Invent 2017, by Brendan Gregg. " At Netflix we make the best use of AWS EC2 instance types and features to create a high performance cloud, achieving near bare metal speed for our workloads. This session will summarize the configuration, tuning, and activities for delivering the fastest possible EC2 instances, and will help other EC2 users improve performance, reduce latency

はじめに EC2 インスタンスを稼働させる AWS 基盤（仮想ホストサーバー）では、インテル®︎ ハイパースレッディング・テクノロジー（以降、HT）が利用可能な Xeon プロセッサーが利用されております。HT については、インテル社の公式サイトをご確認ください。 インテル® ハイパースレッディング・テクノロジー 2017/10 現在、AWS から提供されている EC2 インスタンスの仮想CPU 数は、論理コア数に相当しているため仮想CPU 数を 1/2 した個数分の物理コアが割り当てられていると理解できます。ただし、一部(※)の特定インスタンスを除きます。 インスタンスタイプ - Amazon EC2 (仮想サーバー) | AWS (※) 2017/10 現在、T2 および m3.medium を除く。 本記事では、Amazon Linux を利用した場合に OS インスタンス上から H

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

EC2が原因不明で接続不可になることは以外に多いです。そんな時にVMWareやHyper-V、KVMみたいにコンソール画面に何が出ているのか確認したくなります。 AWSマネジメントコンソールから「インスタンスの設定」＞「システムログの取得」で以下のような画面が取得できるのですが、grepとかに流して調査するにはコピペしたりが必要で正直面倒です。 そんな時にはAWS CLIの aws ec2 get-console-output が便利です。ただ、このコマンドそのまま実行するとアウトプットに改行やらエスケープシーケンスやらが入って見難いです。 そこで、ポイントは --query 'Output' --output text のオプションを入れることです、これで実際のコンソール画面と同じような色つきで整形されたアウトプットが得られます。 $ aws ec2 get-console-output

こんにちは、菊池です。 昨日、8月31日にAWSをテーマにした勉強会、AKIBA.awsの第1回目を開始しました。 AKIBA.aws AKIBA.awsは、AWSを利用しているエンジニアを対象とした勉強会です。 日々進化を続けるAWSの技術動向を追い、参加者が相互に情報交換し、スキルを高めていくことができる場所にしたいと思っています。一方的に情報提供をするのではなく、発表を通じて質問やディスカッションを行い、発表者・参加者の双方で議論を深めていくことをイメージしています。 第一回は「基礎編」 初回ということで「基礎編」として、ELB、Route53、EC2といったAWSのベーシックなサービスを取り上げました。 「基礎」といっても「AWSとは」「EC2とは」のような、「入門」ではなく、すでにAWSを使っている前提で、改めて基本をしっかり押さえることでより上手にAWSを使えるようになるという

こんにちは、臼田です。 AWSでEC2と接続するためのsshの鍵の生成は、基本AWS側で行なってくれますが、ec2-user以外のユーザで別の鍵を利用したり、AWS以外でもGithub等のサービスに利用したりする際には自分でsshの鍵を作成すると思います。 本当にちょっとしたことですが、ssh-keygenで鍵を生成する際に気にしたいことを書きます。 普通に作ってみる ssh-keygenコマンドは対話式で鍵を生成することができます。 具体的には、下記のような動作になります。 $ ssh-keygen Generating public/private rsa key pair. Enter file in which to save the key (/Users/username/.ssh/id_rsa): /Users/username/.ssh/test Enter passphr

Amazon Web Services ブログ EC2 Run Command を使用した、SSH アクセスなしでの大規模なインスタンスの管理 Ananth Vaidyanathan (EC2 Systems Manager のシニア製品マネージャー) および Rich Urmston (Pegasystems のクラウドアーキテクチャのシニアディレクター) によって書かれた次のゲスト投稿は、EC2 Run Command を使用して、SSH を用いることなく EC2 インスタンスの大量のコレクションを管理する方法を示しています。 — Jeff; 多くの場合、エンタープライズは管理対象環境および数千の Amazon EC2 インスタンスを持っています。Secure Shell (SSH) について悩むことなく、システムをセキュアに管理することが重要です。Amazon EC2 Systems

This document provides an overview of Amazon EC2 instance types and performance optimization best practices. It discusses the factors that go into choosing an EC2 instance, how instance performance is characterized, and how to optimize workloads through choices like instance type, operating system, and configuration settings. Specific tips are provided around topics like timekeeping, CPU credit mo

Containers are already adding value to our proven globally available cloud platform based on Amazon EC2 virtual machines. We’ve shared pieces of Netflix’s container story in the past (video, slides), but this blog post will discuss containers at Netflix in depth. As part of this story, we will cover Titus: Netflix’s infrastructural foundation for container based applications. Titus provides Netfli

渡辺です。 Ansibleを使っている皆様、テスト書いてますか？ え、書いてない？ 弊社では、社内共有しているAnsibleのRoleの検証にServerspecを利用しています。 今日はよく使うリソースタイプを紹介します。 テストの流れ テストのフレームワークとしてはTest Kitchenを利用しています（kitchen-ansiblepushを利用したAnsible roleのテスト環境構築）。 はじめに、Test KitchenのEC2 Driverを利用し、AWS環境にEC2インスタンスを作成します。 次に、ひとつのRoleを実行するAnsibleのPlaybookを流します。 続けて、サーバの状態が期待された状態になっているかをServerspecで検証します。 最後に、AWS環境にEC2インスタンスが破棄されます（検証失敗時は破棄されない）。 Ansibleでもテストの仕組み

プロジェクトでGO言語に触れながら学習のためにコマンドラインツールを作り拡張させながら言語理解を深めようと目標を立てた。「みんなのGO言語」を参考にしながら自作のコマンドラインツールを作ったのでまとめます。 みんなのGo言語[現場で使える実践テクニック] 作者: 松木雅幸,mattn,藤原俊一郎,中島大一,牧大輔,鈴木健太出版社/メーカー: 技術評論社発売日: 2016/09/09メディア: Kindle版この商品を含むブログを見る どんなコマンドラインツールを作ったか ec2インスタンスをタグ検索してインスタンス情報を取得できるコマンドラインツールを作りました。 生成したインスタンスリストをpecoでインクリメンタルサーチできるようにして選択したインスタンスにsshできるようなzsh関数も合わせて作りました。 作ったサブコマンドとpecoを組み合わせればインスタンスへのssh接続が快適に

こんにちは。今年は冬休みをとても長くとったのですが、肉や蟹や餅や酒を連日消費しているうちに人体が終わっていき、気持ちになったので(様々な方向に感極まった状態のことを「気持ちになる」と表します)、世間で流行っているらしいディープラーニングの関連情報をつまみ食いしてチャットボットを作ってみることにしました。 入力文に対しニューラルネット(RNN)で応答文を生成して返事します。 @neural_chatbot というtwitterアカウントで動かしています。 ご興味があればぜひ@neural_chatbotに話しかけてみてください。 あらすじ ニューラルネットというものがあり、関数を近似することができ、知られています。 Recurrent Neural Network (RNN)というものがあり、内部状態を持つことができ、自然言語を含む可変長の系列を取り扱うのに便利で、知られています。 Sequ

最新のミドルウェアを使う 古いミドルウェアには脆弱性が含まれることがあります。 脆弱性によってその影響は様々です。 外部から比較的容易にサービス断を行えるものや、不正なコマンドを実行され情報を抜き取られるなどよりクリティカルなものもあります。 最新のミドルウェアを利用し定期的にアップデートするようにします。 ミドルウェアの脆弱性が見つかると、脆弱性情報データベースや各ベンダで公開されます。 Common Vulnerabilities and ExposuresやJapan Vulnerability Notesが有名です。 Amazon Linuxの場合、Amazon Linux AMI Security Centerで公開されます。 各サイトを巡回するには骨が折れるため、RSSやtwitterで情報収集されるかたも多いかと思います。 影響が大きい脆弱性については、全社周知が行われる組織