Boto3 とは AWS (Amazon Web Services) を Python から操作するためのライブラリの名称です。 S3 などのサービス操作から EC2 や VPC といったインフラの設定まで幅広く扱うことが出来ます。 Boto3 は AWS が公式で提供しているライブラリのため、APIとして提供している機能をほぼ Python から使えるようになっています。 今回はこの Boto3 の使い方と活用例を紹介したいと思います。 ちなみに Botoという名称は ボート ではなくイルカ の名前から来ているそうです。 https://reboooot.net/post/why-boto/ セットアップ Boto3 のインストール pip からインストールすることができます。 Python の 2 系は 2.6.5 から、3 系は 3.3 からサポートされてます。 AWS の API

※ 2020/2/25 追記 2020年1月、ようやく EC2 の バックアップ/リストア を支援する AWS Backup EC2 が リリースされた。 私も、これまでこの自作バックアップを使っていたけど、AWS Backup EC2 へ移行した。 AWS Backup EC2 を実運用へ導入したときのあれやこれや 概要 EC2タグ "AMI-Backup-Generation = n(世代数)" が付いている EC2インスタンスのイメージ (AMI+Snapshot) を定期的に作成する。 AMIの作成と登録解除を行なうLambda (関数名： ec2-image-backup)と、登録解除されたAMIのスナップショットを削除するLambda（関数名：delete_snapshot_after_ami_deregister）の２つを作成して動かす。 設定した世代数よりも古くなった AM

AWS Lambda? サーバレスでプログラムを実行できるようなもの 1 か月 1,000,000 リクエストは無料 今回のような１日１回動かす程度なら無料でずっと使えます 詳しくは → https://aws.amazon.com/jp/lambda/faqs/ やりたいこと Lambdaのスケジュールイベントを使って自動的にEBSのスナップショットを作成する 今回使用する言語はPython スナップショットの対象は、EC2インスタンスのタグに「Backup-Generation」が付いているものとする Backup-Generationの値には、0以上の数字を指定する スナップショットの保存件数は、Backup-Generationの値とする 0のときはスナップショットを作成しない スナップショットの保存件数を超えた場合は、作成日付の古いものから削除する 作成したスナップショットのDe

西澤です。先日、VPC Peering先から、Public DNS hostnameをPrivate IP Addressとして名前解決する機能がサポートされるようになった、というリリースがありました。今回のリリースで何ができるようになったのか確認してみたいと思います。 Announcing DNS Resolution Support for VPC Peering Public DNS hostnameのおさらい まずは何も設定していない状態で、vpc-a内のec2-a(ip-10-0-0-201)から、vpc-b内のec2-b(ip-10-1-0-51)から、それぞれvpc-a内のEC2インスタンスのPublic DNS hostnameの名前解決を試みます。 ec2-a(ip-10-0-0-201)での名前解決 こちらはプライベートIPアドレスが返されます。Public DNS h

先日『AWS re:Invent 2016』にて発表された新サービス『Amazon Athena』は、マニュアルにもある通りAWSが提供するフルマネージドHiveサービスと言えるでしょう。DWH用途で考えるとレコードをフルスキャンするよりも特定のカラムを集計・フィルタするというユースケースが多くなりそうですので、カラムナフォーマット『Parquet』を試したみたいと思いました。Parquetファイルの変換や、一般的なCSVとの簡単な比較をしてみました。（意外な結果が...） カラムナフォーマット『Parquet』とは データ分析では大福帳フォーマットのテーブルデータに対して、特定の列の値を集計したり、フィルタリングすることが多いため、カラム毎にデータが連続して格納されていると必要なデータのみをピンポイントで読み込むことができるからです。また、列方向には同じ種類のデータが並んでいるため、圧縮

MackerelはAWSインテグレーションにてAmazon Simple Queue Service (SQS)のメトリック取得や監視に対応しています。AWSインテグレーションで連携を行なった場合、課金対象として1キュー = 1マイクロホストと換算します。 AWSインテグレーションの設定方法や対応AWSサービス一覧についてはこちらのページをご確認ください。 AWSインテグレーション 取得メトリック AWSインテグレーションのSQS対応で取得できるメトリックは以下の通りです。 メトリック の説明に関してはAWSのヘルプをご確認ください。 最大で11個のメトリックが取得されます。 グラフ名 メトリック Mackerel上のメトリック名 単位 Statistics Oldest Age ApproximateAgeOfOldestMessage sqs.oldest_message.age in

本番環境で RDS を運用して数ヶ月。いろいろ試して RDS のパフォーマンスを上げるコツがわかってきたのでまとめたいと思います。 ここで取り上げるコツは以下を前提にしています。 データベースは PostgreSQL (Multi-AZ 配置) Read よりも Write が多い 夜間のバッチ処理がピーク 1 レコードは小さいが、一度に書き込むレコード数は多い アプリケーションの特性によっては当てはまらないこともあるでしょうし、他の RDBMS では結果が違ってくると思います。そこを踏まえたうえで参考にしてください。 Availability Zone はどちらかに寄せる RDS の Multi-AZ は耐障害性を上げるために欠かせない機能で、本番環境では Multi-AZ 配置が推奨されています。 Multi-AZ 配置にすると物理的に独立した AZ (Availability Zon

1. Amazon Redshiftの ご紹介 2013.04.10 アマゾンデータサービスジャパン 株式会社 © 2013 Amazon.com, Inc. and its affiliates. All rights reserved. May not be copied, modified or distributed in whole or in part without the express consent of Amazon.com, Inc. 2. クラウドコンピューティングとは？ 初期投資が不要 低額な利用価格 実際の使用分 のみ支払い セルフサービスな スケールアップ、 ビジネススピード インフラ ダウンが容易 の改善 Deploy © 2013 Amazon.com, Inc. and its affiliates. All rights reserved. May

お仕事の絡みで、タイトルの要件が必要になりそうだったので備忘録も兼ねて。 前提 EC2 の Distribution は Amazon Linux インスタンスは AutoScale によって増えたり減ったりする やること S3 Bucket の準備 IAM の準備 IAM User で対応する場合 IAM Role で対応する場合 s3fs のインストール s3fs の設定・起動 やりかた S3 Bucket の準備 まぁ、普通に Management Console から追加するだけ。 ログとかはご随意に。 IAM の準備 二通りのやり方があるので、お好みで。 IAM User で対応する場合 このケースは、EC2 起動時のオプションとして IAM Role を 割り当てたくない(られない) 場合に使うと良いか？ IAM Management Console で Create a Ne

{ "Statement":[ // S3ホームディレクトリでバケット一覧を表示するために必要 { "Effect":"Allow", "Action":[ "s3:ListAllMyBuckets" ], "Resource":"arn:aws:s3:::*" }, // バケットに対する操作を許可 { "Effect":"Allow", "Action":[ "s3:ListBucket", "s3:GetBucketLocation" ], "Resource":"arn:aws:s3:::bucket" }, // オブジェクトに対する操作を許可 { "Effect":"Allow", "Action":[ "s3:PutObject", "s3:GetObject", "s3:DeleteObject" ], "Resource":"arn:aws:s3:::bucket/*"

以前にrubyからちょろっといじったことがあったのですが、phpからやったことがなかったのでやってみます。 本当はCakePHPから使う予定なんですが、実験的に動かしてみる場合、なるべく原始的な使い方から入る方が理解が深まる気がしてる。 事前準備 ではやっていきますね。 まずはAWSコンソールからテスト用のbucketを作っておきます。ここは難しいことはないので説明は省略。s3phpって名称で作りました。 次にAPIアクセス用にAccess KeyとSecret Access Keyを取得します。 「Create New Access Key」を選択すると新しいKeyが生成されてキー文字列が表示されるのでどこかにコピペしておきましょう。ん？あとからSecret Access Keyを確認しようとしたら見当たらない。 一度しか見れないということだろうか。まあ一度deleteすればまた新しいの

AWSの管理するDNSサービス Amazon Route 53を使いたいためにAWSアカウントを新規に作成する人も多いという鉄板サービスのRoute53です。今回は、そんなRoute53に新機能が多数追加されていた件について色々振り返りたいと思います。 ヘルスチェックおさらい 登録したドメインが指定するホストから期待する応答がない場合に異常な状態としてアラート飛ばしたりセカンダリーにDNSフェイルオーバーすることができます。そして、正常な状態に戻ったら振り先が戻ります。 フェイルオーバーの仕組みは3つ（Active-Active、Active-Passive、Active-Active-Passive & Other Mixed）ありまして、ルーティングの仕組みと組み合わせることで色々できます。 Active-Activeは、正常時はアクティブなリソースレコードセットを返す動作をしますが、

ちょっとリザーブドインスタンスの仕様の確認をしていたので、ついでにまとめてみました。AWSを使ったことがある人であれば、高確率で聞いたことがあると思います。でも、実際に使ったことがある人は、結構少ないのではないでしょうか？。一度使ってみれば、特に難しくもなく簡単ということが解りますので、一読して試していただければと思います。 リザーブドインスタンスのモデル そもそもリザーブドインスタンスとは、どういうものなのでしょうか？簡単に言うと、予約金を最初に払うと期間内の時間あたりの料金が安くなるというモデルです。オンデマンドインスタンスに比べ、ある一定以上使うと積算料金が安くなるというのがリザーブドインスタンスです。 リザーブドインスタンスは、使用率により３つのタイプの買い方があります。期間中にどれくらいの割合で立ちあげておくかで、タイプを考える必要があります。 年間100%利用した場合 何%利用

Windows Serverにアクセスするユーザーとライセンス 最近、Windows Serverに触れる機会が増えてきました。特にAWS上で動くWindows Serverが増えています。そこでこんな質問を受けました。 「CALの購入が必要だよね？」 答えから言います。 「CALの購入は必要ありません。なぜならばAWSがSPLAだからです。」 これから書く内容は私の個人的な意見であり、一切の保証はありません。おそらく、誰に聞いても同じ回答が返ってくると思います。 SPLA SPLAとは、第三者にASPなどのサービスを提供するときのライセンス体系です。特徴として、ホスティングができて、社内利用ができて、CALの購入が不要で、最新のバージョン利用が可能です。 ライセンス早わかりガイド サービス プロバイダー向けライセンス AWSはSPLAです 「SPLAのお客様のサポートは、AWSによるSP

1. © 2014 Amazon.com, Inc. and its affiliates. All rights reserved. May not be copied, modified or distributed in whole or in part without the express consent of Amazon.com, Inc. よくわかるAmazon EC2 EC2の今さら聞けない話 2014年3月17日(7月1日改訂) アマゾンデータサービスジャパン株式会社 ソリューションアーキテクト 松尾康博 2. © 2014 Amazon.com, Inc. and its affiliates. All rights reserved. May not be copied, modified or distributed in whole or in part wit

アマゾンは、3月12日、アプリやゲームをクラウドからストリーミングできる『Amazon AppStream』の公開を発表した。同社によれば、『Amazon AppStream』を使うと、AWS上でPC、スマートフォンなどのマルチデバイスのアプリデータをクラウドで管理でき、膨大なストレージを活用できる。また、2D・3Dグラフィックなどの高品質な画像データのGPUのレンダリングも可能。 ＜以下、公式サイトより＞ メリット デバイスの制約の排除 AWS の処理能力を利用すれば、ローカルデバイスでは GPU、CPU、メモリ、または物理ストレージの制約のために通常は不可能とされているエクスペリエンスを提供できます。

2015/11/13追記：現行のサービスにおける上限値や制限値については下記のAWS公式ページに情報がまとまっているようです。サービス毎の状況を確認される場合はこちらをご参照ください。 - AWS Service Limits - Amazon Web Services - AWS サービス制限 - アマゾン ウェブ サービス AWSでインフラ構築作業を行っていると、規模によってはあっという間に(定められている)要素数の上限に達してしまいます。後述する『上限緩和申請』を行えばその上限は増やす事が出来るのですが、実際に構築を行う前にその辺りの申請はスムーズに済ませておきたいところ。と言うわけで、現在AWSで利用上限が定められている要素とそれらの上限を増やす(上限緩和申請)ための依頼フォームの情報を個人的学習目的及び今後の備忘録として整理してみました。 AWS Service Limits(A