概要 背景 複数人数で一つの環境をコードで管理する場合の移行期と運用期の特性 移行期 運用期 Terraformの採用理由 実際の運用 ディレクトリ構成 stateファイルの配置 環境の定義 tfvarsによる切り替え 環境固有のリソース定義 GitHubのPRフロー よかったこと・課題 よかったこと 課題 概要 どうも。篠田です。 「特定の"インフラ担当"・"開発メンバー"」や「古の記憶」に頼らず、『開発メンバー全員が拡張や移行作業を気軽にできるインフラ』を実現するために、私のチームで採用しているTerraformを使ったAWS環境運用フローをご紹介いたします。 Terraformで移行および運用するフローにしたことで、構成全体に対する変更の柔軟性が高まり、コードがあることで運用および拡張期において設計の変更や手戻りを恐れずに開発を進められるようになりました。 次は概要図です。 背景 先

こんにちは、技術開発グループの松原です。 AWSでログを処理するときは以下の方法が考えられるかと思います。 CloudWatch LogsのデータをAmazon Elasticsearch Serviceにストリーミングする FluentdやLogstashを使ってログの収集、処理をする Fluentdを利用する場合はAggregatorがあった方が、リトライやバッファリング、タグを追加したいなどの場合にAggregatorの設定を変更するだけですむなど利点が多いです。 ただし、サーバの台数が少ない場合はAggregatorを構築するほどでも無いと思う場合もあるかと思います。 そこで、今回は以下のような構成を試してみます*1。 ここではログの格納先をS3にしていますが、Kinesisに置き換えても同様に実現可能かと思います。 Fluentdの設定 Fluentdで集めたログデータをS3に送

今年からAWS（Amazon Web Services）クラウドコンサルタントとして、中小規模のAWSデプロイの相談を受けています。その多くは典型的なWebアプリケーションです。ここで、ぜひ避けたい5つのよくある間違いを紹介します。 インフラストラクチャを手動で管理する。 Auto Scaling グループを使わない。 CloudWatchのメトリクスを分析しない。 Trusted Advisorを無視する。 仮想マシンを活用しない。 典型的なWebアプリケーションにおける間違いを防ぎたい人は、次に進んでください。 典型的なWebアプリケーション 典型的なWebアプリケーションは最低限次の要素で構成されているものを指します。 ロードバランサ スケーラブルなWebバックエンド データベース そしてこのアプリケーションは、次の図のような仕組みを持っています。 注釈：（左から）DNS、CDN、静

これは何でしょう AWS Lambda におけるチェーン呼び出しするような一連のLambda関数を動的にデプロイすることで単一のコードで書けるライブラリを書いてみましたという記事です。名付けて"Mizukiri"。 コードなど GitHub: https://github.com/takeshinoda/mizukiri npm: https://www.npmjs.com/package/mizukiri デモアプリ: https://github.com/takeshinoda/mizukiri-demo ことば ここでは AWS Lambda 上にデプロイされるアプリケーションのことをLambda関数と呼びます。AWSの公式ドキュメントでもそのように呼称されています。別の意味に解釈されそうな言葉ですがしょうが無いです。 概要 Mizukiriはnpmパッケージで、コンセプト実証のコー

2015年12月1日に開催されたDevelopers Festa Sapporo 2015の講演資料となります。 日本の事例初掲載版です。Read less

AWS Black Belt Tech Webinar 2015 Amazon Kinesis 次回のWebinarは、下記よりご確認ください。 http://aws.amazon.com/jp/about-aws/events/#webinar ★AWS Black Belt Tech Webinarとは AWSのソリューションアーキテクト、TechメンバがAWSのプロダクト/ソリューションを深堀りして解説し、参加されている皆さまからの質問にお答えする無料のWebinar(Webセミナー）です。 毎週水曜日(祝日などを除く)、日本時間の18:00から約1時間にわたってお送りしています。Read less

今回は、まだ全然底が見えていないAuroraのガチンコ検証となります。公式資料に、発表当初の簡単な検証数値もありますが、自分でやらないと理解できない部分が多くあるためです。 既にAuroraにするだけで従来より速くなる説は有力ですが、なぜ速くなるのか、どのような点に注意を払って運用すべきなのか、といったことを理解するために、より局所的な検証をいくつか行って考察していきたいと思います。 目次 楽しい検証になって長くなりましたので、目次を置いておきます。 はじめに クエリのレスポンスタイム クエリキャッシュ CPU利用率とIOPSの性質 データ容量とストレージ性能の関係 インスタンスタイプとストレージ性能の関係 運用面の色々 何がボトルネックになるか はじめに いくつか前提的なものを。 ベンチマークは全て、sysbench を使ってテストデータ作成・ランダム参照／更新クエリを実行しています デ

お知らせ 2024年9月1日より、connpassではスクレイピングを禁止し、利用規約に明記しました。以降の情報取得にはconnpass APIをご利用ください。APIご利用についてはヘルプページをご確認ください。

I'm trying to pull Docker image from its private repo and deploy it on AWS Elastic Beanstalk with the help of Dockerrun.aws.json packed in zip. Its content is { "AWSEBDockerrunVersion": "1", "Authentication": { "Bucket": "my-bucket", "Key": "docker/.dockercfg" }, "Image": { "Name": "namespace/repo:tag", "Update": "true" }, "Ports": [ { "ContainerPort": "8080" } ] } Where "my-bucket" is my bucket's

2015 年 6 月 2～3 日に開催された AWS の無料クラウドカンファレンス「AWS Summit Tokyo 2015」では、90 以上のセッション、50 社以上のお客様による事例セッションが行われ、2 日間で延べ 10,000 名を超える方にご来場いただきました。 当日ご来場いただきました皆様、ご登壇いただきましたお客様、そしてご賛同いただきましたスポンサー各社の皆様、誠にありがとうございました。 この開催レポートでは、日本のお客様による実際の AWS 利用動向はもちろん、AWS 製品の技術セッションから、最新のクラウドソリューションを学ぶことができます。また、パネルディスカッションでは、AWS クラウドを活用する上でのヒントが多く紹介されています。 当日残念ながらお越しになれなかった方はもちろん、当日のセッションを改めてご参考にしたいお客様もぜひご覧ください。

2. Agenda AWS OpsWorks概要 AWS OpsWorksハンズオン • CloudFormationによるEC2インスタンス、RDS、VPCの自動生 成 • GitHub上にコードリポジトリ生成 • サンプルレシピを作成、GitHubにpush • OpsWorksのスタック、レイヤー、インスタンス、App生成 • OpsWorksで起動したインスタンスにサンプルレシピを実行 • OpsWorksでWordPressをデプロイする APPENDIX 2

情けない話ですが、自分の大チョンボで AWS の個人アカウントが第三者にアクセスされた結果 190万円相当のリソースが使われ、最終的に AWS さんに免除を頂きました。反省込みで本件のまとめを書きます。 自分が馬鹿を幾つも重ねた結果であって、AWS 自体は怖くないというのが伝われば幸いです はじめにまとめ S3 実験してた時に SECRET KEY を見える場所に貼っていた事があり、第三者がそれでアクセスし大量の高性能インスタンスを全力で回す (恐らくBitCoin採掘) AWS さんから不正アクセスの連絡があり、急いで ACCESS KEY 無効＆パスワード変更、インスタンス全停止、イメージ削除、ネットワーク削除 免除の承認フェーズを進めて、クレジットカードの引き落とし前に完了して助かる AWS さんのサポート AWS さんは最大限サポートしてくれました 承認フェーズが進まない時もあまり

おまけ 今回調査に使ったシェルスクリプト載せておきます。 権限毎にバケット何個も作って、オブジェクトも作って、アクセスしてみて、終わったら削除してという感じのものです。 #!/bin/bash UNIQ=$(date +'%Y%m%d%I%M%S') alias aws='aws --region ap-northeast-1' BUCKET_PREFIX=akeri-acl-test-$UNIQ- TARGET_PRINCIPAL="arn:aws:iam::123456789012:user/s3acltest" TARGET_MAIL="[email protected]" # create Bucket Policy Document UPLOADFILE=akeridayo.txt IAM_USERNAME=s3acltest echo "akeridayo" > $UPLO

2015-03-16 AWS(Amazon Web Services)技術資料メモ(2015年3月版) 2015年3月版に更新。 技術資料はココにあるんだけど、散らかってるのでまとめてみた。全体的に資料の日付をチェックした方がいいかも。資料公開からアップデートがある場合も。あとどの資料も最初に概要入っててごめんなさい。 概要的なやつ スタートアップならおさえておきたいAWS入門サービス概要と基礎知識編 スタートアップならおさえておきたいAWS入門サービス概要と基礎知識編 from Hiroshi Takayama →つまづきやすいポイントや不安点など WebサービスStartUP向け AWSスケーラブルな構成例 WebサービスStartUP向け AWSスケーラブルな構成例 from Amazon Web Services Japan →構成例・代表的なサービスの一言紹介・課金関連・サポ

こんにちは。CYBIRDエンジニア Advent Calendar 9日目のgucchonです。 新卒2年目、webエンジニアです。 8日目はkeitarouさんのGitHubをもっと便利にするためのChrome拡張とかでした。 全くGitHub使えてなかったんだな…と身にしみる内容でした。お恥ずかしながら… 本日の内容 「サーバ費、もっと下がらない？」 なかなか聞きたくない言葉ですね。サービスを継続させていく上では当然コスト面をしっかり考えて運用をしていかなくてはいけないのですが、まぁ正直めんd...少しばかり手間です。ただ、AWSならある程度簡単にコスト管理ができて、対応策も用意されているので助かりますね。それでも誰もやりたがらないけど(ﾎﾞｿｯ ということで、コストを下げろと言われてしまったとき、CYBIRDのコストカッター、gucchonがまずやっていることをご紹介したいと思います

ノードのサイズを大きくする事で可能となるカーソルの数も増やせる様になり、クエリの同時実行についてもより大きなレベルで実行出来るようになります。もしワークブックから直接Redshiftに接続しているのであれば、Redshiftは十分な計算リソースとメモリ容量、更には十分なストレージ容量の結果を備えるようになり、結果としてクエリパフォーマンスの向上ときびきびとしたユーザーエクスペリエンスに繋がります。 クラスタののサイズをどのような内容にするのかについては、求めるワークブックの更新スピードとDWHに対するクエリの接続数を考慮して決定する事になります。もし多くのワークブックを同時に更新し、多くのユーザーが同時にクエリ接続を行える形を望むのであれば、高キャパシティのものを選びましょう。 データの暗号化 - 暗号化は慎重に 機密データを含む環境・ケースの場合、ディスクに格納されているデータの暗号化が