こんにちわ がじぇったー (@hackmylife7) | Twitter です。 結構ハマったのでEC2インスタンスからRDSへPostgreSQLのデータを移行する手順を書き残しておきます。 作業環境 移行元 EC2(CentOS6) PostgreSQL 9.4.5 EC2(CentOS7 管理用サーバ) 移行先 RDS PostgreSQL 9.5.2 作業環境 前提 TL;DR(要約) PostgreSQLのローカルインストール RDSにDBとUser(Role)の作成 移行元サーバの環境に合わせDBの作成 移行元サーバの環境に合わせUser(Role)の作成 作成したDBの権限変更 移行元のPostgre DBのDump処理 RDSへリストア処理 参考 初心者にお勧めのAWS本 前提 PostgreSQLのデータ移行はpg_dumpallでまるっとdumpファイルを作成するのが

ECSを触っていて今まで難しいと思ったことを雑にまとめておく。 ECSを仕事で運用するときに必要な知識が多すぎる。こんなの社内に1人AWSマスターいないと無理だ...— 神速 (@sinsoku_listy) 2021年8月10日 タスクロールとタスク実行ロールの違い ECSを長く触っているのに、いつも混乱する。 タスクロール コンテナ内の権限 S3やSESなどの権限をつける タスク実行ロール コンテナ外の権限 ECRやParameter Storeの権限をつける ECSのデプロイ時に静的ファイルが404になる ECSを触った初期に遭遇した。 詳細は以下のQiitaの記事が分かりやすい。 参照: ECSのデプロイ時に一定確率で静的ファイルが404になる問題を回避する 回避する方法はいくつかある。 静的ファイルをS3に置く CodeDeployの OneAtATime を使う CodeDep

はじめに 当エントリはDevelopers.IOで弊社AWSチームによる『AWS サービス別 再入門アドベントカレンダー 2015』の19日目のエントリです。昨日18日目のエントリはFujimuraの『AWS Lambda』でした。 このアドベントカレンダーの企画は、普段AWSサービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 本日19日目のテーマは『Amazon CloudWatch』です。 Amazon CloudWatchとは モニタリングサービス CloudWatchは、AWSリソースとAWSで実行するアプリケーションのモニタリングサービスです。各種AWSサービスのメトリックスやログファイルを収集、モニタリングしアラームを設定出来ます。 対応す

こんにちは、臼田です。 今回はAWS WAFの神アップデートであるManaged Ruleを利用して、Wordpressの脆弱性に対する攻撃を防いでみたいと思います。 WAFマネージドルールって何？ 今回発表されたAWS WAFの新機能で、下記に速報があります。 【速報】AWS WAFがサードパーティーのマネージドルールに対応しました！ #reinvent そもそもWAFマネージドルールって何がいいの？ マネージドルールがこれまでのAWS WAFのルールより優れている点は大きく2つあります。 ルールを自分で管理しなくていい これまでAWS WAFでは、攻撃に対する防御に利用するルールは自分で作成する必要性がありました。 例えば防御したいサイトに対して、SQLインジェクションの防御用のコンディションを作成し、コンディションにフィルターを追加し、コンディションをルールに適用して利用します。 こ

data "aws_caller_identity" "current" {} output "account_id" { value = data.aws_caller_identity.current.account_id } 若干補足しておくと、 "${}" 自体が廃止されたわけではなく、今でも文字列の中に変数を埋め込む場合には必要ですが、式が変数の参照しか含まない場合は不要で、v0.13.4以降は冗長な書き方は警告が出ます。ちなみにv0.14のfmtはもう一歩踏み込んで、この書き方を自動で修正するようになりました。古いサンプルコードを雑にコピペできるようになってべんり。 Terraformではなく汎用的なHCLそのものの仕様を調べたいときは、 hashicorp/hcl にありますが、本稿執筆時点ではデフォルトのmasterブランチはまだHCL1であることに注意して下さい。 HCL

HashiCorp社が提供するTerraformは、マルチクラウド上のコンピュータやネットワークの構築を自動化する、エンジニアにとても人気のあるツールです。 Terraformをご存じなかった方にも、その「成り立ち」と「何を目指しているのか」についてご理解いただけるよう、今回は「5分で分かるTerraform（Infrastructure as Code※1）」と題した記事を日本語訳してお届けします。著者のMehdi ZedはモントリオールでDevOpsバックエンド開発に携わっており、DevOpsについてSNSで積極的に発信しています。その発信内容は非常に分かりやすく、今回の記事についても本人の了解を得て日本語化しました。 ※1 インフラの構築・運用に関わる作業をコード化、自動化するアプローチ。設定変更作業をコードで管理することで手作業による間違いを防ぎ、設定変更を履歴として管理できる。ま

○：標準で使えます　×：標準で使えません 補足 1.リソース監視の監視項目 CloudWatchはデフォルトでメモリー使用率やディスク使用量、ロードアベレージがないので必要であればカスタムメトリクスとして追加する必要があります。監視項目は以下のページをご覧ください。 [CloudWatch]グラフの確認方法と確認できるグラフ一覧(EC2/ELB/RDS) Zabbixエージェント - Zabbixオフィシャル日本語サイト 2.Zabbixからフルマネージドサービスを監視 ZabbixではRDSやELBのリソースを監視する機能はありません。Zabbixでフルマネージドサービスを監視したい場合はCloudWatchから値を取得するスクリプトを実装する必要があります。 ZabbixでAWS/CloudWatchの値を取得してみた 3.カスタムメトリクスを使えば可能 カスタムメトリクスの追加方法は

1人では大変だなあ――クラウド上で安全なネットワークを構築・管理するために必要な基礎知識：親子の会話から学ぶクラウドセキュリティ（2） 親子の会話で出てくるような素朴な疑問点から、クラウド環境における情報セキュリティの技術を学習する連載。今回は、クラウド上で安全なネットワークを構築・管理するために必要な基礎知識について。

AWS SDK for PHPを使ってVPC内にEC2インスタンスを作成するサンプルプログラムが見当たらなかったので作成 固定のプライベートIPを持ったインスタンスをVPC内に作成 ElasticIPを取得してインスタンスに紐付ける この本のサンプルをVPC用に書きなおしただけです。 Amazon Web Services ガイドブック クラウドでWebサービスを作ろう！ 作者: Jeff Barr,玉川憲,株式会社クイープ出版社/メーカー: インプレスジャパン発売日: 2011/02/18メディア: 単行本（ソフトカバー）購入: 10人 クリック: 240回この商品を含むブログ (17件) を見る ソースコード #!/usr/bin/php <?php error_reporting(E_ALL); require_once('AWSSDKforPHP/sdk.class.php');

AWS障害、“マルチAZ”なら大丈夫だったのか？　インフラエンジニアたちはどう捉えたか、生の声で分かった「実情」（1/3 ページ） 8月23日に起きたクラウドサービス「AWS」（Amazon Web Services）の東京リージョンでの障害は、国内のさまざまなサービスに影響を及ぼした。 AWSが同日午後8時ごろに復旧するまで、モバイル決済サービス「PayPay」や、仮想通貨取引所「Zaif」、オンラインゲーム「アズールレーン」などで利用できない、もしくは利用しづらい状況が続いた。PCショップの「ドスパラ」はECサイトの不具合が長引き、翌日の24日には実店舗を臨時休業して対応に当たっていた。 AWSという1つのサービス障害が起きただけで、多くの企業やサービスに影響を及ぼしたため、「クラウドサービスはもろい」という論調も散見された。 しかし、インフラエンジニアたちからは違う意見が聞こえてくる

概要 2019年8月23日 13時頃からAWS EC2の接続ができなくなる障害が発生しました。 このような大規模障害は滅多にないので、障害の情報収拾する際に「どこみりゃいいんだ？」となるので、この機会にまとめることにしました。 この記事ではAWSで障害が発生した場合に確認するページやサイトをまとめます。 公式情報 公式の情報は正確性はあるものの、速報性には欠けます。 そのため、後述する非公式情報と並行して確認する必要があります。 公式情報からは、下記2つの情報が得られます。 何がなぜ障害に繋がっているのか いつ復旧する見込みなのか この情報から、障害を回避するための方法や、自サービスの復旧見込みのアナウンス*1に役立てることができます AWSサービス全体の障害情報 AWSサービス全体の障害情報はAWS Service Health Dashboardで確認することができます。 status

みなさん、こんにちは。GS2 の丹羽です。 今日は大事件が起こりました。Twittetなどでも話題になったので皆さん知っているのではないかと思います。 japanese.engadget.com こんなブログを見に来てる人ならみんな知ってると思いますが、AWSの東京リージョンには3カ所のデータセンターがあります。 そのうち1カ所のデータセンターが完全に利用できない状態になりました。 その影響で様々なゲームも影響を受けたようです。 gamebiz.jp なぜAZ障害が様々なサービスの障害につながったのか さて、なぜ今回のようにAZがダウンするとこのような大規模な障害が発生するのでしょうか。 1. シングルAZ サーバはどこかのデータセンターで動いていてるわけです。EC2を使ってサーバを起動するときにもどのAZに配置するかを選びます。 この時に、一つのAZに固めてサーバを配置していた。あるいは

AWS Startup ブログ 【週刊 Ask An Expert #17】AWS で Docker を使うときの選択肢は？先週の #AWSLoft で受けた質問10選 こんにちは、スタートアップ ソリューションアーキテクトの塚田 (Twitter: @akitsukada) です。好きな Chalice の機能は Built-in Authorizer です。 まず最初に、今回の週刊 Ask An Expert では Docker コンテナに関する質問が多く、皆さんの関心が伺える週となりました。そんなみなさんにイチオシのイベント情報は AWS Containers talk with Mercari です！↓ メルカリさんにおける AWS のコンテナサービス活用事例が気になる方は、ぜひ ↑ から申し込んでください！ さて、ではここから週刊 Ask An Expert 第 17 回目をお届

冷やし中華の季節になりましたので、Kubernetesをはじめました。もとい、はじめてしまいました。 前回のECSシリーズに比べると、だいぶ世界が広いシステムであり、１つのシリーズとしてまとめるとか、全部終わってから書き始めるとか、どうにもできそうになかったので少しずつ進めることにします。今回は、雑感とリンク集のみで、助走というか覚悟を決める回という位置づけになりやす。 これまでの率直な感想 触り始める前の僕 Kubernetesの情報がやけに目につくけど、なんか煽り感が強くて気に食わん…… ていうかクラウド界の「Linux」ってなんやねん俺は騙されんぞ！なんかイケ好かないシステムくさいな！！ 数日間、情報収集した僕 このクラウド全盛期に、なんでいまさらクラウドの中にこんなプラットフォームを構築せなアカンねん、オンプレでやれ。 納得いく構成と構築まで頑張った僕 なんだかんだで手足のように動

AWS公式で「形で始めるサーバーレス設計」が紹介されています。この内容をご紹介するとともに、簡単ですがひとことコメントを載せました。 はじめに サーバーレス開発部の藤井元貴です。 サーバーレスな設計や開発は意外と難しいものです。特に「やりたいこと」が「サーバーレス」で実現できるのか？ を常に意識し続け、トライ・アンド・エラーを繰り返すことが重要です。 そこで、先日みつけた形で始めるサーバーレス設計をご紹介します。簡単ですが、ひとことコメントもあります。 上記の内容を知らなくとも、結果的に「あ、同じ構成（考え方）だ！」となる場合が多いです。 そのため、事前に知っておくことで手札を増やすことができ、より効率よくサーバーレスな設計を実現できると思います。 おすすめの方 サーバーレスに興味がある サーバーレスな設計を知りたい 形で始めるサーバーレス設計 下記となります！ 形で始めるサーバーレス設計

はじめに こんにちは、平野です。 AWS Lambdaがやっと使えるようになってきました。 私は新しい物事を理解しようと思った時、 「できるだけ最小限な構成から少しずつ要素を増やしていって、 そこから挙動を類推して確かめる」 というような調べ方でないとどうにも腑に落ちない性格のようなので、 そんな感じでLambdaも試行錯誤してみました。 Lambdaについては前から面白そうだと思いつつもなかなか手を出せずにいました。 事前の知識としては「あるイベントが起きたら、何らかのイベントを起こすもの」 ぐらいのふわっとした理解しかありませんでしたが、 私と同じ辺りの出発点からスタートする人の参考になればと思います。 最小限でLambdaを構成する ということで、できるだけ最小限の構成でLambdaを動かしてみます。 作るもの 以下のような動作で検証を行います。 究極的に最小限というわけでは無いです

大栗です。 Auroraは通常のRDS for MySQLと比べると元々障害時の復旧が速いのですが、高速フェイルオーバーという2〜3秒でフェイルオーバーができる機能があります。ただし専用のドライバ（MariaDB Connector/Jなど）を利用することが一般的です。先日MySQL用のプロキシサーバであるProxySQLがv2にバージョンアップして、Auroraの高速フェイルオーバーに対応したのでご紹介します。 Releases · sysown/proxysql · GitHub v2.0.2 Auroraのフェイルオーバー Auroraはシステム変数のinnodb_read_onlyの値によって、WriterかReaderのロールを判断できます。そのためinnodb_read_onlyを定期的に確認してクエリをWriterにルーティングすることで高速にフェイルオーバーができます。Au

9. 収集 処理 分析 保存 データ収集と 保存 データ処理イベント処理 データ分析 データ 答え 分析前の前処理等、 いわゆるETL （抽出、変換、挿 入 ）的な処理 各サーバや、サー ビスからのログを 収集する ログに対して各種 分析をかける 収集したログを サーバやデータス トアに保存する 10. Amazon S3 Amazon Kinesis (Streams, Firehose) Amazon DynamoDB Amazon RDS (Aurora) AWS Lambda KCL Apps Amazon EMR Amazon Redshift Amazon Machine Learning 収集 処理 分析 保存 データ収集と 保存 データ処理イベント処理 データ分析 データ 答え Amazon Athena

こんにちは、菊池です。 本日は、ドイツ・ベルリンで開催中のAWS Summit Berlin 2019に参加しています。 本記事は、「Microservices on AWS: Architectural Patterns and Best Practices」のレポートです。 レベル400と、Expert向けの内容ということでしたが、立ち見も入りきれない程の超人気セッションでした。 セッション概要 Microservices are an architectural and organizational approach to software development where software is composed of small independent services that communicate over well-defined APIs. Microservices

このシリーズ記事は、アマゾン ウェブ サービス (AWS) エキスパートが Microsoft Azure のアカウント、プラットフォーム、およびサービスの基本を理解するために役立ちます。 これらの記事では、AWS と Azure の主要な類似点と相違点についても説明しています。 これらの記事では、次について説明します。 Azure でアカウントとリソースがどのように構成されているか。 Azure でソリューションがどのように構造化されているか。 主要な Azure サービスが AWS サービスとどのように異なっているか。 さまざまなテクノロジ カテゴリで同等のサービスをすばやく見つけるには、「AWS サービスと Azure サービスの比較」を参照してください。 類似点と相違点 AWS と同じように、Microsoft Azure も、コンピューティング、ストレージ、データベース、およびネ