Amazon RDSをAuroraにできるだけ簡単に移行&メジャーアップグレードしてみた ~RDS MySQL 5.7からAurora MySQL 8.0への移行を例に~ Amazon RDS のMySQL 5.7やPostgreSQl 11が2024年2月末に標準サポートを終了するのに伴い、RDS延長サポート費用を支払って継続利用するか、メジャーアップグレードする選択が迫られています。 今回の標準サポートを終了を期に、メジャーアップグレードだけでなくRDSからAuroraへの移行、具体的には、RDS MySQL 5.7から Aurora MySQL 8.0への移行を支援する機会がありましたので、共有します。 PostgreSQLでも同様のことが成り立つかと思います。 なお、本記事では、RDSとAuroraの対比がわかりやすいように "Amazon RDS for MySQL 5.7"を"

2020年9月8日から9月30日までオンラインで視聴可能なクラウドカンファレンス、AWS Summit Online 2020が開催中です！ 本エントリでは、ライブセッション「AWS-42：AWS で始める機械学習」のレポートをお届けします。 概要 スピーカー アマゾン ウェブ サービス ジャパン株式会社 技術統括本部 西日本ソリューション部 ソリューションアーキテクト 桶谷 拓也氏 セッション概要 機械学習（ML）は、デジタルトランスフォーメーションでますます普及しています。ほとんどの皆さんは AI / ML を活用して競争上の優位性を獲得することの重要性を理解していますが、必ずしもどこから始めればよいかを理解できているわけではありません。本セッションでは AWS を使うことでどのように機械学習を学べるのか、どのように機械学習を始めれるのかをご紹介します。 動画・資料 アーカイブ動画と資

Amazon CloudFrontではこれまでも国コードをカスタムヘッダで取得可能でしたが、さらに国名や都市名、郵便番号やタイムゾーン、緯度経度などの情報を取得できるようになりました。実際にディストリビューションを作成して確認してみます。 はじめに 清水です。AWSが提供する高速・高パフォーマンスなコンテンツ配信サービス(CDN)であるAmazon CloudFront、これまでもカスタムヘッダによりアクセス元の国コードを取得することが可能でしたが、（[新機能] Amazon CloudFrontがジオターゲティングに対応しました | Developers.IO）今回さらに、都市名や郵便番号、タイムゾーンといったより詳細なロケーションに関する情報がカスタムヘッダにより取得できるようになりました。（2020/07/24にポストされたアップデート内容になります。） Amazon CloudFr

Amazon.com, Inc.の関連会社であるアマゾン ウェブ サービス ジャパン株式会社は、本日、株式会社ソニー・ミュージックエンタテインメント（以下、SME）が、音楽権利情報処理を容易かつ効率的に行うためのシステム基盤にアマゾン ウェブ サービス（以下、AWS）の、Amazon Managed Blockchainを採用することを発表しました。 昨今、楽曲などの様々なデジタルコンテンツを作成するツールが安価に手に入ることや、それらを発表できるインターネット環境が整備されたことから、誰でもコンテンツを創作、販売できるようになりました。それに伴い、クリエイターの活動の幅が広がり、コンテンツの権利処理業務に大きなリソースが割かれ、生産性の低下を招き、コンテンツ創作が阻害されている状況が生まれています。 SMEは、音楽クリエイティブの生産性向上に貢献することを目指し、クリエイターにとって重要

大栗です。 先程EC2のドキュメントのDocument Historyを眺めていたらAutomate snapshot lifecycleというFeatureが有りました。何やら新機能みたいなので調べていたら、EBSスナップショットの世代管理などをやってくれるサービスが登場した模様です！早速レポートします。 Automating the Amazon EBS Snapshot Lifecycle Amazon DLM Amazon Data Lifecycle Manager (Amazon DLM)を使用するとEBSのバックアップであるスナップショットの作成、保存、削除を自動化できます。 定時バックアップをスケジュールして貴重なデータを保護します。 監査人または社内のコンプライアンスが要求する期間バックアップを保持できます。 古いバックアップを削除してストレージコストを削減します。 Am

ご機嫌いかがでしょうか、豊崎です。 注意喚起記事です。一部のS3利用者に影響が出ることなので、是非ご確認、および対象の方はご対応いただければと思います。 具体的に何のことかというと、Amazon S3のAWS署名バーション２の廃止についてです。 弊社suzukiがすでに記事を書いていますが、Amazon S3のAWS署名バーション２が2019年6月24日に廃止されます。これは、より安全にAWSおよびS3を利用できるようにするために署名バージョンの変更が行われるためです。 これによって一部のAWSユーザのS3の利用に影響が出ます。 署名バージョン4専用のS3エンドポイントを古いCLIで試してみた AWSの各サービスのAPIを利用する際、AWSが送信元を特定できるようにリクエストに署名が必要です。現在AWSのAPIで利用されている署名バーションは「２」と「４」の２種類あり、「４」が推奨されてい

やりたいこと（ユースケース）から利用パターンへ到達できるように、ユースケース主導で紹介。利用するサービスのすべての機能をを覚えなくてもやりたいこと/部分からスタートできます。実際、類似するアーキテクチャの実例が多くあることがわかります。 パターン別のテンプレートから始めてみよう!  チュートリアルで体感しよう! - いくつかのパターンはテンプレート/雛形から始めることができます。それぞれのパターンの「Template」「Sample」「Solution」のリンク先を参照ください。 - 実際に作って動かせるチュートリアルに「Tutorial」「Workshop」リンクからアクセスできます。ちょっとしたトライに費用が気にならないのもサーバーレスの良いところ。 - 各パターンの特性に合わせたエラーハンドリングの記事を拡充中。それぞれのパターンの「エラーハンドリング」リンクからご確認ください。 -

ども、大瀧です。みなさん、EC2をバリバリ使ってますか?使いたいときにすぐ使える仮想マシンとして、開発・検証から本番まで幅広く活用されていると思います。 日頃EC2を業務で運用する中で、EC2インスタンスをコピーすると意図しない環境設定に変わってしまうというトラブルが度々あり、cloud-initというツールに拠ることがわかってきました。 「EC2インスタンスのコピーなんて、一旦インスタンスを作成したあとはあまりやらないのでは?」と思われがちですが、EC2独特の制限などもあり、実際の運用では思ったよりも頻繁にインスタンスのコピーが必要になります。インスタンスのバックアップ&リストアなどはイメージしやすいと思いますが、それ以外にも意外なケースとして以下があります *1。インスタンスのコピーは、AMI(Amazon Machine Image:インスタンスのバックアップ)を取得し、新規インスタ

「Amazon Web Services 業務システム設計・移行ガイド」を読み終えました(ざっくり一通り目を通しました)。 Amazon Web Services 業務システム設計・移行ガイド (Informatics&IDEA) 作者: 佐々木拓郎,林晋一郎,瀬戸島敏宏,宮川亮,金澤圭 出版社/メーカー: SBクリエイティブ 発売日: 2018/01/20 メディア: 単行本 この商品を含むブログ (1件) を見る 一通り目を通して理解するというものではなく、AWSに少し触れてきた人が、新たなAWSの設計をする機会に直面した場合、改めて設計する上でのポイントを思い出すために見直すというのが本書の活用方法だと思います。 一応目を通して新たな発見があったところに付箋はつけておいたので、またしばらくしたら見返してみたいと思います。 余談 いわゆる「釣り」気味にタイトルを付けるなら「『Amazo

Amazon Web Services ブログ Amazon RDS for MySQLの delayed replicationで障害から復旧を行う Amazon RDS for MySQLでdelayed replicationをサポートしました。これにより、レプリカデータベースがソースデータベースより遅延する期間を設定できます。標準のMySQLレプリケーション設定では、ソースとレプリカの間の遅延が最小限に抑えられています。今回のアップデートで意図的な遅延を導入するオプションを選べるようになりました。 遅延は、人為的なエラーから復旧させる必要がある場合に非常に役立ちます。たとえば、誤ってプライマリデータベースからテーブルを削除した場合、レプリカで同じクエリを実行する必要はありません。テーブルが削除される直前でレプリケーションを停止し、レプリカをスタンドアロンインスタンスに昇格させること

Amazon EC2 Auto Scalingを利用すると、需要に合わせてEC2の台数を増減できます。 これにより、コストとパフォーマンスのバランスをとれます。 Auto Scalingは素晴らしい機能ですが、よく理解して利用する必要があります。 Auto Scalingの基本的な内容と、マスターEC2を使ったAuto Scalingの運用方法をご紹介します。 Auto Scalingを構成する要素 Auto Scaling グループ Auto Scaling グループは、Auto Scalingの管理単位です。 グループを作成する際に、EC2の最小数、最大数、希望する数を指定します。 EC2の最小数と最大数の間で、インスタンス数が増減または維持されます。 ヘルスチェックのタイプ Auto Scalingは起動したインスタンスに対して、定期的なヘルスチェックを実行します。 インスタンスが正

先日 AWS 認定ソリューションアーキテクト アソシエイト を受けてきました。結果は無事に合格することができました！ AWS 認定ソリューションアーキテクト – アソシエイト リザルトはこんな感じでした。 総合評点： 85% トピックレベルスコアリング： 1.0  Designing highly available, cost-efficient, fault-tolerant, scalable systems: 84% 2.0  Implementation/Deployment: 66% 3.0  Data Security: 90% 4.0  Troubleshooting: 100% 65% 以上で合格という噂があるので余裕を持って合格できたかなと思います。 (模擬試験では総合評点 70% だった) 少し苦手意識があった Data Security が 90% 取れたのでよかっ

簡単に言うと、上限値に達したので新規追加できないよってことみたいですね。 そんな時はAmazonに追加申請をすれば良いということで、 マネジメントコンソールにログインして、AWS固定IP追加申請へ遷移する。 各項目に以下を設定 CC　：　メールアドレス 内容：　サービス制限の増加 制限タイプ　：　Elastic IPs リージョン：固定IP追加したいリージョンを選択 制限：Elastic IPアドレス上限 新しい制限値：任意 リクエスト２ →特に設定なし 申請理由の説明　： 簡易な説明でOK 連絡方法　：　WEB この内容で送信！ 以上で申請が完了しているので、結果を待ちましょう。 ※以下追記 申請して30分くらいしたらメールで申請通ったよというメールが来ました！ メールの内容ですが、 東京リージョンはデフォルトVPCが有効となっておりましたので、ClassicではなくVPCタイプのEla

普段 AWS CLI を使うことはそんなにないんですが、S3 コマンドだけはよく使うのでまとめました。といっても全てではなく、ファイルやディレクトリ操作に関する部分です。 基本コマンド AWS CLI の S3 コマンドは以下の形式で実行します。 aws s3 <Command> [<Arg> ...] 基本的に Arg の箇所はパスを入力することになるのですが、ローカルのパスは「ローカルファイルまたはディレクトリの絶対パスまたは相対パス」、S3のパスは「s3://<bucket>/<prefix>/<object>」となります。prefix とはディレクトリやフォルダのイメージです。 Command Description cp オブジェクトのコピー ls オブジェクトの一覧 mb S3バケットの作成 mv オブジェクトの移動 rb S3バケットの削除 rm オブジェクトの削除 sync

日本にいます西澤です。ついに東京リージョンにやってきたAuroraに加えて、MariaDBもRDSで利用が可能となりました！ちょっと選択肢が増えすぎて違いがわからなくなってきたので、情報を整理してみたいと思います。 ついに！Amazon Auroraが東京リージョンに来ました！ #reinvent 【速報】Amazon RDSが新たに「MariaDB」に対応しました！ #reinvent MariaDB on Amazon RDSを触ってみた #reinvent RDS for MariaDBへのレプリケーション #reinvent Specify DB Details Launch時に指定する項目から、違いがあるところだけ整理していきます。Aurora、MariaDBもt2インスタンス等で検証ができるようになると良いですね。特筆すべきは、Auroraの可用性(自動復旧するし、ディスクは自

あるシステムを、1人のユーザから1100万人以上にスケーリングするにはどのようにすれば良いのでしょうか。Amazonのウェブサービスソリューションアーキテクトである Joel Williams が AWS re: Invent 2015 Scaling Up to Your First 10 Million Users でスケーリング方法について素晴らしいプレゼンをしています。 AWS上級者のユーザには適さないプレゼンですが、AWS初心者やクラウド初心者、Amazonが次々と送り出す新機能の流れについていけていない人が始めるには素晴らしい内容だと思います。 おおよその見当は付いていると思いますが、このプレゼンはAmazonによって提供されているため、どの問題についても解決策として提案されているものは全てAmazonのサービスになります。amazonのプラットフォームの役割は、印象深く、分か

今回は、まだ全然底が見えていないAuroraのガチンコ検証となります。公式資料に、発表当初の簡単な検証数値もありますが、自分でやらないと理解できない部分が多くあるためです。 既にAuroraにするだけで従来より速くなる説は有力ですが、なぜ速くなるのか、どのような点に注意を払って運用すべきなのか、といったことを理解するために、より局所的な検証をいくつか行って考察していきたいと思います。 目次 楽しい検証になって長くなりましたので、目次を置いておきます。 はじめに クエリのレスポンスタイム クエリキャッシュ CPU利用率とIOPSの性質 データ容量とストレージ性能の関係 インスタンスタイプとストレージ性能の関係 運用面の色々 何がボトルネックになるか はじめに いくつか前提的なものを。 ベンチマークは全て、sysbench を使ってテストデータ作成・ランダム参照／更新クエリを実行しています デ

詳しくはAWSのブログを見ると良いですが、Route53にDNSフェイルオーバー機能が追加されたとのことなので、早速自分のサイトに設定してみました。 ちなみにこの機能で出来ることは、簡単に言えば、Route53で設定したヘルスチェックに従ってサーバを監視し、監視リクエストが失敗した場合は自動的に他のサイトに転送することが出来ます。ちなみにロードバランサーではないので、あくまでヘルスチェックの結果を受けてDNSの正引き結果が変わります。あふれたアクセスだけをバックアップサイトに転送するといった用途には使えません。 設定の手順は簡単です。 Health Checkの設定まず、Route53の画面に入って、左のNavigationから、「Health Checks」を選択します。 ここで、監視対象を設定します。 今回はhttpで監視をおこないます。対象サーバのIPアドレスとホスト名、そして監視対

By Zlatko Unger ウェブサービスに登録したアカウントを守るために、自動生成パスワードや2段階認証を使うといった方法を用いることが多いものですが、時には思いもよらぬところが抜け穴になってしまうこともあるようです。Amazonのサービスを利用していた「Eric」というユーザーは、自身のアカウント情報がAmazonの問い合わせ窓口であるカスタマーサービスを経由して流出していたことを突き止め、どれだけログイン情報のセキュリティを高めても、効果がない場合もあることを明らかにしています。 Amazon’s customer service backdoor — Hacker Daily — Medium https://medium.com/@espringe/amazon-s-customer-service-backdoor-be375b3428c4 ソフトウェアエンジニアのEric

はじめに こんにちは植木和樹です。オンプレで10年近くサーバーの保守運用をやっていた経験からいいますと、AWSの障害発生率は非常に低くて驚きます。数百台規模のサーバーを扱ってますと、毎日どこかでのサーバーでディスク、CPUファン、メモリーパリティエラーなんかの故障が起きていて日々対応に駆けまわってた覚えがあります。 さてAWSの障害発生率が低いといってもゼロというわけではありません。仮に0.1%だとしても1000日つまり3年運用していれば1回くらい障害に遭遇するものです。0.01%だったとしてもサーバーが1万台あれば1日1回なにかしらのトラブルに遭遇しても不思議ではありません。 トラブルに遭遇すると、当然サービスや処理に影響をきたしてしまうわけで早期の暫定処置と、その後に恒久的な対策が求められます。その時に重要なのは早く正しく原因を特定することです。トラブルシューティング力が重要です。 A