こんにちは。リンクアンドモチベーション SRE グループの綿引と申します。 今回はRedashから別AWSアカウントのDBに対してアクセスできない際に確認するポイントをご紹介したいと思います。 ただ以下の背景の関係上 「Redashサーバが存在するAWSアカウントと参照したいDBが存在するAWSアカウントは VPCピアリングで接続されている 」 という前提で進めさせて頂きますので、その点はご容赦頂ければと思います。 背景 先日 「ある AWS アカウントの Redash から、別アカウントの Aurora に対しアクセスを可能にしたい」 という話があったので対応したのですが、このナレッジを残しておきたいと思ったことが背景となります。 尚、構成に関して次項に記載しているのですが、本記事を見て頂いている方の担当システムで全く同一の構成というケースは少ないかとは思いますのでご参考程度に見て頂けれ

こんにちは、AppBrewに業務委託で参加させてもらっているsnikiです。 本業ではヤフー株式会社でYahoo! JAPANアプリのバックエンド開発をやっています。 今回は、AWSのChatbot/Step Functions/CDK等を利用してAmazon Auroraをcloneするツールを作成したのでご紹介します。 背景 機能の説明 利用したAWSのサービスとシステム構成 この構成に至るまで slackのコマンドを受け付けるには cloneからmasking、instance class設定、通知まで Aurora Clone(Lambda) Aurora Masking(ECS) Modify Clone DB Instance Class(Lambda) Notify Slack(Lambda) 補足 なぜLamdaとECSが別れているのか インスタンスクラス変更のタスクは何？

Amazon Aurora PostgreSQL 互換エディションは、ラージオブジェクト (LO) モジュールをサポートするようになりました。LO モジュールは、ラージオブジェクト (LO や BLOB とも言われる) の管理をサポートします。 Amazon Aurora でサポートされるすべての PostgreSQL 拡張機能のデータベースバージョンごとのリストについては、AWS ユーザーガイドを参照してください。完全な機能のリストについては、機能ページを参照してください。Amazon Aurora がサポートされているすべてのリージョンについては、リージョンページを参照してください。 Amazon Aurora は、MySQL および PostgreSQL との完全な互換性を確保し、圧倒的な高パフォーマンスおよび可用性をグローバル規模で実現するよう設計されています。このサービスは、組み

Prismatixオペレーションチーム の高橋隆太です。 中途採用され本格的な業務は始まっていませんが、 業務についていくためにクラスメソッドの現場で活躍中の先輩エンジニアが執筆した「AWSの知識地図」を読みました!! 私の業務経験や知識としては以下になります。 広く浅くIT業務を４年ほど具体的には、ネットワーク構築やPHPのプログラミングやWEBサーバーの負荷テスト AWSの実務経験はほぼなしでプライベートで簡単にECSやRDSを利用して3層アーキテクチャを作成した 資格はCLFとSAAとDVA持ってるだけで実務はほぼない。。。。 本記事では簡単に概要と感想を紹介します? AWSの知識地図 読んで感じたこと 初学者の方に合わせた優しい内容で、最適な書籍と感じました。 主な理由としては3点あります。 前提知識と専門用語をしっかりと解説している どの章でもしっかりと前提知識を簡単に身につける

ベネッセ i-キャリアの小島です。 dodaキャンパスでは、AWS AthenaやQuickSightを利用して、日々データ分析活用を行っていますが、 今回は、Auroraを活用して、AWS Glueでデータ分析機能を構築しました。 その際に選定したアーキテクトとその理由を中心にお話させていただきたいと思います。 背景 dodaキャンパスでは現在、以下のサービスを用いてデータを取り扱っています。 DynamoDB サービスのデータ管理として利用 Athena SQLを用いたデータ分析に利用 QuickSight AthenaをデータソースとしたBIツールとして利用 今回、QuickSightで実行しているデータ分析のような機能を法人ユーザーにも提供することになりました。 要件は以下です 前日までの分析データのためデータの更新は1日1回でよい Readは大量かつ高速であることが求められる グ

こんにちは、株式会社カミナシのエンジニア @imu です。 はじめに 2021年11月に以下の開発者ブログを公開しました。 kaminashi-developer.hatenablog.jp α版として構築したインフラですが、2022年1月にインフラ移行の話が突如検討されました。 なぜ最終的にAWSへ移行になったのかと私が何を感じたのかをお話します！ 補足 完全移行したのはAPIサーバーです。クライアントアプリはCloudBuild + Firebase Hostingの環境が残った状態です。 移行後のAWS構成図はここでは共有していません。また別の機会に。 GCPを否定する記事ではありません。 本記事で様々なコメントを頂いておりますが、追加で補足をさせてください。 記事内の「私がGCPを選択した理由」で、私個人が勝手な意思決定をしてGCPを選択したように受け止められてしまう書き方でした。

https://gamingtechnight.connpass.com/event/230933/

LayerX インボイス を開発しているDX事業部の @yyoshiki41（中川佳希）です。 DX事業部ではデータベースとして MySQL（Amazon Aurora）を利用しています。 今回のブログは、mysqlsh (MySQL Shell) を用いて、Dumpデータ取得とリストアを行う際に気をつける点です。 mysqldump, mysqlpump Dumpデータ取得を行う際に、広く知られているのが mysqldump かと思います。 MySQL 5.7.8 からは、 mysqlpump という別のクライアントツールも提供されるようになりました。 主に下記のような特徴があります。 並列での処理が行われる（Parallel） Dump Progress がみれる 圧縮方式は、LZ4 と ZLIB が使用可能（mysqlpump Ver 1.0.0 Distrib 5.7.35） TA

[AWS Startup ゼミ] よくある課題を一気に解説！� 〜 御社の技術レベルがアップする 2021 秋期講習 〜

Amazon Auroraを活用したソーシャルゲームの複数ワールドデータ統合 / AWS Dev Day Online Japan

技術本部 サービスリライアビリティグループ（SRG）の長谷川 @rarirureluis です。 #SRG（Service Reliability Group）は、主に弊社メディアサービスのインフラ周りを横断的にサポートしており、既存サービスの改善や新規立ち上げ、OSS貢献などを行っているグループです。 また Amazon Aurora MySQL（以下：Aurora MySQL）の話です。何でこんなに Aurora MySQL に関する記事ばっか書いてるのか僕も分かりません。 前回の Aurora MySQL のアップグレード方法のベストプラクティスはこちらです。 RDS Graviton2 に少ないリスクで切り替える方法を考えてみる【アップグレード編】 | CyberAgent Developers Blog 今回はバックアップについてです。 そのクラスター、間違ったクエリ流したときに

はじめに 新サービスの AWS App Runner が発表されました、そして AWS Amplify Console が Next.js(バージョン 9 の機能をサポート)を使っての Server Side Rendering と Static Site Generate に対応しました。 https://aws.amazon.com/jp/blogs/aws/app-runner-from-code-to-scalable-secure-web-apps/ https://aws.amazon.com/jp/blogs/mobile/host-a-next-js-ssr-app-with-real-time-data-on-aws-amplify/ この 2 つのサービスを使うことでフロントエンドもバックエンドも VPC レスでスケーラビリティのある AWS アーキテクチャが実現可能に

概要 AI革命のインフラを目指すSaaS系スタートアップのFastLabel（最近資金調達しました！記事はこちら）で働いているが、今までGCPで動かしていたインフラを訳あってAWSに基盤を載せ替えることになった。 スタートアップは何よりスピードが求められるが、だからといってセキュリティやモニタリング、可用性を疎かにはできないし、大きなインフラコストに耐えられるほど体力もない。 アプリケーション要件を満たしつつ、以下を実現するアーキテクチャを設計する。 シンプルな構成・構築の容易さ スピーディな開発・適用 可用性の担保 セキュリティの担保 最低限のモニタリング 低コスト（リソース・運用） ここで紹介するアーキテクチャは実際に運用まで行っており、問題なく稼働しているし、先日AWSの方にレビューしてもらったが、「なかなかイケてる」というお言葉をもらい、特に改善点も指摘されなかった。 結論（アーキ

AWS、Graviton 2ベースのAmazon Aurora正式サービス開始。最大で35％の価格性能比が向上と Amazon Web Services（AWS）は、同社が開発したARMベースのプロセッサ「Graviton 2」を採用したマネージドなデータベースサービス「Amazon Aurora MySQL」と「Amazon Aurora PostgreSQL」が、正式サービスとして提供開始されたことを発表しました。 x86サーバより40％価格性能比が高いと主張 「Graviton2」はAWSがクラウドで利用するために独自開発したARMベースのプロセッサです。 初代の「Graviton」はre:Invent 2018で発表され、翌年のre:Invent 2019では早くも二代目の「Graviton2」が登場しました。 Graviton 2では、7nmルールで製造された64ビットのArm

Starting today, you can perform an in-place upgrade of your Amazon Aurora database cluster from MySQL major version 5.6 to 5.7. Instead of backing up and restoring the database to the new version, you can upgrade with just a few clicks in the Amazon RDS Management Console or by using the AWS SDK or CLI. Aurora MySQL 5.7 offers enhancements such as JSON support, spatial indexes, and generated colum

Amazon Web Servies（AWS）は、現在開催中のオンラインイベント「AWS re:Invent 2020」の2つ目の基調講演である「Partner Keynote」で、AWS上のSaaS構築を促進する「AWS SaaS Boost」を発表しました。 ソフトウェアベンダが自社のソフトウェアをSaaSとして提供するには、単にソフトウェアをクラウド上で実行するだけでなく、マルチテナント構成の実現、ユーザー向けポータルの構築、モニタリングシステムやダッシュボードの構築、課金管理、デプロイの自動化など、SaaSとしてのさまざまな周辺機能も用意しなければなりません。 AWS SaaS Boostは、AWSがこれまで蓄積してきたSaaS構築のノウハウやベストプラクティスが詰め込まれた、SaaSの見本となるフレームワークで、そのまま利用可能な参照環境（Reference Environmen

Amazon Web Services（AWS）は、オンラインで開催中の年次イベント「AWS re:Invent 2020」で、オンプレミスでAWSを利用可能なアプライアンスを小型化した「AWS Outposts」2機種を発表しました。 昨年発表したAWS Outpostsは、24インチ幅で高さ80インチのラック一杯にシステム一式が搭載された大型のシステムでした。 今回発表されたのは小型化され、高さが1.75インチ（1U）と.35インチ（2U）の2機種。 64vCPU、128GBメモリ、4TB NVMeストレージを搭載。1Uの方にはAWSが独自に開発したAWS Graviton 2プロセッサを搭載予定で、2Uの方はインテル製プロセッサが搭載予定。 どちらもAWSのマネージドサービスとして提供され、Amazon EC2、ECS、EKSワークロードなどに対応します。 筐体が小型化されたことで限

こんにちは、崔です。 Amazon Aurora Serverless v2 (Preview) が発表されました。 Aurora Serverless v2 とは Aurora Serverless v2 は、開発およびテスト環境、Webサイト、ワークロード頻度の低い、断続的、または予測できないアプリケーションだけでなく、大規模で高可用性を必要とする要求の厳しいビジネスクリティカルなアプリケーションまで、あらゆる種類のデータベースワークロードまでサポートするとのことです！！（これは期待大） また、キャパシティユニットも2倍ずつ増加するのではなく、きめ細かく対応できるとのこと。 早く、プレビューで検証してみたいですね！ さらに、既存の Aurora Serverless では、サポートされていなかった次の機能がサポートされ、高可用性が大幅に強化されるようです。 これにより、ミッションクリテ

ドキュメントの更新情報からの共有ですが、Amazon Aurora でデータ削除によるクラスターボリューム（ストレージ）の縮小が可能になったようです！ 以下、ドキュメント更新履歴からの情報です。 Amazon Aurora クラスターボリュームの縮小 ご存知のとおり Amazon Aurora のクラスターボリュームはデータ量に応じて動的に拡張されます。ボリュームサイズを指定する必要はありません。一方でボリュームサイズの縮小には対応していませんでした。（縮小は Aurora に限らず、他の RDS エンジンでも同じです） 例えば、一時的に大きなデータを格納するために 50 GB から 100 GB に拡張されたとします。その後、不要になったので 50 GB のデータを削除したとしても、拡張されたボリュームサイズは 50 GB に戻らず、100 GB のままになります。 具体的にいうと Vo

はじめに CTOの川口 (id:dmnlk) です。 5月にオンラインmeetupをさせて頂きその中で「具体的な負荷対策に関しては開発ブログで！」と言っていた件ですが気づいたらもう9月になりかけていました。 コロナ禍においてネットショップ作成サービス「BASE」の利用者様が急増しました。 www.nikkei.com 5 月には 100 万ショップを超えるショップオーナー様にご利用していただいております。 今まで EC 事業を行っていなかった飲食店様や様々な業種の方が利用をはじめていただき、ショップオーナー様も購入者様共に短期の見通しでは想定をしていないアクセスが発生しました。 その途中でシステムとして対応しきれない面もあり、アクセス負荷によるサービスの不安定を招き皆様にはご不便や販売時間を変更していただくお願いなどをしてしまい大変申し訳ありませんでした。 現在では安定しておりますが、その