｜DMM inside

https://gamingtechnight.connpass.com/event/230933/

LayerX インボイス を開発しているDX事業部の @yyoshiki41（中川佳希）です。 DX事業部ではデータベースとして MySQL（Amazon Aurora）を利用しています。 今回のブログは、mysqlsh (MySQL Shell) を用いて、Dumpデータ取得とリストアを行う際に気をつける点です。 mysqldump, mysqlpump Dumpデータ取得を行う際に、広く知られているのが mysqldump かと思います。 MySQL 5.7.8 からは、 mysqlpump という別のクライアントツールも提供されるようになりました。 主に下記のような特徴があります。 並列での処理が行われる（Parallel） Dump Progress がみれる 圧縮方式は、LZ4 と ZLIB が使用可能（mysqlpump Ver 1.0.0 Distrib 5.7.35） TA

概要 こんにちは。クラウドワークス SREチームの@kangaechuです。最近好きなラジオ番組は空気階段の踊り場です。 企業にとってデータは非常に重要です。さまざまなデータを組み合わせて分析を行うことにより、ユーザをより深く知ることができ、それによりサービスやビジネスモデルを継続的に変革することが可能になります。 クラウドワークスでも同様に、施策やマーケティング、新サービスの開発など、さまざまな取り組みの源泉としてデータを活用しています。 crowdworks.jpではマスタデータベースにAWS RDSで稼働するMySQLを使用し、分析系のデータベースにはAmazon Redshiftを使用しています。Redshiftに同期されたテーブルは約270テーブル、レコードにして約30億件あり、1か月に1.5億件のレコードが同期されています。 今回はMySQLからRedshiftへの同期の仕組み

日本MySQLユーザ会(MyNA会) 2021年07月 -下位レイヤ勉強会- での発表資料です。

技術本部 サービスリライアビリティグループ（SRG）の長谷川 @rarirureluis です。 #SRG（Service Reliability Group）は、主に弊社メディアサービスのインフラ周りを横断的にサポートしており、既存サービスの改善や新規立ち上げ、OSS貢献などを行っているグループです。 また Amazon Aurora MySQL（以下：Aurora MySQL）の話です。何でこんなに Aurora MySQL に関する記事ばっか書いてるのか僕も分かりません。 前回の Aurora MySQL のアップグレード方法のベストプラクティスはこちらです。 RDS Graviton2 に少ないリスクで切り替える方法を考えてみる【アップグレード編】 | CyberAgent Developers Blog 今回はバックアップについてです。 そのクラスター、間違ったクエリ流したときに

AWS、Graviton 2ベースのAmazon Aurora正式サービス開始。最大で35％の価格性能比が向上と Amazon Web Services（AWS）は、同社が開発したARMベースのプロセッサ「Graviton 2」を採用したマネージドなデータベースサービス「Amazon Aurora MySQL」と「Amazon Aurora PostgreSQL」が、正式サービスとして提供開始されたことを発表しました。 x86サーバより40％価格性能比が高いと主張 「Graviton2」はAWSがクラウドで利用するために独自開発したARMベースのプロセッサです。 初代の「Graviton」はre:Invent 2018で発表され、翌年のre:Invent 2019では早くも二代目の「Graviton2」が登場しました。 Graviton 2では、7nmルールで製造された64ビットのArm

Amazon Aurora supports in-place upgrades from MySQL 5.6 to 5.7 Starting today, you can perform an in-place upgrade of your Amazon Aurora database cluster from MySQL major version 5.6 to 5.7. Instead of backing up and restoring the database to the new version, you can upgrade with just a few clicks in the Amazon RDS Management Console or by using the AWS SDK or CLI. Aurora MySQL 5.7 offers enhancem

AWS News Blog Amazon RDS Proxy for Scalable Serverless Applications – Now Generally Available At AWS re:Invent 2019, we launched the preview of Amazon RDS Proxy, a fully managed, highly available database proxy for Amazon Relational Database Service (RDS) that makes applications more scalable, more resilient to database failures, and more secure. Following the preview of MySQL engine, we extended

こちらの記事はRDS ProxyがGAされる前に執筆した記事です。現在はLambdaからRDSを利用する場合、間にRDS Proxyを挟むという選択肢が増えているので、まずはRDS Proxyを使う/使わないの検討をお願いします。以後で紹介しているトピックの一部はRDS Proxy利用時は考え方が変わってきます。 CX事業本部@大阪の岩田です。私が現在関わっているプロジェクトではLambda × RDSというアーキテクチャを採用して開発を進めています。開発を進める中でLambda × RDS(RDB)という構成についてある程度ノウハウが貯まってきたので、注意したいポイントやオススメの設定をTIPS的に紹介していきます。 環境 以後の説明では以下の環境の一部もしくは組み合わせを利用しています。具体的なコードやSQLの例はプログラミング言語やDBエンジンに依存しますが、根底の考え方はどの言語、

注釈 5.6系、5.7系ともにマイナーバージョンは最新版とします。つまり、5.6系と互換性のあるAurora MySQLのバージョンは1.*ですが、最新版である1.22.2についての記載になっています。同様に5.7系と互換性のあるAurora MySQLのバージョンは2.*ですが、最新版である2.08.0についての記載です。これより古いバージョンの場合、上記表の通りではない場合があります。 機能間で依存関係がある場合があります。その部分については記載していません。例えば並列クエリが有効になっている Aurora MySQL DB クラスターではパフォーマンスインサイトはサポートされていません。 特にマルチマスタークラスターには多くの制限があります。利用時には注意しましょう。[参考情報] 感想 Serverlessは使えない機能が多いですね。5.7系も以前は同様の印象だったのですが、昨年末に

IT 基盤部の石川です。 IT 基盤部ではオンプレ、パブリッククラウド問わず多くのインスタンスを管理していますが、その中で “Multi Instance” と呼んでいる独自のインスタンス管理方法があります。今回は、その Multi Instance とは何か、Multi Instance を使った MySQL サーバのコスト最適化方法を話します。ちなみに、この原稿は re:Invent 2019 へ行く飛行機の中で書いています。 Multi Instance とは Multi Instance とは、1 つのインスタンスに複数の IP アドレスを紐付け、あたかも複数のインスタンスのように振る舞うインスタンスのことを部内ではそう呼んでいます。Multi Instance の起源はオンプレ時代にさかのぼります。オンプレをメインで使用していた頃は、用途ごとに適切なスペックの機材をその都度調達す

CloudFormationがリソースのインポートに対応しました！ 個人的にはこの機能をすごく待っていました！ さっそく試してみたいと思います。 CloudFormation（以降、CFnと呼びます）がリソースのインポートに対応しました！ AWS CloudFormation Launches Resource Import New – Import Existing Resources into a CloudFormation Stack | AWS News Blog 個人的にはこの機能をすごく待っていました！ さっそく試してみたいと思います。 ちょっと長い前説 CFnスタックを削除した場合、CFnで作成したAWSリソースはすべて一緒に削除されます。 そのため、うっかり誤ってCFnスタックを削除してしまった場合、特にステートフルなサービス（RDS等）でやらかしてしまうと、中のデータも

こんにちは、IT基盤部の川原﨑です。 私の所属する第四グループでは、超大規模ゲームタイトルおよびゲームプラットフォームのインフラを運用しております。 そこでのAuroraの高速フェイルオーバーの仕組みと、実際に無停止で切り替えを行った手順について紹介させていただきます。 はじめに 第四グループでは、コストコントロールの一環でInstance数の増減・Instance Typeの変更を頻繁に実施しています。 例えば、 イベントなどでリクエスト増加が見込まれるときにInstance数を増やす、またはInstance Typeを1つ上のものに変更する リクエストが減少傾向にあれば、Instance数を減らす、またはInstance Typeを1つ下のものに変更する などです。 これはWebサーバだけにとどまらず、DBサーバについても同様です。 EC2上でMySQLを運用している環境では、フェイル

AWS Systems Manager セッションマネージャーに待望の機能（のひとつ）がやってきました！ Session Manager launches tunneling support for SSH and SCP サーバーにSSHしたり、ローカル・リモート間での SCP 越しのファイルの送受信も可能になりました。 更には SSH セッション越しにポート転送もできます。 ということで、さっそく試してみましょう！ リモートの準備 SSM エージェントをインストール SSH先サーバーに 2.3.672.0 以上の SSM エージェントがインストールされている必要があります。 古いエージェントがインストールされている場合、アップデートしてください。 Manually Install SSM Agent on Amazon EC2 Linux Instances - AWS Systems

こんにちは、メディア事業本部のエンジニアの@__timakin__ です。 僕が好きなGo言語は、先日バージョン1.11のリリースパーティも開かれ、wasmサポートやModules機能など、結構目新しさのある機能が足されることになりました。 で、その最新のGo界隈の話題の機能の一つとして、「Go Cloud」というものがあります。 github.com 先日のリリースパーティでも、@ymotongpooさんによってGo Cloudが紹介されていました。 docs.google.com Public Keyさんでもちょうど本日記事が公開されていました。 www.publickey1.jp Go公式のブログ告知にもあるとおり、Goのエコシステムがより良くなる過程で、多くの企業・機関で課題となった「マルチ（ハイブリッド）クラウド」へのデプロイという、ポータビリティの実現のためのAPIを提供するパ

Go言語チームとGoogleが「Go Cloud」プロジェクト発表。同一コードでAWSやGoogle Cloudなどに対応できるポータブルなクラウドアプリの実現へ Go言語チームとGoogleは、オープンソースの新プロジェクト「Go Cloud」を発表しました。 Go Cloudは、さまざまなクラウドの一般的な機能を共通のAPIで利用できるようにすることで、Go言語のソースコードを書き換えることなくポータブルなクラウドアプリケーションの実現を目指すというものです。 Go言語はGoogleが中心となってオープンソースで開発されているプログラミング言語で、シンプルにコードを記述できるため学習コストが小さく、タイプセーフかつメモリセーフにできているため安全なプログラムを記述しやすく、並列処理の記述も容易、コンパイルや実行が高速などの特長があります。 また、WindowsやmacOS、Linux、

AWS Summit 2016にてお話をさせていただいた、 AzureからAWSへの以降と、構成、チューニングに関する発表資料です。

What's New in MySQL 5.7 Optimizer @MySQL User Conference Tokyo 2015