ablog

不器用で落着きのない技術者のメモ

2020-10-01から1ヶ月間の記事一覧

RDS MySQL のスナップショットから Aurora クラスターを作成する

AWS

手順 RDS MySQL のスナップショットを取得する。 マネコンで RDS MySQL のスナップショットを選択、[アクション] - [スナップショットの移行] を選択。 ウイザードに従って入力すると、Aurora クラスターが作成される。 参考 Amazon RDS MySQL DB インスタン…

Aurora リードレプリカによる RDS MySQL から Aurora MySQL への移行

AWS

Aurora リードレプリカによる RDS MySQL から Aurora MySQL への移行手順。 手順 マネコンで RDS MySQL インスタンスを選択、[アクション] - [Aurora リードレプリカの作成] を選択。 RDS MySQL に対する書込みトランザクションを停止、Aurora リードレプリ…

MySQL で SQL スクリプトファイルを実行する

AWS

mysql がすでに稼働している場合は、source コマンドまたは \. コマンドを使用して SQL スクリプトファイルを実行できます。 mysql> source file_name mysql> \. file_name MySQL :: MySQL 5.6 リファレンスマニュアル :: 4.5.1.5 テキストファイルから SQL …

Amazon RDS の Performance Insights を参照するのに必要な権限

AWS

AmazonRDSFullAccess 管理ポリシー AmazonRDSFullAccess はすべての Amazon RDS API オペレーションへのアクセスを許可する AWS 管理ポリシーです。また、このポリシーは、Amazon SNS を使用するイベント通知などの、Amazon RDS コンソールで使用される関連…

Pgpool-II のログ出力設定

Pgpool-II のログ出力設定メモ。 設定 /etc/pgpool-II/pgpool.conf の設定 # - Where to log - log_destination = 'syslog' # Where to log # Valid values are combinations of stderr, # and syslog. Default to stderr. # - What to log - log_line_prefi…

AWS リージョンのレイテンシ

AWS

www.cloudping.co

Aurora のクラスターパラメータとDBパラメータグループ

AWS

原則として「DB パラメータG」の値が適用されており、DB パラメータGの値がデフォルトの際に「DB クラスターパラメータG」の値が適用されています。実験結果から、変更の順序に関係なく、DB パラメータGの設定値がデフォルトであることが基準であると考えら…

Amazon Provided DNS の制約

AWS

Packet per Second (PPS) per Network Interface Limit Each network interface in an Amazon VPC has a hard limit of 1024 packets that it can send to the Amazon Provided DNS server every second. Therefore, a computing resource on AWS that has a…

RDS でパラメータグループが "Incompatible-parameters" となった場合の対処法

AWS

RDS でパラメータグループが "Incompatible-parameters" となった場合、他のパラメータグループに変更できない。 パラメータグループを選択して「元に戻す(reset)」を選択して正常に戻してやる。 手順は下記 URL 参照 互換性のないパラメータ状態の Amazon…

Aurora PostgreSQL で pg_stat_statements ビューを参照できるようにする

Aurora PostgreSQL で pg_stat_statements ビューを参照できるようにする手順。 設定手順 RDS でパラメータグループを作成 パラメータグループファミリー: aurora-postgresql11 タイプ: DB Parameter Group 作成したパラメータグループで以下の通り設定 パラ…

MariaDB Connector/J で Failover パラメータで aurora を指定するとデフォルト値が変わるパラメータ

AWS

MariaDB Connector/J で Failover パラメータで aurora を指定すると、デフォルト値が socketTimeout が 10秒( aurora を指定しない場合は 0)、useBatchMultiSend が false(aurora を指定しない場合は true) に変わる。socketTimeout が 10秒なのはフェ…

RDS のデフォルトバージョン

AWS

新しい DB インスタンスを作成するときは、現在サポートされているいずれかの MySQL バージョンを指定できます。メジャーバージョン (MySQL 5.7 など) と、指定したメジャーバージョンでサポートされている任意のマイナーバージョンを指定できます。バージョ…

Aurora のフェイルオーバー

Q: フェイルオーバー中はどのようなことが起き、どのくらいの時間がかかりますか?フェイルオーバーは Amazon Aurora によって自動的に処理されるため、アプリケーションは管理上の手動介入なしで、可能な限り迅速にデータベースオペレーションを再開すること…

Aurora MySQL の DB パラメータグループと DB クラスターパラメータグループを比較してみた

AWS

Aurora MySQL の DB パラメータグループ(default.aurora-mysql5.7)と DB クラスターパラメータグループ(default.aurora-mysql5.7)を比較してみた。 $ aws rds describe-db-cluster-parameters --db-cluster-parameter-group-name default.aurora-mysql5.7|jq…

RDS MySQL と Aurora MySQL のパラメータグループを比較する

AWS

RDS MySQL(default.mysql5.7) と Aurora MySQL(default.aurora-mysql5.7) のパラメータグループを比較してみた。 $ aws rds describe-db-parameters --db-parameter-group-name default.mysql5.7|jq -r '.Parameters[]|@text "\(.ParameterName)"'|sort > de…

笑いのネタ帳

基本形 緊張と緩和と共感 天丼 前出のギャグを2度、3度と言うこと。使い方としては、一回目のギャグを言ってから、聞いてる人がそれを忘れたころ、関係ないところや、間違った意味でそのギャグをまた言うという。 すかし 引いて笑わせる笑いの技術。引きツッ…

AWS CLI で S3 からダウンロードする

AWS

AWS CLI で S3 からダウンロードしたメモ。 $ export LANG=C $ time dd if=/dev/urandom of=10gb.dat bs=1M count=10240 10240+0 records in 10240+0 records out 10737418240 bytes (11 GB) copied, 57.8513 s, 186 MB/s real 0m57.853s user 0m0.008s sys …

述本鬼三則

ロールは重要だが、お互いをカバーし合うことを忘れるな。 定期的にOLPを見直せ。 「期待しない」は避け、どんどん期待して、期待されたら全力で応えろ。 あわせて読みたい yohei-a.hatenablog.jp

MySQL の log_queries_not_using_indexes でインデックス未使用のクエリをログ出力する

MySQL で log_queries_not_using_indexes を 1 に設定すると、インデックスを使用しないログが出力される(デフォルトは 0 で無効)。 スロークエリーログは、実行に要した時間が long_query_time 秒を超え、 少なくとも min_examined_row_limit 行を検査す…

Redshift で VPC エンドポイント経由で S3 にアクセスする

AWS

Enhanced VPC Routing を有効にすると Redshift から S3 への COPY/UNLAOD を VPCエンドポイント経由になる。従って、VPCエンドポイントポリシーでアクセス可能な S3 バケットを絞ることが可能。 例えば、Redshiftをプライベートサブネットに配置、インター…

VPCEポリシーで Aurora PostgreSQL からエクスポート可能なS3バケットを絞る

AWS

Aurora PostgreSQL から S3 にエクスポートする際にVPCエンドポイントポリシーで出力先S3バケットを絞る。 特定のバケットにアクセスするようにエンドポイントポリシーが設定されているプライベート VPC 内にデータベースをセットアップすることをお勧めしま…

AWS Perspective の参考 URL

AWS

AWS Perspective のご紹介 AWS Perspective | 実装 | AWS ソリューション AWS Perspectiveを使ってリソースの構成図を可視化してみた。 - Qiita AWSがアーキテクチャ図を自動作成できるソリューション実装「AWS Perspective」を公開 - GIGAZINE AWS アーキテ…

RDS/Aurora PostgreSQL のログ保持期間とローテーション設定

AWS

RDS/Aurora PostgreSQL のログ保持期間とローテーション設定のパラメータは以下の通り。 ログの保持期間の設定 システムログの保持期間を設定するには、 rds.log_retention_period パラメータを使用します。rds.log_retention_period は、DB インスタンスに…

Aurora PostgreSQL のインスタンスクラス別のローカルストレージのサイズ

AWS

Aurora PostgreSQL のインスタンスクラス別のローカルストレージのサイズはドキュメントに以下の通り記載されている。 Aurora PostgreSQL 用の一時ストレージの制限Aurora PostgreSQL は、テーブルとインデックスを Aurora ストレージサブシステムに保存しま…

pcp_node_info 実行時に "username and/or password does not match" と怒られる

事象 $ pcp_node_info -v -h localhost -U pgpool -n 1 -w FATAL: authentication failed for user "pgpool" DETAIL: username and/or password does not match 原因 ~/.pcppass のパーミッションが適切でない場合も上記エラーになる。 解決策 パーミッショ…