AWS Summit Tokyo 2023 大薗さんの「AWS でミッションクリティカルなデータウェアハウスを構築する方法 (AWS-35)」が再利用性が高いが、よくどこに資料があるか見失うので、メモしておく。 Level 300: 中級者向け AWS でミッションクリティカルなデータウェ…

re:Invent に参加されていた AWS エンジニアのみなさま、おつかれさまでしたm(._.)m このエントリは AWS Analytics Advent Calendar 2024 の9日目の記事です。 8日目は 細かすぎて伝わらない Amazon Redshift のシステムテーブル／ビュー選手権: SYS_QUERY_H…

このエントリは AWS Analytics Advent Calendar 2024 の8日目の記事です。 7日目は AWS Japan の Analytics Specialist SA ヨータ・ハマオカの AWS上でIcebergテーブルを作成する方法についての検討メモ #iceberg - Qiita でした。SYS_QUERY_HISTORY に user…

AWS エンジニアの皆様、AWS サービスアップデートのキャッチアップおつかれさまですm(._.)m このエントリは AWS Analytics Advent Calendar 2024 の4日目の記事です。 3日目は 大薗さんの状況に合わせて、とても素晴らしい食事プランを提案してくれる 有益な…

"ls -1|sort -V" で OK。 Vオプションがないとき $ ls -1|sort|head -10 orders.tbl.1 orders.tbl.10 orders.tbl.100 orders.tbl.101 orders.tbl.102 orders.tbl.103 orders.tbl.104 orders.tbl.105 orders.tbl.106 orders.tbl.107 Vオプションがあるとき $ …

要件 クライアントPCから MFA して Redshift に認証したい。 Okta の認証で MFA して、SSO して Redshift に認証したい。 参考 Okta を ID プロバイダーとして Amazon Redshift へのアクセスとフェデレーションする | Amazon Web Services ブログ Setup SSO …

EC2（c5.4xlarge/Amazon Linux 2023）に EBS ボリューム（st1）をアタッチして xfs でフォーマットしてマウントした手順。 前提 EC2 インスタンスタイプ: c5.4xlarge ディストリビューション: Amazon Linux release 2023 カーネル: 6.1.72-96.166.amzn2023.x…

教材 AIF-C01 / AWS Certified AI Practitioner 模擬試験（4回分）＋補足問題＝340問 | Udemy メモ ゼロショットプロンプティング 平均二乗誤差（MSE） 特徴量 埋込（エンベディング） トークン 推論パラメータ Temperature: 低いほど確実な単語のみ採用する…

Redshift のユーザー名にハイフンとドットを使えることを確認したログをメモ。 [ec2-user@ip-172-31-0-101 ~]$ psql "host=redshift-cluster-poc-central.********.ap-northeast-1.redshift.amazonaws.com user=awsuser dbname=dev port=5439" Timing is on.…

AWS CLI でRedshift の設定を確認する aws redshift describe-clusters --cluster-identifier <cluster id> aws redshift describe-logging-status --cluster-identifier <cluster id> 参考 describe-clusters — AWS CLI 1.35.24 Command Reference</cluster></cluster>

foodslink.jp

調味液 濃く作った一番だし（3割） 醤油（5割） 日本酒（1割強） みりん（1割弱） 作り方のポイント 軽く煮切って、氷水で冷やして掃除が終わったいくらに合わせる。 調味液を入れる量は、いくらに対してひたひたからちょっと控えるぐらい。 筋子の処理 www.…

Redshift ユーザーによって COPY/UNLOAD でアクセスできる S3 のフォルダ（プレフィックス）を分ける方法をメモ。 実現すること Redshift ユーザー "rs_user_a" は S3 パス "s3://s3-for-redshift/rs_user_a/" 以下のみに COPY/UNLOAD でアクセスできる。 Re…

Redshift で UNLOAD した時のファイル suffix の命名規則 ネーミングルール CSV 圧縮なし: 000 gzip: 000.gz bzip2: 000.bz2 zstd: 000.zst JSON 圧縮なし: 000.json gzip: 000.json.gz bzip2: 000.json.bz2 zstd: 000.json.zst Parquet 000.parquet 検証手…

COPY コマンドで Redshift にデータロード時に無効な UTF-8 文字がある場合、ACCEPTINVCHARS で固定の文字列に置換することができる。 ACCEPTINVCHARS [AS] ['replacement_char'] データに無効な UTF-8 文字がある場合でも、VARCHAR 列へのデータのロードを…

Redshift で COPY コマンド実行時に svl_query_metrics_summary や sys_query_history に情報が記録されることを確認したメモ。 結果 dev=# copy public.customer from 's3://test-rs-copy-bucket/csv/customer/' csv dev-# iam_role 'arn:aws:iam::12345678…

Redshift の STL テーブルのクエリID（query列）と SYS ビューのクエリID（query_id）は別の値のため、クエリIDで結合することはできない。トランザクションID（STLとSYSのトランザクションIDが 1:1 の場合）で結合することができる。 例 dev=# \timing on d…

STL STV SVL SVV SYS タイプ テーブル テーブル ビュー ビュー ビュー 生成方法 ディスク上のログ オンメモリーデータ STLへの参照 STVへの参照 - 用途 過去の実行記録の参照 現在進行中の処理の参照 STL/STVデータを組み合わせて別軸で分析 同左 - 記録タイ…

今更だけど、社内外でよく2023年のAWSサミット東京で発表した "Amazon Redshift クエリパフォーマンスチューニング Deep Dive" のスライドのパスをよく聞かれるのでメモしておく。 https://pages.awscloud.com/rs/112-TZM-766/images/AWS-36_AWS-Summit-2023…

事象 Redshift に Parquet を COPY コマンドでロードしようとすると 15007 Spectrum Scan Error が発生する。 実行コマンド copy t2 from 's3://s3-prod-123456789012-ap-northeast-1/table-data/t1/' parquet iam_role 'arn:aws:iam::123456789012:role/PRO…

実行例 $ aws s3 ls --profile s3_access --debug ... 2024-08-07 05:06:29,995 - MainThread - urllib3.connectionpool - DEBUG - Starting new HTTPS connection (1): bucket.vpce-********-********.s3.ap-northeast-1.vpce.amazonaws.com:443 AWS CLI の…

デバッグモードで実行する（--debug オプションをつける） $ aws sts get-caller-identity --endpoint-url https://vpce-********-********.sts.ap-northeast-1.vpce.amazonaws.com --debug ログの見方 "botocore.auth" のところが実行されたスクリプト 2024…

事象 オンプレのサーバから AWS CLI で IAM ユーザーのクレデンシャルで認証後、別AWSアカウントの IAM ロールにスイッチロールすると STS の --endpoint_url パラメータの指定が効かず、グローバルエンドポイントやリージョナルエンドポイントにアクセスし…

STSのエンドポイントを .aws/config で指定する方法。 .~/aws/config [profile dev] services = custom-endpoint [services custom-endpoint] s3 = endpoint_url = sts = endpoint_url = 参考 設定ファイルと認証情報ファイルの設定 - AWS Command Line Inte…

事象 オンプレのデータセンターにある Linux サーバから Direct Connect -> VPC -> VPC Endpoint -> S3 にアクセスしようとするとタイムアウトする。 $ aws s3 ls --profile s3_access --endpoint-url https://bucket.vpce-********.s3.ap-northeast-1.vpce.…

AWS CLI で IAM ユーザーのクレデンシャルで認証して、スイッチロールして S3 にアクセスする設定。 実行コマンド $ aws s3 ls --profile s3_access --endpoint-url https://bucket.vpce-********-********.s3.ap-northeast-1.vpce.amazonaws.com IAMロール…

ここ数年自重トレーニングしてたけど、久しぶりにジムを再開したので、分割法をメモ。 分割法 腕・肩 脚・背中 腹筋・背筋 胸 部位ごとの種目 腕 （ダンベル）アームカール 12kg （ダンベル）ハンマーカール 12kg （ダンベル）オルタネイティブハンマカール …

責任共有モデル 継承される統制 物理統制 環境統制 共有統制 パッチ管理 構成管理 意識とトレーニング お客様固有 お客様が特定のセキュリティ環境内でデータをルーティングまたは区分する必要がある、サービスおよび通信の保護またはゾーンセキュリティ。 A…

やりたいこと Redshift のユーザーについて、WLM とアクセス権限を別々のグルーピングを行いたい。 WLM のワークロードキューで管理したいユーザー群とアクセス権限が同じユーザー群が異なるグルーピングになるため。 実装方法 WLM（Workload Mangagement）…

Amazon Redsfhit の ra3 インスタンスの最小ノード数は 2 ノード。 参考 https://pages.awscloud.com/rs/112-TZM-766/images/20200218_AWS_BlackBelt_NextGenRedshift.pdf