AWS
AWS Summit Tokyo 2023 大薗さんの「AWS でミッションクリティカルなデータウェアハウスを構築する方法 (AWS-35)」が再利用性が高いが、よくどこに資料があるか見失うので、メモしておく。 Level 300: 中級者向け AWS でミッションクリティカルなデータウェ…
re:Invent に参加されていた AWS エンジニアのみなさま、おつかれさまでしたm(._.)m このエントリは AWS Analytics Advent Calendar 2024 の9日目の記事です。 8日目は 細かすぎて伝わらない Amazon Redshift のシステムテーブル／ビュー選手権: SYS_QUERY_H…
AWS エンジニアの皆様、AWS サービスアップデートのキャッチアップおつかれさまですm(._.)m このエントリは AWS Analytics Advent Calendar 2024 の4日目の記事です。 3日目は 大薗さんの状況に合わせて、とても素晴らしい食事プランを提案してくれる 有益な…
要件 クライアントPCから MFA して Redshift に認証したい。 Okta の認証で MFA して、SSO して Redshift に認証したい。 参考 Okta を ID プロバイダーとして Amazon Redshift へのアクセスとフェデレーションする | Amazon Web Services ブログ Setup SSO …
EC2（c5.4xlarge/Amazon Linux 2023）に EBS ボリューム（st1）をアタッチして xfs でフォーマットしてマウントした手順。 前提 EC2 インスタンスタイプ: c5.4xlarge ディストリビューション: Amazon Linux release 2023 カーネル: 6.1.72-96.166.amzn2023.x…
教材 AIF-C01 / AWS Certified AI Practitioner 模擬試験（4回分）＋補足問題＝340問 | Udemy メモ ゼロショットプロンプティング 平均二乗誤差（MSE） 特徴量 埋込（エンベディング） トークン 推論パラメータ Temperature: 低いほど確実な単語のみ採用する…
Redshift のユーザー名にハイフンとドットを使えることを確認したログをメモ。 [ec2-user@ip-172-31-0-101 ~]$ psql "host=redshift-cluster-poc-central.********.ap-northeast-1.redshift.amazonaws.com user=awsuser dbname=dev port=5439" Timing is on.…
Redshift で UNLOAD した時のファイル suffix の命名規則 ネーミングルール CSV 圧縮なし: 000 gzip: 000.gz bzip2: 000.bz2 zstd: 000.zst JSON 圧縮なし: 000.json gzip: 000.json.gz bzip2: 000.json.bz2 zstd: 000.json.zst Parquet 000.parquet 検証手…
COPY コマンドで Redshift にデータロード時に無効な UTF-8 文字がある場合、ACCEPTINVCHARS で固定の文字列に置換することができる。 ACCEPTINVCHARS [AS] ['replacement_char'] データに無効な UTF-8 文字がある場合でも、VARCHAR 列へのデータのロードを…
今更だけど、社内外でよく2023年のAWSサミット東京で発表した "Amazon Redshift クエリパフォーマンスチューニング Deep Dive" のスライドのパスをよく聞かれるのでメモしておく。 https://pages.awscloud.com/rs/112-TZM-766/images/AWS-36_AWS-Summit-2023…
事象 Redshift に Parquet を COPY コマンドでロードしようとすると 15007 Spectrum Scan Error が発生する。 実行コマンド copy t2 from 's3://s3-prod-123456789012-ap-northeast-1/table-data/t1/' parquet iam_role 'arn:aws:iam::123456789012:role/PRO…
実行例 $ aws s3 ls --profile s3_access --debug ... 2024-08-07 05:06:29,995 - MainThread - urllib3.connectionpool - DEBUG - Starting new HTTPS connection (1): bucket.vpce-********-********.s3.ap-northeast-1.vpce.amazonaws.com:443 AWS CLI の…
デバッグモードで実行する（--debug オプションをつける） $ aws sts get-caller-identity --endpoint-url https://vpce-********-********.sts.ap-northeast-1.vpce.amazonaws.com --debug ログの見方 "botocore.auth" のところが実行されたスクリプト 2024…
事象 オンプレのサーバから AWS CLI で IAM ユーザーのクレデンシャルで認証後、別AWSアカウントの IAM ロールにスイッチロールすると STS の --endpoint_url パラメータの指定が効かず、グローバルエンドポイントやリージョナルエンドポイントにアクセスし…
STSのエンドポイントを .aws/config で指定する方法。 .~/aws/config [profile dev] services = custom-endpoint [services custom-endpoint] s3 = endpoint_url = sts = endpoint_url = 参考 設定ファイルと認証情報ファイルの設定 - AWS Command Line Inte…
事象 オンプレのデータセンターにある Linux サーバから Direct Connect -> VPC -> VPC Endpoint -> S3 にアクセスしようとするとタイムアウトする。 $ aws s3 ls --profile s3_access --endpoint-url https://bucket.vpce-********.s3.ap-northeast-1.vpce.…
AWS CLI で IAM ユーザーのクレデンシャルで認証して、スイッチロールして S3 にアクセスする設定。 実行コマンド $ aws s3 ls --profile s3_access --endpoint-url https://bucket.vpce-********-********.s3.ap-northeast-1.vpce.amazonaws.com IAMロール…
Amazon Redsfhit の ra3 インスタンスの最小ノード数は 2 ノード。 参考 https://pages.awscloud.com/rs/112-TZM-766/images/20200218_AWS_BlackBelt_NextGenRedshift.pdf
デフォルトでは、各 VPC エンドポイントは、アベイラビリティーゾーンあたり最大 10 Gbps の帯域幅をサポートし、最大 100 Gbps まで自動的にスケールアップします。すべてのアベイラビリティーゾーンに負荷を分散する場合の VPC エンドポイントの最大帯域幅…
マネジメントコンソールで Redshift クラスターを選択し、[プロパティ]-[データベース設定]-[編集]-[監査ログを編集] を選択して設定する。 Amazon Redshift で監査ログ記録をオンにする | AWS re:Post
Redshift でテーブルの末尾にしかカラムを追加できない。ドキュメントを見る限りカラム位置を指定するような構文はない。 接続する $ psql -a "host=redshift-cluster-poc-central.********.ap-northeast-1.redshift.amazonaws.com user=awsuser dbname=dev …
事象 Azure Data Factory から AWS Transfer Family の SFTP への接続時に "no matching host key type found" エラーが発生する。 Failed to connect to Sftp server 's-********.server.transfer.ap-northeast-1.amazonaws.com'. An established connectio…
AWS Transfer Family の設定 IAM ロールの作成 以下の IAM ポリシーを作成して、IAM ロールにアタッチする。 { "Version": "2012-10-17", "Statement": [ { "Sid": "AllowListingOfUserFolder", "Action": [ "s3:ListBucket", "s3:GetBucketLocation" ], "Ef…
事象 Azure Data Factory から AWS Transfer Family の SFTP へ接続しようとすると以下のエラーが発生する。 Error code: SftpFailedToConnectToSftpServer Details: Failed to connect to Sftp server 's-********.server.transfer.ap-northeast-1.amazonaw…
AWS Transfer Family の SFTP でパスワード認証を行いたい場合、こちらの CloudFormation Template を実行し、Transfer Family、API Gateway、Lambda、Secrets Manager のリソースを作成する。あとは、Secrets Manager で以下を設定してやれば OK。 シークレ…
$ sudo journalctl -u sshd Apr 01 00:51:17 ip-172-31-29-44.ap-northeast-1.compute.internal sshd[2155]: Server listening on 0.0.0.0 port 22. Apr 01 00:51:17 ip-172-31-29-44.ap-northeast-1.compute.internal sshd[2155]: Server listening on :: p…
EC2 インスタンスを作成する パスワードを設定する [root@ip-172-31-29-44 ~]# passwd ec2-user Changing password for user ec2-user. New password: Retype new password: passwd: all authentication tokens updated successfully. パスワード認証を許可…
SSH 公開鍵認証 【2022年10月版】AWS Transfer Family の SFTP を使ってみた | DevelopersIO パスワード認証 https://dev.classmethod.jp/articles/aws-transfer-family-sftp-with-password-method/:tilte
事象 rsql で -v オプションと -c オプションを併用するとエラーになる。 $ rsql -h redshift-cluster-poc-central.ceyg6jv96hfq.ap-northeast-1.redshift.amazonaws.com -U awsuser -d dev -v var_table_name='version()' -c 'select * from :var_table_nam…
環境 $ cat /etc/system-release Amazon Linux release 2 (Karoo) $ uname -r 5.10.130-118.517.amzn2.x86_64 インストールする sudo yum -y install unixODBC curl -L -O https://s3.amazonaws.com/redshift-downloads/drivers/odbc/1.5.9.1011/AmazonRedsh…
