タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
Jupyter Notebookと Boto3で AWS環境定義書を作成してみる | DevelopersIO
Jupyter Notebook(以降 Notebook) は実行可能なプログラムコードや分析結果、グラフなどを含んだドキュメントを作成するための OSSです。 画像：https://jupyter.org/ Pythonによるデータ分析でよく利用されます。 特徴として 「Markdown セル」と「Code セル」 を Notebook内へ配置できます。 データ分析のプロセスの文脈を Markdownセルに書くことで、 プログラムのコメント以上の表現力で、プロセスを記述できることできます。 データの可視化についても、Notebookは優秀です。 Matplotlib のグラフや、Pandas のテーブルなどを Notebook内にインライン表示してくれます。 さて、Markdownセルによるドキュメンテーション、 pandas によるテーブル表記でふと思いました。 「Jupyter No
はじめに AWS SDK は Exponential Backoff による自動再試行ロジックが実装されていますが、 Boto3 では 3 つのリトライ処理モードを選択できます。 legacy (デフォルト) standard adaptive botocore の GitHub リポジトリを確認すると、2020年2月ごろに standard および adaptive が 追加され、それ以前の実装は legacy という名称になっています。 Add support for new retry modes #1972 互換性のため、デフォルトが legacy となっており、standard/adaptive で追加された機能を 利用するにはリトライ処理モードを明示的に変更する必要があります。 リトライ処理モードの変更方法 botocore の config オブジェクトをインスタンス化し、設
AWS Python SDK(boto3)のリソース・インターフェースが改修凍結されました | DevelopersIO
2023/01/21更新 公式ドキュメントの記載が、"Warning"での"非推奨"と読み取れる表現から、"Note"の"改修凍結案内"に大きく変わったため、本ブログのタイトル・本文も、記載内容を大きく変えています。 AWS Python SDK(boto3)のドキュメントに、リソース・インターフェースの改修凍結の案内があったので、共有します。 注意 AWS Python SDKチームは、boto3のリソースインターフェイスに新しい機能を追加するつもりはありません。 既存のインターフェイスは、boto3のライフサイクルの間は引き続き機能します。顧客は、クライアントインターフェイスを通じて新しいサービスの機能にアクセスすることができます。 ※ChatGPT翻訳 AWS Python SDK(boto3)のインターフェースについて AWS Python SDK(boto3)には主に次の2インタ
AWS SDK for Python (Boto3) の “Client API” と “Resource API” の違いについて調べてみた | DevelopersIO
みなさん、こんにちは！ AWS事業本部の青柳＠福岡オフィスです。 AWS SDK for Python (Boto3) の特徴の一つとして挙げられることに、AWSのリソースを操作するAPIとして "Client API" と "Resource API" の2種類が用意されているという点があります。 (AWS SDK for Python (Boto3) トップページ の冒頭に書かれているほどです) これらの違いについてあまり分かっていなかったので、今回調べてみました。 なお、本ブログエントリは、以下の記事を読んでAWS SDK for Python (Boto3) に入門した方、入門しようとしている方のレベルを想定しています。 コードでAWSをさわってみよう！プログラミング初心者向けAWS SDK（Boto3）の使い方 ｜ Developers.IO 2023/01/19 追記：「Res
boto3と1Passwordを使って、AWSのMFA認証とスイッチロールを自動化してみた！ | DevelopersIO
こんにちは！今回は、AWSのMFA（Multi-Factor Authentication）認証を使い、IAMロールにスイッチしながらS3バケットにアクセスするPythonスクリプトを紹介します。このスクリプトは、AWSのセキュリティベストプラクティスに従い、MFAを使用して一時的なセッションを取得し、S3バケットのリストを取得する方法を示しています。 さらに、1Passwordを活用してワンタイムパスワード（OTP）を自動的に取得する仕組みも組み込んでいるため、非常に便利で安全なアクセスが可能です。AWSのセキュリティを強化したい方や、MFA認証を自動化したい方に役立つ内容になっています。 背景 AWSでは、セキュリティを強化するためにMFAを使用することが推奨されています。MFAを使用すると、ユーザーは通常の認証情報（アクセスキーやシークレットキー）に加えて、ワンタイムパスワード（OT
[Python] Boto3でのスレッドセーフまとめ。3種類のオブジェクトこれだけ覚えておけばOK | DevelopersIO
基本的にはclientが唯一の（マルチスレッドにおける）スレッドセーフなオブジェクトです。しかしネットワーク実装の関係から、マルチプロセスでは使用しないのが無難なようです。つまりマルチプロセスでは、すべてのBoto3オブジェクトは共有できません。 clientについて補足 clientはそのまま使用する分にはスレッドセーフですが、一部注意しなければいけない点があります。こちらをドキュメントから引用します。 Shared Metadata: Clients expose metadata to the end user through a few attributes (namely meta, exceptions and waiter_names). These are safe to read but any mutations should not be considered thr
Boto3の利用する認証情報は「Credentials — Boto 3」にまとめられており、8か所から規定の順序で認証情報が検索されます。 認証情報の検索順序 Boto3はパラメーターやプロファイルなど複数の方法で認証情報を取得しようとする。その方法と順序は「Configuring Credentials - Credentials — Boto 3」にあって、該当部分の拙訳は以下の通り。 boto3の資格情報検索メカニズムは、以下のリストに沿って検索し、資格情報を見つけたらそこで停止することです。Boto3が資格情報を検索する順序は: boto.client() メソッドにパラメーターで渡された資格情報 Session オブジェクトの生成時にパラメーターで渡された資格情報 環境変数 共有された認証情報ファイル（~/.aws/credentials） AWS設定ファイル（~/.aws/c
Microsoft Visual Studio Code(VSCode) のお手軽で素晴らしい入力支援機能には お世話になっています。 AWS CDKのコーディングがとても捗ります。 さて、今更 Boto3を VSCodeで触り始めたのですが、 まず思ったのは 入力支援強化したいなあ です。 ▲ 何も出てこない… 調べてみると以下のような記事がありました。 Enable Intellisense for AWS Boto3 Type Hints in Microsoft Visual Studio Code botostubs という Pythonモジュールを使うことで入力支援を強化できるとのこと。 早速入れて 使ってみました。 目次 環境 セットアップ 試してみる おわりに 環境 VSCode: 1.41.1 Python: 3.7.3 pip3: 20.0.2 boto3: 1.11.
S3互換のCloudflare R2で署名付きURLを発行する（AWS CLI, Python + Boto3） | DevelopersIO
S3互換のCloudflare R2で署名付きURLを発行する（AWS CLI, Python + Boto3） どうも、ベルリンオフィスの小西です。 S3 互換のオブジェクトストレージ Cloudflare R2 では、S3 同様に署名付き URL をサポートしており、今回はそちらを試してみたいと思います。 先に書いておくと、作業は S3 に対して行うのとほぼ一緒です。S3互換ってそういうことかという感じで読んでもらえれば。 R2 署名付き URL でできること 署名付き URL を作成することで、バケット全体やオブジェクトを完全公開することなく、URL と署名を知る一部のユーザーのみに対し、期限付きでバケットやオブジェクトのアクセス・操作許可を付与することができます。 例えば、 一部のユーザーに、1 時間のみ限定のオブジェクトダウンロード URL を配布する 一部の管理者に、24h 有
boto3でIoT CoreのATSエンドポイントに接続する（SSL validation failedエラー対応） | DevelopersIO
最近、boto3でIoT Coreにアクセスすると、SSL validation failedエラーになる事があります。応急処置は下記ブログで紹介されていますが、本記事では根本対応をご紹介します。 環境 ライブラリ バージョン SSL validation failedエラーが発生する たとえば、boto3でIoT Coreにアクセスすると、SSL validation failedが発生します。 下記は、LambdaからIoT CoreのデバイスシャドウをGetする際のエラーメッセージです。 { "errorMessage": "SSL validation failed for https://data.iot.ap-northeast-1.amazonaws.com/things/led-device/shadow [SSL: CERTIFICATE_VERIFY_FAILED] c
[小ネタ] Python(Boto 3)で5GB以上のS3オブジェクトをコピーするときはcopyメソッドを使おう | DevelopersIO
Python(Boto 3)で5GBを超える容量のS3オブジェクトをコピーする場合には、copy_objectメソッドではなくcopyメソッドを使いましょう。copy_objectメソッドでは5GB以上のS3オブジェクトをコピーしようとしてもエラーとなってしまいます。 はじめに 清水です。タイトル通りなのですが、Python(Boto 3)で5GBを超える容量のS3オブジェクトをコピーする場合には、copy_objectメソッドではなくcopyメソッドを使いましょう。copy_objectメソッドでは5GB以上のS3オブジェクトをコピーしようとしてもエラーとなってしまいます。当初このことを知らずにハマってしまったので、備忘録がてらまとめてみたいと思います。 copy_objectメソッドを使ったS3オブジェクトコピーのコード まずはPython(Boto3)でS3上のオブジェクトをコピーす
![[小ネタ] Python(Boto 3)で5GB以上のS3オブジェクトをコピーするときはcopyメソッドを使おう | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/55e5ee85a70b0b6893eeca79750f0d06a94b8595/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-s3.png)
API GatewayのテストをBoto3で行ってみた（AWS SDK for Python） - NRIネットコムBlog
本記事は 基盤デザインウィーク 4日目の記事です。 🌈 3日目 ▶▶ 本記事 ▶▶ 5日目 💻 はじめに pytest・Boto3・API Gatewayについて pytestとは Boto3とは API Gatewayとは やってみた API GatewayでMock作成 作成したMockのテストをBoto3で実施 リソースパスのテスト レスポンス内容のテスト おわりに はじめに はじめまして。基デザウィーク4日目を担当します、入社1年目の深瀬です。昨年8月に基盤デザイン事業部へ配属となり、インフラエンジニアの道を進むことになりました。最初は「インフラ!?うっ…頭が痛い。。」と思っていましたが、いざ配属されるとなんとなく思い描いていたのとは違い、今のところ楽しくインフラエンジニアライフを過ごせています。 本記事では、Amazon API Gateway（以下API Gateway）の
はじめに Boto3を利用する機会があったので、どのように動いているか気になったのでコードを読んでみた。その中で自分のための情報の整理や、実装が面白いな・なるほどなと感じた部分をまとめる。 Boto3を使ってAWS上での開発や、AWSのREST APIの理解などの役に立てば嬉しい。 Boto3とは Boto3とは AWS SDK for Python のことで、内部的にはAWS CLIでも利用されているBotocoreを利用している。 The SDK is composed of two key Python packages: Botocore (the library providing the low-level functionality shared between the Python SDK and the AWS CLI) and Boto3 (the package im
PythonのAWSライブラリBoto3のSessionはスレッドセーフではないよという話 | DevelopersIO
こんにちは。サービスグループの武田です。PythonのAWSライブラリであるBoto3をマルチスレッドで使用したところ少しはまりましたので回避策とともに紹介します。 こんにちは。サービスグループの武田です。 AWSのリソースを操作する方法としてマネジメントコンソールやAWS CLI、そして各プログラミング言語に用意されているSDKが利用できます。人気の高いPythonでは、Boto3というライブラリが提供されています。 さてそのBoto3ですが、基本的な使い方は次のような流れになります。 import boto3 session = boto3.Session() client = session.client("sts") r = client.get_caller_identity() print(r) セッション作成 各サービス用のクライアント作成 API呼び出し 通常であれば、これ
[MinIO]boto3で操作可能なS3互換ストレージをローカル上にDocker Composeで立てる方法 | DevelopersIO
t_o_dと申します。 AWSを利用しているとS3に格納しているデータをPython(boto3)で読み取り処理を行うケースは多いです。 非常に便利な反面、お金や権限の問題で開発時の気軽な実行は躊躇ってしまいます。 今回はboto3で操作可能なS3互換ストレージであるMinIOをローカル上にDocker Composeで立てる方法を記録いたします。 はじめに 本記事では以下を行います。 MinIO環境の構築 MinIOクライアント(mc)環境の構築 boto3での動作確認 なおMinIOやMinIOクライアントの詳細な操作方法等は割愛いたします。 環境 mac OS Monterey 12.6 Docker 20.10.14 Docker Compose 2.4.1 Python 3.10.8 手順 MinIO環境の構築 まずファイル群を入れるためのディレクトリを任意で作成します。 mkd
![[MinIO]boto3で操作可能なS3互換ストレージをローカル上にDocker Composeで立てる方法 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/ffeec3819e865215ed9b2517d2bd179374a79716/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2021%2F07%2Fdocker_2.png)
boto3を使用してセキュリティグループのインバウンドルールを編集するpythonファイルを作ってみた | DevelopersIO
こんにちは。DA事業本部の下地です。 最近セキュリティグループ(sg)のインバウンドルールへの追加や削除を行う機会が増えてきましたので、コマンドライン引数で必要な情報を渡してインバウンドルールの編集を行うpythonファイルを作りたいと思います。 環境 実行環境は下記のようになります。 MacOS: Catalina 10.15.4 Python: 3.7.0 Boto3: 1.12.33 インバウンドルールの追加と削除 sgのインバウンドの追加と削除にはAWS SDK for Python (boto3)を使用します。boto3には“Client API” と “Resource API”の2種類が用意されています。違いについては弊社ブログにて(AWS SDK for Python (Boto3) の “Client API” と “Resource API” の違いについて調べてみた)
[レポート]Python初心者のためのPython/boto3ハンズオン #DOP203 #reinvent | DevelopersIO
本ブログはAWS re:Invent 2019のワークショップ『Get hands-on with Python/boto3 with no or minimal Python experience』のレポートです。 現地でワークショップに参加はできていませんでしたが、ワークショップの資料が公開されていたので実際にやってみました。 セッション概要 Learning a programming language can seem like a huge investment. However, solving strategic business problems using modern technology approaches, like machine learning and big-data analytics, often requires some understanding
![[レポート]Python初心者のためのPython/boto3ハンズオン #DOP203 #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9419c6cf4ac1d0e1323fa1560dfc995d191622f5/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F12%2Freinvent2019_report_eyecatch.jpg)
[小ネタ] Boto3 で取得した AWS情報を素直に Markdownテーブルに表示する Pythonスクリプト | DevelopersIO
Boto3 で AWSのリソース情報を取得して、 Notebookや Markdownにまとめる記事を書いてきました。 Jupyter Notebookと Boto3で AWS環境定義書を作成してみる 【Pandas】SecurityGroups の情報を Markdownに表示する Pythonスクリプトを書いてみた 各AWSのリソースの種類ごとにテーブルの構造を考えたりしていたので、 もうちょっと汎用的なもの作れないかな と感じたのが今回のモチベーションです。 そこで以下のような入力 → 出力 を行うスクリプトを作ってみました (要 Pandas ≧1.0.0 )。 辞書(or 辞書のリスト) を見出し付きで Markdownテーブルに表示します。 目次 スクリプト 利用例 VPC EC2インスタンス S3バケット CloudFront ディストリビューション 終わりに スクリプト i
【Amazom Bedrock】Anthropicのclaude-v2をboto3経由でストリーミング応答させてみた - Qiita
Amazom Bedrockとは AmazonやStable DiffusionなどAI企業が提供する基盤モデル（FM）をAPIを通じて利用できるようにする完全マネージド型サービスです。 先日(9/28)にようやくGAしたので検証アカウントで早速使ってみました!! ■公式ブログ ■ ドキュメント ■ 料金 Bedrockを有効化 スクショを取り忘れたので、以下を参考に有効化すると流れが分かると思います。 早速ローカルから動かしてみる 先ずは普通に import boto3 import json session = boto3.Session(profile_name='AWSプロファイル') client = session.client( 'bedrock-runtime', region_name='us-east-1', ) prompt = ''' Human: AWSについて教
Amazon Mechanical Turk API (Python, boto3)を使ってお手軽タスク外注 - Qiita
Amazon Mechanical Turk API (Python, boto3)を使ってお手軽タスク外注PythonクラウドソーシングMechanicalデータ収集Turk はじめに 本記事では、Amazon Mechanical Turk (MTurk)を利用するためのPython API (boto3)の使い方について紹介していきます。 本物のワーカーに仕事を投げて、回答を確認するところまでカバーしています。 MTurkは数あるクラウドソーシングプラットフォームの中でも小回りがきく＆APIが使える点が素敵なサービスなのですが、如何せん国内では日本語のドキュメントが少なく盛り上がりに欠けています。 この記事で日本のMTurk利用が少しでも活発になるよう頑張っていきたい所存です。 注意 アカウント登録手順とか、MTurkのウェブサイト上でタスクを作っていく機能については、既に他のブログ
Docker Composeで立てたMinIOにmc/AWS CLI/Boto3で接続してみる - Qiita
MinIOとは Amazon S3と互換性のあるOSSのオブジェクトストレージ 2014年に設立されたMinIO, Inc.によって開発されている Amazon S3と互換性があるため、AWS CLIやAWS SDKからアクセス可能 ただしAmazon S3が提供している全てのインタフェースをMinIOが提供しているわけではないため注意 GitHubリポジトリ: https://github.com/minio/minio Docker Composeの設定 services: minio: # イメージは現時点で最新のものを指定している image: quay.io/minio/minio:RELEASE.2023-01-12T02-06-16Z container_name: minio ports: - 9000:9000 - 9001:9001 # ユーザ名/パスワードの設定 #
Python（Boto3）でDynamoDB上のデータの「アップサート」と「条件付き書き込み」を一度にできるのか確認してみた | DevelopersIO
こんにちは、CX事業本部の若槻です。 案件でIoTデバイスのステート管理をDynamoDB上のテーブルで行うことになり、そのときに以下のような仕様が要求されました。（実際よりは簡潔化しています） デバイスは自身のステート変更時にステート情報をAWSに送信してくる。 テーブル（state_table）では以下のAttributionを管理する。 deviceId(String)：デバイス識別ID（Partition Key） state(Boolean)：デバイスのステートのブール値 deviceTimeStamp(String)：ステート変更時にデバイス側で記録されるタイムスタンプ 新しいステートデータが送信されてくるたびに、そのデバイスのdeviceIdのキーのstateとdeviceTimeStampの値をDynamoDB上で更新する。 新規デバイスのステートデータは初回のステート送信
Boto3で出てくるNextTokenとは何者か ～NextTokenとのうまい付き合い方～ - NRIネットコムBlog
本記事は AWSアワード記念！夏のアドベントカレンダー 13日目の記事です。 🎆🏆 12日目 ▶▶ 本記事 ▶▶ 14日目 🏆🎆 こんにちは、西内です。 この度、2024 AWS All Certifications Engineersに選出していただきました！ 今年も資格が新たに3つ追加されましたが、引き続き維持できるよう頑張ります！！ そして、来年のswagは更に豪華になっていることを期待しています...！ （Amazonのギフト券とかもらえないかなあ～） AWSのAPIを実行したときに見るアレ NextTokenとは何者か NextTokenとの付き合い方 その１ whileを使う NextTokenとの付き合い方 その２ Paginatorsという方法 最後に AWSのAPIを実行したときに見るアレ 今回はAWSでList系のAPI等を叩いたときによく見るアイツ、NextT
はじめに この記事では AWSが提供するAWS SDK for Python (Boto3)（以下、Boto3）を学習していく記事です。主な内容としては実践したときのメモを中心に書きます。（忘れやすいことなど） 誤りなどがあれば書き直していく予定です。 AWS SDKとは AWSが提供するAWSでリソースを操作し、構築に利用するツールです。 AWSの公式サイトには下記のように表現されています。 AWS での構築ツール AWS でアプリケーションを開発および管理するためのツール 選択したプログラミング言語を使用して、AWS でアプリケーションを簡単に開発する Python 固有の API と有益なライブラリを使って、アプリケーションを開発する 参考 サービスではなく、ツールの一つです。そもそもSDKとはなんでしょうか。 補足：SDKとは（SDKの定義） SDKとは何だったかここではCircl
VPC内のLambdaからはSES向けのVPCエンドポイントを使用してもBoto3ではメールを送信できない - Qiita
初めに 本記事はタイトルについて検証を行った詳細を記載します 書くきっかけですが、最近久しぶりにVPCと戯れることになりました。 VPCを使った構成ですんなり行った思い出はなく、実際に沼にハマりました。 ポイントをまとめましたので、どなたかのお役にたてば嬉しいです 結論だけ知りたい方は最後まで飛ばしてください 検証を行うことになった背景 VPC内のLambdaからメールを送る ただこちらを行いたいだけでした アーキテクチャとしては以下となります RDS→Lambda(VPC内)→SES→ユーザー あまり見ないアーキテクチャですね RDS Proxyがリリースされてから、LambdaとRDSの組み合わせは使用する頻度が多くなりました DynamoDBだけでは辛い部分もあるので、今後こちらのアーキテクチャは増えるようになるのではないでしょうか 実装するに当たって、どのようにVPCから外へ出るか
CodeGuruにコードレビューされてみたらBoto3の便利機能Waitersを知った話 | DevelopersIO
こんにちは。AWS事業本部のKyoです。 スクリプト、便利ですよね。私も先日「CloudFrontのオリジンを別のものへ変更する」というPythonスクリプトを書いていました。主要な部分は、以下のような形です。 update_distribution 待機 create_invalidation（キャッシュクリア） update_distributionはアップデートのリクエストになるので、レスポンスが返ってきた後、各エッジロケーションにアップデートされた設定がデプロイされるのを数分程度待つ必要があります。ここを待たずにInvalidationを行うとアップデート前の情報が再びキャッシュされる可能性があります。 そんなわけで以下のような実装になりました（簡略化しています）。 client = boto3.client('cloudfront') # CloudFront distribut
Feedback Do you have a suggestion to improve this website or boto3? Give us feedback.
夕方の涼しい時間になるまで液体と化してしまう季節になりました。 ▲ 麦茶が美味しい季節でもありますね こんにちは。Shirotaです。 今日は、LambdaでBoto3を使ってCloudWatchのメトリクスを取得したので、やりたかったことや実際に動かしたものをまとめてみました。 今回やりたかったこと CloudWatchのメトリクスをLambdaで取得したかったので、Boto3を使ってLambdaを作成してみました。 具体的には、MediaConvertのメトリクスの1つである「StandbyTime」の5分前の値を取得するコードをBoto3を使って書きました。 今回作成したもの ここからは、今回作成したものの簡単な解説とコードを紹介していこうと思います。 作成したLambdaにアタッチしたIAM Roleの権限 今回はLambda関数作成の際に新規で作成できるIAMRoleに、Clou
import boto3 from time import sleep DATABASE = 'test_db' PAGE_SIZE = 1000 class AthenaResult: def __init__(self, client, query_execution_id): self.client = client self.query_execution_id = query_execution_id self.next_token = False def __iter__(self): return self def __next__(self): if self.next_token is None: raise StopIteration kwargs = { "QueryExecutionId": self.query_execution_id, "MaxResults"
![[Python] boto3でAthenaを使ったコードをMockでテストする - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/6b9f98c4efd12637f8b67371ac9f7116a0b61ce2/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCUHl0aG9uJTVEJTIwYm90bzMlRTMlODElQTdBdGhlbmElRTMlODIlOTIlRTQlQkQlQkYlRTMlODElQTMlRTMlODElOUYlRTMlODIlQjMlRTMlODMlQkMlRTMlODMlODklRTMlODIlOTJNb2NrJUUzJTgxJUE3JUUzJTgzJTg2JUUzJTgyJUI5JUUzJTgzJTg4JUUzJTgxJTk5JUUzJTgyJThCJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz1hYzNjZGRhMjQ1MGE2YzBkMTgyZWFlNjgxZTk0YjhhNw%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBuYWthbWFzYXRvJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz02ZjQzZmRjZWQ5NWI0OGJmMDNmNGRmODg1ZTQ0MWVmOA%26blend-x%3D142%26blend-y%3D436%26blend-mode%3Dnormal%26txt64%3DaW4g5qCq5byP5Lya56S-44OT44O844OT44OD44OI%26txt-width%3D770%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%25231E2121%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D36%26txt-x%3D156%26txt-y%3D536%26s%3De023fd4c621e75c072d6f3f86a5a7118)
はじめに IoT関係の案件で、ゲートウェイ(以下GW)からS3にあるファイルをダウンロードしたり、アップロードしたりする必要があったので、python(2.7)とboto3(AWS SDK for python)を使って実装してみました。その際の手順を備忘録的に残しておこうと思います。 最終目標 バケット内のファイルをダウンロードできるようになる 特定のディレクトリへファイルをアップロードできるようになる さあ、はじめようか boto3のインストール GWにssh接続でログインして、pipでboto3をインストールします。(GWはpython2.7 pipはインストール済み)
はじめに ローカル環境でBoto3を利用する時にコード内でprofile名を指定したり、アクセスキーを埋め込むことがある。それ以外にBoto3利用時にはConfigやDEBUGログ出力を設定することもでき、こちらは開発環境や本番環境でも活用できる。これらの設定は公式ドキュメントに記載されているがそれぞれ別のページに記載されているため、自分が一覧で見やすいようこの記事にまとめた(ง •̀_•́)ง Boto3自体を詳しく知りたい場合は、以下の記事も読んでみてください。 Sessionについて AWSのAPIを利用するメソッドを持つClient/Resourceオブジェクトは、boto3.client('AWS_SERVICE_NAME')やboto3.resource('AWS_SERVICE_NAME')を利用して生成できるが、この時の引数にいくつか設定を指定することができる。 impor
Python dict/listデータの『読み方』をもう一度丁寧に[json,aws-cli,api,boto3] - Qiita
Python dict/listデータの『読み方』をもう一度丁寧に[json,aws-cli,api,boto3]PythonAWSJSONdictionarylist 1. 本稿の概要 背景とゴール AWSなどを触っているとjsonフォーマットやそれをPythonで扱う際のデータ構造=dict型を操作することが増えてきます。 なんとなく分かるんだけど本当に 目的の設定値を参照できてるんかこれ？ ってのが多いなと感じています。 もう一度、ステップを踏んでdict型の『読み方』学んでいきたいので同時にアウトプットします。 pythonスクリプトでdictデータ構造の定義および目的のkey:valueの参照をしていきます。単純なものから始め、徐々に入れ子構造を含む複雑な形を解析していきます。 2. dict型の読み解き方 Lv.0 dict型とは そもそもdict型ってどこでどう定義されてんの
![Python dict/listデータの『読み方』をもう一度丁寧に[json,aws-cli,api,boto3] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/0e05a023c9828e8051c3634d03a3223f585e327e/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9UHl0aG9uJTIwZGljdCUyRmxpc3QlRTMlODMlODclRTMlODMlQkMlRTMlODIlQkYlRTMlODElQUUlRTMlODAlOEUlRTglQUElQUQlRTMlODElQkYlRTYlOTYlQjklRTMlODAlOEYlRTMlODIlOTIlRTMlODIlODIlRTMlODElODYlRTQlQjglODAlRTUlQkElQTYlRTQlQjglODElRTUlQUYlQTclRTMlODElQUIlNUJqc29uJTJDYXdzLWNsaSUyQ2FwaSUyQ2JvdG8zJTVEJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz02ZjU4MGU1NTYxOGQyNTFmMzA5NmVlZTQ0OTBlMTI2MQ%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTcxNiZ0eHQ9JTQwa2FuZ2FlemFydSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTMyJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9OWE3ZWFlMjE1Yjg0MDI4NDg0YmJmNWVkM2I0MWRjOGQ%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3Debc9e9dedd212c47a93d117e7f831fde)
フィードバックを送信 Boto 構成ファイル コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 このページでは、gsutil が boto 構成ファイルを使用する方法と、このファイルを使用して共同作業を行う例について説明します。boto 構成ファイルは、Amazon S3 SDK for Python である boto でも使用されます。 構成ファイルの概要 boto 構成ファイルには、gsutil の動作を制御する値が含まれています。たとえば、gsutil が優先的に使用する API を決定する prefer_api 変数などです。boto 構成ファイルの変数は、構成ファイルを直接編集することで変更できます。大半のユーザーはこれらの変数を編集する必要はありませんが、編集の必要が生じる主な理由には以下のようなものがあります。 プロキシ経由で使用できるように
boto3から無理やりSecurity Hubのセキュリティスコアを算出してみた | DevelopersIO
こんにちは、臼田です。 みなさん、Security Hubでセキュリティチェックしてますか？(挨拶 今回はタイトルの通りboto3を使って無理やりSecurity Hubのセキュリティスコアを算出してみました。 背景 AWS Security HubはAWS環境をチェックし、セキュリティの状況とスコアを出してくれる素晴らしいサービスです。以下のようにマネジメントコンソールでわかりやすく確認できます。 しかしこのセキュリティスコア表示、実はユーザー側で実行できるAPIでは取得できません。 というわけで、このスコアを頑張って自分で算出してみました。 動きを分析して戦略を考える まずはセキュリティスコアがどのような根拠に基づいてスコアを算出しているか確認しましょう。 Security Hubのセキュリティ基準の詳細画面上部の概要には2つのグラフがあります。1つはセキュリティスコアの半円グラフで、
Boto3でAssumeRoleする際にSTSのリージョナルエンドポイントを使用する | DevelopersIO
こんにちは。サービスグループの武田です。 すべてのリージョンでAWS Configを有効化しようとしたところ、ある特定リージョンのみ次のエラーが出て処理が完了できませんでした。 An error occurred (UnrecognizedClientException) when calling the DescribeConfigurationRecorders operation: The security token included in the request is invalid あるリージョンというのは香港リージョン（ap-east-1）です。香港リージョンのみ処理が失敗すると聞いてピンとくる人もいるでしょうか。たとえば検索すると次のエントリがヒットします。 このエントリにもあるように、オプトインリージョンで正しく処理するためにはSTSエンドポイントに気をつける必要がありま
【DynamoDB/Boto3入門】DynamoDBでアトミックカウンタを実装しつつ更新式について学ぶ。 - サーバーワークスエンジニアブログ
こんにちは、技術一課の加藤です。先日、特定条件のファイルの個数をカウントするために、DynamoDBを使ったアトミックカウンタを実装しました。 こりゃー便利だと思うと同時に、DynamoDBのUpdateItemについてある程度わかっていないとちょっとだけ困るなあと感じたので、実装手順や注意点を備忘録的に書き残しておきます。 アトミックカウンタ 他の書き込みリクエストを妨害することなく、数値をカウントアップ/ダウンするようなカウンタのことをアトミックカウンタと呼びます。 例えばアクセスカウンタのような、1回の操作につき必ず1ずつカウントアップするような仕組みを考えるとします。普通に考えると、 SELECTして現在の値を取得する 取得した値に1を足して、UPDATEで値を更新する という2ステップが必要になりますがトランザクション管理をしっかりやっていないと、値の取得をしている間に別のクライ
boto3とbotoの違い | AWS SDK for Pythonの歴史を調べる - BioErrorLog Tech Blog
boto3とbotoの違いや、そもそもの"boto"の由来など、AWS SDK for Pythonの歴史を調べてまとめます。 はじめに AWS SDK for Pythonの歴史 boto3とbotoの違い boto2はどこに行ったのか "boto"の由来 おわりに 参考 はじめに AWS SDK for Pythonとしてboto3をいつも使っています。 ただ、私がAWSを触り始めたときには既に"boto3"になっていたので、"3"というからには無印botoやboto2もあるんだよね..?というモヤっとした疑問を抱えていました。 以前からAWSを知る人にとっては自明かもしれませんか、自分はまだ明確な答えを知りません。 そこで今回はboto3の歴史的背景を調べ、 boto3とbotoの違い boto2はどこに行ったのか そもそも"boto"の由来は？ をまとめます。 AWS SDK fo
同バケット内でファイルをフォルダ間でコピー line/diagonal/hoge.csvを新たにlineフォルダ下にstraightフォルダを作成しそこにコピー import os import boto3 BUCKET_NAME = 'your_bucket' # バケット名 COPY_FROM = 'line/diagonal' # コピー元ディレクトリパス COPY_TO = 'line/straight' # コピー先ディレクトリパス] FILE_NAME = 'hoge.csv' # ファイル名 s3 = boto3.client('s3') copy_from_path = os.path.join(COPY_FROM, FILE_NAME) copy_to_path = os.path.join(COPY_TO, FILE_NAME) s3.copy_object(Bucke
Boto3を使用したコードを書いていて補完や型チェックが効かなくて困ったことはないでしょうか？ 自分はメソッドの引数や返り値を確認するために公式リファレンスとコードを行ったり来たりしながら、コードを書いてました。 そんな悩みを解決してくれるパッケージ「boto3-stubs」を使用してみます。 Boto3とインテリセンス Boto3はAWSを使う上でとても便利なPythonのパッケージです。 ただ、個人的には一つだけ難点があってそれは補完が効かないことです。 AWSには数多のサービスがあってその各メソッドを覚えておくなんてことは自分には無理でした。 その都度、公式のBoto3のドキュメントを参照し、引数や返り値を確認するのが常となってました。 あー、Boto3でも補完が効いたらな。 でも、こんな引数で呼び足す形でクライアントのインスタンス作成してたら補完なんてできるわけないよな。 impo
Python (Boto3) @ Lambda で CloudWatch Logs の特定のログストリームにログを出力する - Qiita
Python (Boto3) @ Lambda で CloudWatch Logs の特定のログストリームにログを出力するPythonAWSlambdaboto3CloudWatch-Logs def put_logs(client, group_name, stream_name_prefix, message): try: exist_log_stream = True log_event = { 'timestamp': int(time.time()) * 1000, 'message': message } sequence_token = None for i in range(2): try: if exist_log_stream == False: create_log_stream_response = client.create_log_stream( logGrou
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Boto3 に追加されたリトライ処理モードを利用する - Qiita
Boto3（AWS SDK for Python）の利用する認証情報 - Qiita
【VSCode】botostubsで Boto3の入力支援を強化する | DevelopersIO
Boto3(AWS SDK for Python)をコードリーディングして仕組みを理解する
【AWS】用語を整理しながら学ぶAWS AWS SDK for Python (Boto3) - Qiita
Quickstart - Boto3 1.34.105 documentation
CloudWatchのメトリクスをBoto3を使ってLambdaで取得してみた | DevelopersIO
[Python] boto3でAthenaを使ったコードをMockでテストする - Qiita
boto3を使ってS3をごにょごにょする - Qiita
Boto3の設定あれこれ（profile名、アクセスキー、Config、DEBUGログの設定とか）
Boto 構成ファイル | Cloud Storage | Google Cloud
【Python】boto3でS3ファイル操作まとめ - Qiita
Boto3の補完を可能にするboto3-stubsを使ってみる | DevelopersIO
www.newsweekjapan.jp/satire_china
eow.alc.co.jp
mainichi.jp
l.smartnews.com
eow.alc.co.jp
ja.wikipedia.org