はじめにこんにちは、TIG所属の大江です。 性能テストを実施する際、テスト用の大量データを投入する場合があります。本番相当のデータを入れるために、数千万ないしは数億のデータが必要になる場合もあり、データ生成には一工夫を要です。 本記事では、大量データをDynamoDB／OpenSearch Serviceに投入した際、直面した壁と対応を紹介します。 投入方針様々な方法を調査した結果、以下の方法で投入するのが、効率が良いという結論に至りました。 DynamoDB: S3インポート機能OpenSearch: Bulk APIこれらの方法で投入するには、入力データをJSONファイル形式である必要があります。 また、対象システムでは数種のユニークIDを各項目に割り振る必要がありました。 そこで、Goのtext/templateパッケージを使いることにしました。 以下、生成スクリプトでデータ生成した

【セッションレポート】サーバーレス開発のベストプラクティス ～より効果的に、より賢く使いこなすために～（AWS-30）#AWSSummit はじめに AWS Summit Japan 2024 に参加しました。 「サーバーレス開発のベストプラクティス～より効果的に、より賢く使いこなすために～」のセッションレポートです。 セッション概要 サーバーレスアプリケーションの開発においては、AWS Lambda や Amazon API Gateway、Amazon DynamoDB、Amazon EventBrige など様々なサービスをビルディングブロックとして組み合わせることができたり、開発作業を効率化するツールチェインも多く提供されるようになってきました。AWS Step Functions は Amazon Bedrock と統合され、生成系 AI アプリケーションをシームレスに開発できる

はじめに OpenAI API のFunction Callingを触ったことがなかったため、AWS Lambdaを使いを試してみました。 Function Callingとは、ユーザーから受け取った入力から、事前に定義した呼び出すべき関数を判断して、関数の入力形式通りにJSON形式で出力する機能です。 メリットとしては、指定した型に沿ってJSON形式で出力してくれるため、外部ツールとの連携が容易な点です。 Function Callingでない場合、指定した型に沿ってJSON形式で出力するように、プロンプトを工夫する必要があったり、ユーザーの入力によっては、指定していない型で出力される可能性があります。。 ちなみに、Function Callingの動きや仕組みは、下記の記事が分かりやすかったのでご参考ください。 OpenAIアカウントAPIキーの発行 OpenAIアカウント作成後、AP

Efficient Container Image Updating in Low-bandwidth Networks with Delta Encoding

先日（といっても結構前のことだが）、Scala 3のLTSサポートバージョンである3.3.0がリリースされた。Scala 3の開発が円熟してきているようで嬉しい。これからも元気でいてね。今回はScala 3をAWS LambdaのContainer imageを使って動作させる手法についてお伝えしたい。令和ではお盆の精霊はコンテナに乗ってやってくるぞ。 www.scala-lang.org これまでもこのブログではAWS LambdaでScala 3を動作させる方法を紹介してきたが、アーティファクトのサイズが大きくなると、JARを直接デプロイする方式ではアーティファクトに250MBのサイズ制限が生じるという問題があった。機械学習などを利用するアプリケーションではこのサイズ制限によりLambdaの利用に制約が生まれがちである（ただし、アーティファクトにJVMを含まなくても良いためサイズ効率は

k0kubun/sqldefはすばらしいプロダクトで便利に使ってるんだけど、もちろんDBに接続できる場所から実行する必要がある。で、DBはAWSのprivate VPCにあるのでラップトップやCI環境からやるというわけにはいかない。しょうがないので、現在はEC2インスタンスを作成して使うときだけ起動、終了したら停止してた。んだけど、これがまた面倒なんだよね。起動と停止も面倒だし、なんかあったときに確実に作り直せるようにするには……とか考えるのもダルいし、EC2へのSSHする方法やEC2へリポジトリをチェックアウトする方法も考えないといけないし。 なのでしばらく考えてたんだけど、Lambdaでやれるといいんだよな、という希望を現実的に考えて実装してみた。のがこちら。 github.com こいつは大変便利。リポジトリをcloneして、プライベートリポジトリからスキーマファイルを読み込むならデ

はじめに Lambda の共通処理と言えば Lambda Layers である。 Golang には共通モジュールの扱い方が他にもいくつかある(Git Submodulesを使うとか、ローカルのGitリポジトリを使う(過去の記事参照)とか)が、今回は、Lambda Layers を使った共通化の使用感を確認して考察してみよう。 Go Plugin パッケージを使う Lambda Layers を Golang で使う場合、Plugin パッケージを使用する。 まずは、このモジュールについてちゃんと知っておこう。 パッケージの説明は公式を確認。 ログ出力をする mylogger なプラグインを作ってみることにしよう。

LocalStackをローカル環境で実行する方法 LocalStackを実行する方法は以下の4通りあります LocalStack CLI Docker Docker Compose Kubernetes How to install LocalStack 今回は一番簡単そうな方法のDocker ComposeでLocalStackを実行する方法を紹介致します。 Docker Composeを使ってLocalStackを実行 LocalStackを起動するにはdocker-compose.ymlに起動設定を記載してコンテナを立ち上げます。 プロジェクトの作成とdocker-compose.ymlの作成 まずはプロジェクトの作成と、LocalStackをDocker上で起動するための設定を記載するファイルdocker-compose.ymlを作成していきます。 $ mkdir localsta

タグ AISDK V3SQSSNSSHA-256SHA-1SESServerless FrameworkSDK for JavaScript v3Tech Challenge DayS3 Object LambdaS3RDBMSPythonNuxtNode.jsNodeStep FunctionsTopEngineersLocalStackノーコード開発署名付きURL架空シナリオでアーキテクチャ検討動画冪等性保護タグパートナープログラムトラブルシューティングTypescriptスキルアップサーバーレスカンファレンスレポートアーキテクチャVue.jsVTLunit testMomentoLevel 300API GatewayAWS Data ExportsCloudFrontCI/CDCDKboto3aws-sdkAWS SummitAWS ConfigColimaAWS CodeWhis

はじめに AWS Lambda関数にてvCPU割り当てを増やして並列処理をしようと画策したのですが、沼にはまりかけてしまったのでここにメモ。 サマリ Pythonはマルチスレッドでは高速化できない AWS Lambda上でのプロセス間通信には共有メモリが使えない pipeのバッファがあふれる(64KiBを超える)想定のサンプルが見つからない ProcessPoolExecutorと同じように使える関数の並列処理呼び出しモジュールを作った 1. Pythonはマルチスレッドでは高速化できない Pythonではマルチスレッド(並行処理)とマルチプロセス(並列処理)は明確に区別されます。1プロセス中でアクティブなスレッドは常に一つの原則(GIL)があるため、複数のCPUコアを使用して時間当たりの処理量を稼ぎたい用途ではマルチスレッドは役に立たちません(IO待ちのブロッキングを回避したい用途では有

サーバレスアプリのビジュアル開発ツール「AWS Application Composer」が正式版に。簡単にAWSサービスの構成や連携、デプロイなどが可能に Amazon Web Services（AWS）は、サーバレスコンピューティング基盤であるAWS Lambdaを用いたサーバレスアプリケーションの開発やサービスの構成、デプロイなどをビジュアルに行える「AWS Application Composer」が正式版となったことを発表しました。 Application Composerは、昨年（2022年）12月に行われたイベント「AWS re:Invent 2022」で発表され、プレビュー版として公開されていました。 参考：［速報］AWS、サーバレスアプリのビジュアル開発ツール「Application Composer」発表。AWS re:Invent 2022 Application C

サーバーレスを使っているとインフラをAWSが管理してくれるので、開発者・運用者目線からは、すでに “安全・安心” が得られていると言えなくもないですが、そんな中でいろんなサービス運用者やプロダクト開発者と会話してきた経験談を基に さらなる “安全・安心” を目指すお話しをさせて頂きます。

はじめに ChatGPTのもとになっているOpenAIを使ったチャットボットを作ってる人はたくさんいるものの、ステートフルに会話を成り立たせてる例がなかったので作ってみました。 会話をデータベースに保存しないと実現できないので、割と面倒ですが、LambdaとDynamoDBを使えばそこそこシンプルに実現可能です。 初期設定 下記のような流れ。 OpenAIからキーをゲット LINEのBotを作ってキーをゲット Lambdaに関数を作る OpenAI Secret keyを取得する 下記URLから生成できる https://platform.openai.com/account/api-keys LINE あたらしいProviderをつくる Messaging API Channelをつくる 必須項目をうめる Auto replyはDisabled Greeting messagesはEna

Index 挨拶＆背景の話 構成 実装 感想 1. 挨拶 & 背景の話 こんちには、アプリケーションエンジニアで働いてます。キムでございます。 この前、運用してるアプリケーション内で発生するとあるエラーを検知する処理を入れたことがあります。 そこまで素晴らしい構成ではないが、この構成を作るときに、なかなか私と似てる状況の例文がなくてここに少しでも似てる悩みがある方に役に立てれば…と思って記録して残します。 2. 構成 前提条件 Cloudwatch Logsを使う FILTER機能はすでに別処理で動いてる 必ずリアルタイムでキャッチアップする必要はない １日１回のアラームぐらいでも構わない 要するに、Filterがすでに他のもので機能してるので、追加でなにかしたくて今回の構成を作りました。 正直Filterをもう少し汎用的に改善して運用することもいい案になったかもしれませんが、このような使

開発者の皆さまこんにちは！AWS Japan で Prototyping Engineer として働いている友岡です。 今日は AWS Lambda Web Adapter というソリューションをご紹介します。VM やコンテナ用に実装されたウェブアプリを、ほとんどそのまま Lambda でも動かせるようにするツールです。(なお、ここで言うウェブアプリとは HTTP を話す任意のウェブサーバーアプリを指します。) Lambda を初めて触る方がまず戸惑うのが、実行方法が Lambda 特有のものになることではないでしょうか。以下は TypeScript の例ですが、Lambda アプリケーションは基本的にこのようなインターフェースの関数 (ハンドラー) を実行する形になり、また外部からの入力はハンドラーの第 1 引数 event として渡されます。

概要 （この記事のアイコン、Lambdaっぽいの頑張って探した..！） 2020年にLambdaにコンテナイメージがサポートされて以来、Lambda開発をしたことがなかった。 AWS Lambda の新機能 – コンテナイメージのサポート 以前Lambdaを開発しているときは、適用するときにzip化が面倒だなとか、ローカルとクラウド上での動きが違うのでバグりやすいなとか、そのバグが適用しないと分からないので開発に時間がかかるなとか、色々と不便があったのを覚えている。 先日、画像圧縮処理で久々にLambdaを触り、その際コンテナイメージを使った快適なLambda開発環境を考えたので紹介する。言語はPythonだが他の言語でも同じ構成で大丈夫なはず。 結論 ディレクトリ構造

一行で説明 Python で書かれた Lambda function から RDS にアクセスする方法を説明します。 参考ページ AWS の公式ドキュメントにチュートリアルがありますので、これに準拠します。ただし、チュートリアルでは CLI ベースで操作しますので、それを適宜マネコンからの操作に置き換えて行きます。 チュートリアル: Amazon VPC の Amazon RDS にアクセスできるように Lambda 関数を設定する 手順 RDS を作成 Lambda のデプロイパッケージ（zipファイル）を作成 Lambda に付与する IAM ロールの作成 Lambda 関数を作成 テスト実行 順を追って詳しく見ていきます。 1. RDS を作成 AWSのマネコン上から RDS を作成してください。 作成には少し時間がかかります。 作成完了しましたらローカルからアクセスができることを確