Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? AWS LambdaでWebアプリケーションを開発する場合、コールドスタートが課題になる事が多いです。特にpandasやboto3のような重いライブラリを利用する場合は、その影響は無視出来ないものになります。 このコールドスタートについては、ユーザー側で対策出来る事があまりなく、いつも悩みの種になるのですが、つい最近、コンテナ形式のLambdaのコールドスタートについて検証されている記事を読み、pandasやboto3をimportする場合はコンテナ形式のLambdaの方がzip形式のLambdaよりもコールドスタートが短いと言う結論に

はじめに こんにちは。がれっとです。 先日ECSとRDSをやめて、AWSコストを9割削減しましたという記事を投稿したところ、興味深いコメントを見つけたので検証してみました。 結論 EFS上のファイルには通常のSQLite相当のロックを行うことができ、SQLiteの書き込みが競合してバイナリファイルが壊れるといったことは基本的にない。 検証内容 SQLiteは書き込みロックをOSによるファイルロックを使用して実現しているため、Network File System上のファイルに対してうまくいかないというコメントを発見しました。 たしかに、SQLite公式ドキュメントにもその旨が記載されています。 そのため、本当にEFS上のSQLiteは書き込みが競合して壊れるのか、検証していきます。 AWS 構成図 マウントポイントによってロックのかかり方が異なる可能性を否定できなかったため、念の為アベイラ

はじめに こんにちは。BEENOSのがれっとです。 AWS上にアプリケーションを構築する際、一般的なのはECS + RDSという組み合わせです。私も社内システムをそのような形で構築しました。 しかし、使わないときにもインスタンスが動き続けてしまうため、大量のトラフィックを捌かないアプリケーションにおいてはコストが見合わないものとなってしまいます。 そこで、ECS + RDSという構成からLambda + EFSの構成に社内システムを移行して、コスト削減した話を紹介します。 前提 以下の構成のアプリケーションを移行しました。 Blitz.js 内部に下記を使用 Prisma Next.js PostgreSQL テーブル数は12 (_prisma_migrationsテーブルを含めて13) AWS 構成図 移行前 移行後 リレーショナルデータベースを用いることが必須のアプリケーションを構築す

CloudWatch Logsを経由せずに直接S3バケットにログをPUTしたい こんにちは、のんピ(@non____97)です。 皆さんはAurora PostgreSQLのログをCloudWatch Logsを経由せずに直接S3バケットにログをPUTしたいと思ったことはあります? 私はあります。 CloudWatch LogsにDBのログを流すとそれなりに料金がかかります。特にlog_statementであればall、mod、pgaudit.logであればall、read、writeにすると大量のログが流れがちです。 Aurora PostgreSQL DB クラスターのクエリログ記録をオンにする - Amazon Aurora pgAudit 拡張機能のセットアップ - Amazon Aurora そのため、S3バケットにログを出力したいところでしょう。 S3バケットにログを出力する方

2024年11月22日に AWS Step Functions で新機能「変数 (variables)」と「JSONata」がサポートされた❗️ aws.amazon.com 特に「変数」は待望の機能なんじゃないかな〜と思う．今までは AWS Step Functions でタスク結果を引き回すときにどうしてもバケツリレーが必要で，正直 ResultSelector / ResultPath という構文も難しく（何度書いても忘れてしまう😇）ある程度複雑なワークフローを実装するときはデータシュミレーターがないと無理に思えるほどだった．個人的には AWS Step Functions は動くようになったら最高に便利だけどイメージ通りに実装するまでの過程が結構大変〜というイメージがある💨 Step Functions でタスク結果を引き回すときにバケツリレーするの本当に大変だったし Resu

[レポート]AWS Lambda Powertoolsを活用してサーバーレスAPIの開発を加速するワークショップに参加しました #SVS306 #AWSreInvent AWS re:Invent 2024で行われたワークショップ形式のセッション「SVS306: Accelerate development with AWS Lambda Powertools for serverless APIs」に参加しましたので、そのレポートをお届けします。 はじめに こんにちは、リテールアプリ共創部の塚本です。 AWS re:Invent 2024で行われたワークショップ形式のセッション「SVS306: Accelerate development with AWS Lambda Powertools for serverless APIs」に参加しましたので、そのレポートをお届けします。 初めて

2024-10-04〜05に開催された YAPC::Hakodate 2024 に参加してきました。楽しかったですね！！ 自分が応募したトークは残念ながら本編では採択されなかったのですが、前夜祭のrejectconで発表の機会を頂いたので話してきました。資料はこちらです。 speakerdeck.com とあるマイクロサービスを ECS から Lambda に(アプリケーションコードを変更せず) 乗り換えてコストが大幅削減しているグラフが見所です。あと最後、時間の関係で駆け足になってしまったのですが、LamuxというOSSを作りました。Lambdaの複数の関数/エイリアスをhost情報を元に呼び分けてくれるProxy(multiplexor)です。 LambdaでWebアプリケーションやAPIを開発するときのプレビュー環境構築にも使えますし、Lambda extensionとして動作させる

Lambdalithな構成でサーバーレスアプリケーションを実装する事例が増えてきていると思います。実際に Lambdalith と Single purpose Lambda が1つの API Gateway の中で共存できるのか、CDKを用いて実装し試してみました。 はじめに 最近、Monolith Lambda(以降 Lambdalith)な構成でサーバーレスアプリケーションを実装する事例が増えてきていると思います。 サーバーレスアプリケーションを作る際に、最初はLambdalithで構成し、必要になった場合に Single purpose Lambda と共存させれば良さそう、という意見が見られるようになりました。 今回は実際に Lambdalith と Single purpose Lambda が1つの API Gateway の中で共存できるのか、CDKを用いて実装し試してみま

AWS Lambdaはその誕生から10年が経ちますが、このカンファレンスに来られている皆様は普段からご利用になっている方も多いのではないでしょうか？ このセッションでは、Lambdaのスケーラブルでリクエストごとに独立して実行される仕組みを振り返りながら改めて、 Lambdaアーキテクチャデザインを理…

SREの菅原です。 カンムのサービスはWebサービス・バッチ処理なども含めて基本的にはECS上で動かしているのですが、簡単なバッチ処理はLambda+EventBridge Schedulerの組み合わせで動かすこともあります。 LambdaはECSに比べてDockerイメージのビルドやECRの準備が不要で作成の手間が少ないのですが、terraformでデプロイまで含めて管理しようとすると少し問題がありました。 terraformでのLambdaのデプロイの問題点 例えば以下のような構成のNode.jsのLambdaをデプロイする場合 / ├── lambda.tf └── lambda ├── app.js ├── package-lock.json └── package.json // app.js const util = require("util"); const gis =

はじめに Hi 👋 この記事では SQS を介して Lambda を呼び出す非同期処理の一連の流れを Datadog で可視化する方法を紹介します。 Datadog の提供している Tracer や Lambda Extension Layer については前提知識として解説していきます。 やりかた Python アプリから呼び出す場合は dd-trace-py を使うことで自動計装で Python アプリ -> SQS -> Lambda をトレースすることができます。これは dd-trace-py が SQS を呼び出すクライアントライブラリである botocore の自動計装をサポートしているためです。 では PHP アプリや Go アプリの場合はどうでしょう。実際 PHP で SQS を呼び出す aws/aws-sdk-php は dd-trace-php の自動計装対象ではないで

「詳解 AWS Lambdaコールドスタート」というテーマでClassmethod ODYSSEYに登壇しました #cm_odyssey #devio2024 Classmethod ODYSSEY OnlineとDevelopersIO 2024 OSAKAで「詳解 AWS Lambdaコールドスタート」というテーマで登壇させて頂きました。このブログでは登壇内容を抜粋しながら紹介していきます。 内容 コールドスタート時のLambdaのライフサイクル Lambdaのコールドスタートはざっくり以下のような流れです コールドスタートの過程で以下4つのフェーズが実行されています Create execution environment... Lambda実行環境が構築される Download code... 我々ユーザーがデプロイしたコードがLambda実行環境にダウンロードされる Start

本記事は AWSアワード記念！夏のアドベントカレンダー 18日目の記事です。 🎆🏆 17日目 ▶▶ 本記事 ▶▶ 19日目 🏆🎆 はじめに クラウド事業推進部の望月です。NRIネットコムでクラウドエンジニアをしています。 主にネットワーク領域を得意としています。 この度、2024 Japan AWS Top Engineersと、昨年に続き2024 Japan AWS All Certifications Engineersに選出いただきました。 Top Engineersについては、何が評価されて選ばれたのか全く分かりませんが、応募はしてみるものです。 Network領域で応募したもののService領域での選出だったので、狭き門なのですね。。 再流行しているコロナに見事に罹患しつつも、「AWSアワード記念！夏のアドベントカレンダー」の18日目を担当します。 先に結論 Lambd

はじめに サーバーレス大好きなエンジニアです！ みなさん、AWS Lambdaを使ってますか？ 日常的に利用しているけど、最適化についてはあまり考えていない方も多いのではないでしょうか。 実際、私もあまり意識せずに使っていました。 使い方をちょっと工夫するだけで、Lambdaのパフォーマンスがぐんと上がるんです！ 今回は、AWSのドキュメントに書かれているベストプラクティスを参考にしながら、Lambdaを最大限に活用する方法をお伝えします。 各セクションのタイトルを見ると、ちょっと難しそうに感じるかもしれませんが、できるだけわかりやすく解説していきますので、ぜひ参考にしてみてください！ 対象読者 Lambdaを使ったことがある人 もっと効果的に使いたいと感じている方 チームの開発効率とコードの品質を向上させたい方 Lambdaに興味がある方 では、早速始めていきましょう！ 目次 ハンドラー

こんにちは。ダイの大冒険ガチ勢のbun913と申します。 今回は、SlackとAWSの Lambda + Bedrock を利用して自分用のAI Chatを作成してみました。 画像引用: https://dev.classmethod.jp/articles/amazon-bedrock-slack-chat-bot-part2/ なお、上記画像も含めて、今回の構成はこちらの記事Amazon BedrockとSlackで生成AIチャットボットアプリを作る (その2：Lambda＋API Gatewayで動かす) | DevelopersIOを参考にさせていただきました。非常にわかりやすい記事で、その1の記事と重複するところも含めて丁寧に解説されている神記事です。筆者の方の丁寧さが伝わってきます。 今回の記事は技術的な構成は上記記事と同様ですが、環境をAWS CDK で作成していますので、興

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 実現したいこと 既存のAWSのバックエンドシステムにおいて、コスト削減のため開発環境とステージング環境のNATゲートウェイ（NAT Gateway）を夜間と休日の間は停止させるべく、NATゲートウェイを起動・停止させるLambdaを作成します。 待て、まだコードを書こうとするな 「NATゲートウェイ　自動　停止」とかで検索すると少ないながらもいくつか記事が出てきますが、理解せずにそれをまるまるコピペして実行させるだけではうまくいかないことが多いですし、望まないNAT削除をしてしまう可能性があります。 NATゲートウェイ、ルートテーブル、

2024/7/13(土)に開催された「JAWS-UG Okayama 2024」の懇親会LTにおける私の発表「『Lambdaレス』なサーバーレスについての考察」の発表資料になります。 https://jaws-ug-okayama.doorkeeper.jp/events/171535 #j…

はじめに AWS Lambdaは、イベント駆動型のサーバーレスコンピューティングサービスであり、API GatewayやEventBridgeなど様々なサービスから起動されます。 この記事ではAWS Lambdaでのインメモリキャッシュのポイントと、その実装方法について解説します。 キャッシュとは コンピューティングにおいて、キャッシュは、データのサブセットが保存される高速のデータストレージレイヤーで、通常は一時的な性質のものです。これにより、それ以降に同じデータのリクエストが発生した場合、データのプライマリストレージロケーションにアクセスするよりも高速にデータが供給されます。キャッシュにより、以前に取得または計算されたデータを効率的に再利用できるようになります。 AWSでキャッシュを活用することのメリット AWSでキャッシュを活用することで以下のようなメリットがあります。 パフォーマンス

🤔 どんな人向けの記事か ☑︎ これから AWS Step Functions で定期バッチのワークフローを構築したい人 ☑︎ AWS Step Functions の同時実行数制御を行いたい人 🐈‍⬛ 背景 AWS Step Functions(以下、Step Functions)のユースケースの一つとして、EventBridge Schedulerと組み合わせた定期バッチの実行があります。 EventBridge自体の実行保証は、1回以上となっています。そのため、スケジュールしたイベントが複数回発行されるケースが存在します。また、定期バッチを行う場合、特定のタイミングでバッチの実行時間が長くなり、実行中に次のバッチが開始されることがあります。 基本的には、冪等性を保つことで重複実行されても問題ない実装をアプリケーション側で行うことが重要ですが、冪等性のある実装でも、実行コストが高い

AWS Lambda のハンドラは辛い こんにちは！AWS Lambda初心者です！ AWS Lambda と言えば、サーバレスかつ非常に安い価格で無限にスケールアウトできる処理を書けることで有名ですが1、 2022年04月の Function URL アップデート でAPI Gatewayなど用いなくてもラムダ単体かつ無料でHTTPリクエストを処理できるURLを持てるようになり、かなりの神サービスになりました。 弊社でも Function URL でラムダによる外部連携用のサーバを立てておき、ちょっとしたHTTPのリクエストを受け取って、他所のサーバにデータ連携したり、S3にリクエスト中のデータを保存したりする用途に積極的に使っています。 さて、そんな神サービスである AWS Lambda 君ですが、いざ実際にJavaScriptでHTTPサーバを書こうとすると……　ちょっと辛い！ //