[アップデート] AWS Lambda がログを送信する CloudWatch ロググループをカスタマイズ可能になり、複数の Lambda 関数のログを集約できるようになりました こんにちは、CX 事業本部 Delivery 部の若槻です。 最近の AWS Lambda アップデートで、ログ出力の仕様を柔軟に設定できる機能が追加されました。 上記アップデートで追加された機能は以下の 3 つです。 Lambda のログを独自のロギングライブラリを使用せずに JSON 構造化形式でキャプチャ可能に Lambda のログレベル（ERROR, DEBUG, INFO など）をコードを変更することなく制御できる Lambda がログを送信する CloudWatch ロググループを選択できる 今回はこのうち 3 つ目のアップデートである、Lambda がログを送信する CloudWatch ロググルー

こんにちは、CX 事業本部 Delivery 部の若槻です。 最近のアップデートにより、AWS Lambda コンソールからメトリクス、ログ、トレースが単一のペインで表示可能になりました。 AWS Lambda のマネジメントコンソールでは、Lambda 関数の実行状況を CloudWatch や X-Ray のコンソールに移動することなく確認できる画面が用意されています。 アップデート前はその画面は次のようにメトリクス、ログ、トレースのがタブで分かれていたため、それらを横断的に確認したい場合にペインを切り替える必要がありました。 Monitoring AWS Lambda errors using Amazon CloudWatch | AWS Cloud Operations & Migrations Blog からの引用 今回のアップデートにより、AWS Lambda コンソールでメ

コーヒーが好きな emi です。 Kinesis Data Streams にデータを流し込むときのデータの動きや構造を理解するために絵を描いてみました。 また、Lambda から Kinesis Data Streams に実際にデータを流し込み、挙動とデータの順番を見てみました。 Kinesis Data Streams の内部の仕組みと用語解説 見覚えのある方も多いかもしれませんが、Kinesis Data Streams のアーキテクチャは以下のようになっています。 プロデューサー プロデューサーと呼ばれる各種アプリケーションや AWS サービスから Kinesis Data Streams にデータを流し込みます。 コンシューマー Kinesis Data Streams からレコードを取得して処理します。 シャード 流れてくる一連のデータレコードを保持します。データが乗っかるベ

こんにちは、つくぼし(tsukuboshi0755)です！ 2023/11/6に開催されたJAWS-UG朝会 #51にて、「インフラエンジニアのためのLambda実践入門」というタイトルでLT登壇しました。 JAWS-UG 朝会とは？ @MasaruOguraさん主催の、朝に開催されているJapan Amazon Web Servicesのユーザグループの勉強会です。 こちらの朝会では、AWSに関する様々なテーマのLTを視聴する事が可能です。 LT資料 補足 LT実施時はまだなかったのですが、Lambdaのロギング設定を柔軟に設定できるアップデートが発表されたので、こちらも合わせてご確認ください！ 参考サイト AWS Lambda（イベント発生時にコードを実行）| AWS AWS Lambda x86_64とarm64で処理速度どれだけ違うか調べてみた 料金 - AWS Lambda ｜A

はじめに 先日、複数のデータに対して同じ処理を実行させたいという場面があり、Step FunctionsのMapステートを使って実装しました。とても便利だったので、復習を兼ねて記事に残しておこうと思います。 やりたいこと 下図のようなフローをCDKで作成します。 まずGetListで処理を実行させたいデータの一覧を取得します。続いてその一覧をMapステートに渡して、各データに対してSomeProcessを並列に実行させるようにします。 環境 本記事を執筆したときの環境は以下になります。 AWS CDK 2.84.0 Node.js v18.16.0 また、CDKのインストールやブートストラップ等は実施済みであるとします。もしまだ実施していないという場合は、公式サイトを参考にしてみてください。 AWS CDK の開始方法 - AWS Cloud Development Kit (AWS CD

はじめに 私が担当しているプロジェクトではDynamoDBを使っています。複数のパーティションキーを指定してデータを取得したいのですが、何度もGetItemすると時間がかかるのでSQLのIN句のように一括で取得する方法がないか調べました。 テーブル サンプルとして以下のようなemployeeテーブルを作成しました。 id がパーティションキーでname, department_idを属性として持っています。 パーティションキーを複数指定して一括で取得する 上記のテーブルからデータを取得するLambdaファンクションをPythonで実装してみました。キーを複数指定して一括して取得する場合はbatch_get_itemを使っています。パーティションキーのidを複数指定できます。 import boto3 from boto3.dynamodb.conditions import Attr dy

初めに 本日AWS SAM CLI v1.98.0がリリースされました。 今回のアップデートではsam remoteコマンドに新たなサブコマンドtest-eventが追加されSAM経由でAWS環境上のLambda関数のテストイベントを操作できるようになります。 また合わせてsam remote invokeコマンドに新たなオプション--test-event-nameが追加されAWS環境上に設置されているイベントデータを使えるようになっております。 remote invokeコマンドについては今年の6月ごろのアップデート追加されたサブコマンドでSAMを通してローカルではなく実際のAWS環境上のLambda関数を実行できる機能となります。 以前はsam remote invokeは実際にデプロイされたAWS環境上の関数を呼び出すことができたのですがテストイベントは取り扱うことができず、イベント

AWS Hands-on for Beginners サーバーレスアーキテクチャで翻訳 Web API を構築する をやってみた Classmethod Canadaでオペレーション業務をしているaiです。日々いろいろなサービスの調査等をしていますが、復習のため基本的な構成のハンズオンをやってみました。このハンズオンの内容をまとめて書きたいと思います。 コースで構築するアーキテクチャ リクエストとして「こんにちわ」と入力すると、「Hello」と英語で返すものを作ります。 〜 流れ 〜 API Gatewayがリクエスを受け付けると、Lambdaを呼び出す Lambdaの中でAmazon translate(翻訳サービス)を呼び出し、翻訳結果を取得する その結果をAPI Gatewayに返し、APIレスポンスを送る 翻訳のインプット・アウトプットの履歴をDynamoDBに履歴を残す 1. L

データアナリティクス事業本部のueharaです。 今回は、AWS CloudShellを利用して簡単にAWS Lambda (Python)のLambda Layerを作成してみたいと思います。 はじめに 今回はLambdaのランタイムはPython 3.9を想定することにします。 こちらのページに記載の通り、Python 3.9ランタイムは「Amazon Linux 2」上で動作しています。 したがって、基本的にはLambda Layer用のzipファイルについてもAmazon Linux 2上で作成した方が安全です。 Amazon LinuxはDockerイメージが公開されているため、当該イメージを用いてzipファイルを作成することもできますが、今回はAWS CloudShellを利用してLayerを作成する方法をご紹介します。 CloudShellを利用することで、ローカル環境にレイ

こんにちは、臼田です。 みなさん、LambdaLambdaしてますか？(挨拶 先日サポートされたAWS Lambdaの脆弱性のあるコードを検知できるAmazon InspectorのLambdaコードスキャン機能を使って、Lambda PythonのOSコマンドインジェクションを検知させてみました。 概要 先日のre:Inforce 2023にてAmazon InspectorがLambdaのコードスキャンができるようになりました。詳細は以下をご確認ください。 以前からコードに含まれるパッケージの脆弱性は検出できていましたが、このアップデートによりコードで作り込んだ脆弱性、例えばSQLインジェクションとかXSSとかも検出できるようになりました。 というわけで、これを試すためにPythonでOSコマンドインジェクションをやってみよう、と思いついて試しました。 実装 まずはAmazon Ins

OpenAIより公開されている音声認識システムであるWhisper APIとChatGPTを使って、音声データから議事録作成するLINEボットを作ってみました(ボットの友達追加URLは公開していません)。既に同じようなことをしているブログもいくつかありますが面白そうだったのでやってみました。 作ったもの ユーザーがLINEのトーク画面から音声ファイルを送ると、議事録が返信されます。以下のスクショはクラスメソッドがYoutubeに出している動画(15分でわかるクラスメソッド)の冒頭３分間程度の音声データを渡してみた結果です。 https://www.youtube.com/watch?v=IgBqV7joJ0E 議事録の内容には間違った内容が書かれている場合もあったため注意が必要です。機密情報なども渡してはいけません。3分間ほどの音声で返信が得られるまでに30秒ほどかかりました。 処理の流れ

[セッションレポート]Java on Lambda のコールドスタートを乗り越える、これからのサーバーレスアプリケーション(AWS-26) #AWSSummit こんにちは。AWS事業本部の木村です。 今回は 2023 年 4 月 20 - 21 日にわたって開催された AWS Summit Tokyo 2023 のセッションレポートです。 セッション概要 AWS Lambda は 2014 年に誕生して以来、様々なランタイムをサポートをし、多様なワークロードで利用されています。Java もクラウドに限らず様々な環境で活用をされているプログラミング言語です。一方、これまで Lambda と Java はサーバーレスの特性と言語特性にギャップがあり、起動速度が長い等の課題から活用をすることが難しい場合がありました。ですが今回はその課題を克服し、サーバーレス環境でどのように Java を活用す

Windowsから外部ライブラリを利用するPythonのLambdaへデプロイする機会があったので、やり方をご紹介します。ついでにバッチ化します。 Windowsから外部ライブラリを利用するPythonのLambdaへデプロイする機会があったので、やり方をご紹介します。 やっていることは次の公式ドキュメントと同様です。 .zip ファイルアーカイブで Python Lambda 関数をデプロイする - AWS Lambda 本ブログでは、この公式ドキュメントの内容に加えて、もうちょっと手順を詳しく解説していきます。 最終的なバッチ 最初にこれからやる作業をまとめたバッチファイルを載せておきます。 これ見て何となくわかるようなら、この先は読まなくても大丈夫です。 if exist my-deployment-package.zip del my-deployment-package.zip

はじめに 題名の通り、電話でChatGPTが質問に答えてくれるチャットボットシステムを構築してみました。 電話をかけて質問すると、ChatGPTのAPIを利用し、質問に答えてくれます。音声は、Amazon Connectで用意されているものを使用しています。 下記は、イメージ図になります こちらは、電話をかけた時の動画になります 動画では、ChatGPTのレスポンスに時間がかかっているように思えます。 レスポンス時間を短縮する方法をブログ化しましたので、今回の記事を読んだ後に、参考にしてください。 構成図は、以下になります 構成図については、Connectのコンタクトフロー内で、Lexで質問内容を受け取り、音声から文字起こしされ(裏でAmazon Transcribeが利用)、Lambdaが文字起こしされた質問テキストをChatGPT APIにリクエストします。 レスポンス内容をLexに渡

こんにちは、CX事業本部 Delivery部の若槻です。 今回は、AWS Lambda関数の同期呼び出しを非同期に行う方法を確認してみました。 やりたいこと 具体的にやりたいことは次の通りです。Lambda関数の挙動をコードでテストするのが目的です。 Lambda関数を同期的に呼び出し 1の2秒後に別の処理を実行 1の呼び出しのレスポンスペイロードを取得 1と3の間に2を行いため、1と2の処理を非同期で実行する必要があります。 Promise.all()を使えば良さそう 複数の処理を非同期で実行しつつ実行結果を取得したい場合はPromise.all()を使うと良さそうです。 Promise.all() - JavaScript | MDN Promise.all()は複数のPromiseオブジェクトを配列で指定し、全てのPromiseが解決できたらそれぞれの戻り値を配列で返します。 con

API Gateway + REST + Lambda 非プロキシ(カスタム)統合をServerless Frameworkで実装してみた はじめに データアナリティクス事業本部ビッグデータチームのyosh-kです。 今回はAPI GatewayをトリガーとしてLambdaを実行し、Redshift Serverlessの対象tableのデータを参照する一連の流れをServerless Frameworkで実装したいと思います。 構成図 簡単な構成図としては以下になります。 今回は、リクエストボディに対象tableを指定するため、POSTメソッドでリクエストします。また、リクエストの際は、API Keyの指定を必須とします。 前提条件 Redshift serverlessが事前に構築されていることとします。 まだの方は以下ブログの「Redshift Serverless構築」項目を参考に

データアナリティクス事業本部のueharaです。 今回はAWS Lambda (Python)で、WebアプリケーションをテストするためのポータブルフレームワークであるSeleniumを使える環境を構築してみたいと思います。 バケットの準備 今回はLambda Layerを構築することになりますが、その資材をS3に配置するため、まずバケットを用意します。 AWSコンソールでサービスからS3を検索します。 「バケットを作成」から作業用のバケット「selenium-work」という名前のバケットを作成します。 その他の設定はデフォルトのままとします。 パッケージの用意 まず、Lambda (Python)でSeleniumを利用できるようにするために、各パッケージの用意を行います。 パッケージの用意には、無料で使えるサービスであるAWS CloudShellを利用します。 Seleniumのダ

[2022年最新版]Lambdaの裏側教えます！！A closer look at AWS Lambda (SVS404-R) #reinvent Lambdaファン必見 Worker ManagerをAssignmentサービスに置き換えた話、SnapStartの裏側でSparse filesystemを利用している話など、Lambdaの裏側がどうアップデートされたのかが分かります CX事業本部@大阪の岩田です。今年のre:inventは現地参加できなかったのですが、毎年楽しみにしていたLambdaの裏側を解説するセッションSVS404(番号は年によって微妙に違います)の動画がYoutubeにアップされていたので、さっそく視聴しました。これまで言及されてきた内容に加えて新たな解説も増えているので改めてレポートをブログにまとめます。 セッション動画 セッション動画はこちらから確認可能です

こんにちは。サービス部の武田です。 Dockerのプラン値上げなどにより代替ツールを検討している方も多いでしょうか。いくつかのサイトを見ていると次の2個がよく候補に上がっています。 Rancher Desktop Podman Desktop 私は今回、Rancher Desktopを使ってみたのですが、CDKでテストを実行するとエラーになってしまいました。このエントリでは具体的な状況と解決方法について紹介します。 環境 次のような環境で確認しています。 Rancher Desktop 1.6.2 $ sw_vers ProductName: macOS ProductVersion: 12.4 BuildVersion: 21F79 $ uname -m arm64 $ docker info Client: Context: default Debug Mode: false Plug

APIGateway + Lambdaにserverless-expressを採用することでコールドスタートヒットが減るかもしれない話 APIGateway + Lambdaにserverless-expressを採用すると、複数のURLパス+HTTPメソッドの組み合わせを1つのLambda関数にまとめることができます。 これによりAPIコール時のLambdaコールドスタートのヒット率が減るのではないかと思い、簡単にではありますが検証してみました。 サンプルとして次のようなラーメンの具を取得するAPIを作って試していきます。 GET /ramen-gu/jiro # 二郎系ラーメンの具を返す GET /ramen-gu/iekei # 家系ラーメンの具を返す 環境 macOS Monterey node 16.15.0 typescript 4.7.4 aws-cdk-lib 2.46.0