はじめに こんにちは、atama plus でデータエンジニアをしている kumewata です。 先日リリースした新機能のダッシュボードを作ることになり、初めて Streamlit で実装をしました。既存コードを読んだり、自分で実装する中で実装・運用を楽にする Tips がたまったので紹介します。 弊社では Streamlit を利用したアプリケーションを簡単にデプロイできる基盤があり、今回はそれを利用しています。詳しくはこちらの記事をご覧ください。 Streamlit とは Streamlit はデータアプリケーションを簡単に構築できるフレームワークです。Python の実装でデータの可視化やインタラクティブな UI を作れ、とても便利です。 弊社でも BigQuery と連携したダッシュボードやプロトタイプ開発などで利用しています。 Tips 紹介 コンセプト理解 Streamlit

はじめに AWS LambdaのPythonコーダーの皆さんに、朗報です！ 2024年11月にコールドスタート対策の有効な手段であるLambda SnapStartがPythonにも対応しました！（.NETにも） 今回はSnapStartの基本的な機能の復習と、SnapStart利用時の注意点についてまとめます。 SnapStart復習 それでは、SnapStartの概要とそもそもSnapStartが登場した背景をご紹介します。 SnapStart以前(～2019年) ～コールドスタートとの戦い～ 2014年にリリースされたサーバーレスコンピューティングサービスであるAWS Lambdaですが、当初からコールドスタートという問題がありました。 コールドスタートとは、Lambdaサービスが実行環境の準備、コードのセットアップのセットアップに時間がかかってしまう問題を指します。 上記のコールド

AWS 便利ですよねー。 私はほとんど経験がないのですが必要に駆られて最近触ってます。その中でも苦戦したのが表題の Lambda による画像のリサイズ処理です。 コードは Python で書かれていますが専門ではないのでこの記事はメモの意味も含めて作成しています。そのため、詳しい解説などはありません。予めご了承ください。 S3 フォルダ構成 今回の開発環境では S3 のフォルダ構成は下記のようになっています。 単純に bucket/contents 配下に画像などを格納しているだけです。 仕様 Lambda でリサイズ処理を実行する上での仕様は下記のようにしました。 contets/ 配下に画像がアップロードされたら M サイズと S サイズの画像をリサイズして複製し、ファイル名の末尾にそれぞれ "-m", "-s"を追加する（アスペクト比は維持）。そして、リサイズした画像はオリジナル画像

2023-10-01T00:00:00.000Z 3a1e28ee-19ba-3ae8-3af1-2a2ae2cf1a2b Task timed out after 300.49 seconds Lambda を実装する上では冪等性が重要で、このようにタイムアウトが発生したとしても次に開始される処理には影響がないようにすることが求められます。が、場合によっては上記のタイムアウト時の仕様が困ったことになる場合があります。当社で Lambda を使った処理を実装している上でも、Lambda 内のある処理がされないうちにタイムアウト時間に到達してしまうことで、運用上想定していない挙動が発生してしまうことがあり、頭を悩ませていました。 Lambda を graceful にシャットダウンさせたい Python にはデコレータ[1]という概念があり、これを使うことで関数の前後に任意の処理を追加するこ

本日より、Python および .NET のマネージドランタイムを使用する関数で Lambda SnapStart を使用することで、1 秒未満の起動パフォーマンスを実現できるようになりました。Lambda SnapStart は、リソースをプロビジョニングしたり複雑なパフォーマンス最適化を実装したりすることなく、応答性が高くスケーラブルなアプリケーションを簡単に構築できるようにするオプトイン機能です。 予期しないトラフィックの急増に対応する、レイテンシーの影響を受けやすいアプリケーションでは、起動時のレイテンシーが高くなると (コールドスタート)、ユーザーエクスペリエンスに遅延が生じる恐れがあります。Lambda SnapStart を使用すると、関数のコードが事前に初期化され、初期化済みの実行環境のスナップショットが作成されてキャッシュされるため、起動時間を短縮できます。関数が呼び出さ

こんにちは、LayerX AI・LLM事業部テックリードの須藤です。 今回は、AI・LLM事業部が提供する「Ai Workforce」のインフラ構成について紹介します。 先日、Ai Workforceの紹介サイトがついに公開されました！ getaiworkforce.com また、プロダクト開発チームも以下の記事で紹介されていますのでこちらも合わせてご覧ください。 tech.layerx.co.jp Microsoft Azureを選定した理由 Ai Workforceのクラウド基盤にはMicrosoft Azureを採用しています。その主な理由は以下の2点です。 Azure OpenAIとのシームレスな連携 Ai WorkforceではAzure OpenAIを活用しており、同じAzure環境内でデータのやり取りができるため、セキュリティの向上とパフォーマンスの最適化が見込めます。かつ、

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Remember when people said AI would replace developers? Our data tells a different story. As AI rapidly expands, developers are increasingly building AI models into applications and engaging with AI projects on GitHub in large numbers. At the same time, we’re seeing an unprecedented number of developers join GitHub from across the globe, and many of these developers are contributing to open source

Pythonによるイベントソーシングへの挑戦と現状に対する考察 / Challenging Event Sourcing with Python and Reflections on the Current State

こんにちはイワツカです。 今年の夏は、特に猛暑日が続いていたので、例年にも増して素麺を食べてました。 さて今回は、AWS Lambda（Python）でLambda Web Adapterを用いてレスポンスストリーミングする方法を試してみたので紹介します。 1. 概要 1.1 レスポンスストリーミングとは？ 1.2 Lambda Web Adapterとは？ 2. アプリ作成 2.1 実行環境 2.2 ディレクトリ構成 2.3 FastAPIの実装 2.4 Streamlitの実装 3. アプリを動かして見る 3.1 チャットアプリをデプロイ 3.2 Streamlitを起動する 3.3 チャットを試してみる 4. まとめ 1. 概要 1.1 レスポンスストリーミングとは？ レスポンスストリーミングとは、HTTPリクエストに対してサーバーがレスポンスを一度にまとめて送るのではなく、データを

2023年11月、Lambdaの高度なログ記録コントロール機能がリリースされ、JSON形式のログを簡単にCloudWatch Logsに出力できるようになりました。 Pythonの場合は具体的にどのようなログになるのか気になったので、実行してみました。 使用したランタイムはPython 3.12です。 JSON形式のログの例 サンプルコード： import json import logging logger = logging.getLogger() def lambda_handler(event, context): logger.info('メッセージ1') logger.info('メッセージ2') logger.info(event) logger.info(json.dumps(event)) logger.info('第1引数（msg）は必須みたいです', extra=ev

はじめに こんにちは、カレー愛好家の皆さん！今回は、Pythonと大規模言語モデル（LLM）を使って、カレーに関する知識を管理し、質問に答えるシステムを作ってみました。このシステムでは、カレー好きの人々のネットワークや、お気に入りのカレー店、新しいメニューなどの情報をグラフ構造で表現し、それをベースに質問応答を行います。 システムの概要 このシステムは以下の主要な機能を持っています： カレー関連の知識をグラフ構造で表現 ユーザーのコメントを分析し、新しい知識をグラフに追加 グラフの可視化（日本語対応） グラフ情報を基にした質問応答 それでは、知識グラフの魅力について詳しく見ていきましょう！ 知識グラフのメリットと有益性 皆さんは「知識グラフ」という言葉を聞いて、どんなイメージを持ちますか？難しそう？複雑そう？確かに最初はそう感じるかもしれません。でも、実はとてもパワフルで、私たちの日常生活

Azure を探索 Azure について 安全かつ将来を見据えた、オンプレミス、ハイブリッド、マルチクラウド、エッジのクラウド ソリューションについて調べる グローバル インフラストラクチャ 他のどのプロバイダーよりも多くのリージョンを備える持続可能で信頼できるクラウド インフラストラクチャについての詳細情報 クラウドの経済性 Azure の財務上および技術的に重要なガイダンスを利用して、クラウドのビジネス ケースを作成する 顧客イネーブルメント 実績のあるツール、ガイダンス、リソースを使用して、クラウド移行の明確なパスを計画する お客様事例 成功を収めたあらゆる規模と業界の企業によるイノベーションの例を参照する

AWS Lambda は、マネージドランタイムおよびコンテナベースイメージの両方として Python 3.9 をサポートするようになりました。Python 3.9 で AWS Lambda 関数を記述し、TLS 1.3 のサポート、新しい文字列および辞書のオペレーション、ならびに改善されたタイムゾーンのサポートなどの新機能を使用できるようになりました。Python 3.9 には、コードを変更せずに恩恵を受けることができるパフォーマンスの最適化も含まれています。Lambda による Python 3.9 のサポートの詳細については、Python 3.9 runtime now available in AWS Lambda のブログ投稿を参照してください。 Python 3.9 を使用した Lambda 関数をデプロイするには、Lambda コンソールからコードをアップロードし、Python

データ統括部AI基盤部の竹村( @stakemura )です。本記事では、このたびリリースされた、自分の声をキャラクターの声に変換できるWebサービス VOICE AVATAR 七声ニーナ を支えるバックエンド技術についてお話しします。 本サービスはDelight Boardという部署横断型のプロジェクトにて、1000人を超える社員投票により自分の案がまさかの採択となったことがきっかけとなります。幸運にも、百戦錬磨のプロジェクトメンバーに助けられ今日のリリースを迎えましたが、採択当時は人脈も信用貯金も何もない入社一年目の思いつきにすぎず、言い出しっぺである自分の力不足によりタイトなスケジュールでの開発となってしまいました。本記事では、その限られた開発期間の中で、自分が何を考えて実装したかを中心にお伝えします。 サービングに求められる要件 七声ニーナの音声変換はブラウザから受け取った入力音声

Azure を探索 Azure について 安全かつ将来を見据えた、オンプレミス、ハイブリッド、マルチクラウド、エッジのクラウド ソリューションについて調べる グローバル インフラストラクチャ 他のどのプロバイダーよりも多くのリージョンを備える持続可能で信頼できるクラウド インフラストラクチャについての詳細情報 クラウドの経済性 Azure の財務上および技術的に重要なガイダンスを利用して、クラウドのビジネス ケースを作成する 顧客イネーブルメント 実績のあるツール、ガイダンス、リソースを使用して、クラウド移行の明確なパスを計画する お客様事例 成功を収めたあらゆる規模と業界の企業によるイノベーションの例を参照する

安全なGraphQL API開発が出来るって本当？ FastAPI+GraphQL+テストで安全なAPI開発PythonテストGraphQL型定義FastAPI はじめに この記事はZOZOテクノロジーズ アドベントカレンダー#2 16日目の記事です！ TL;DR REST上でGraphQLを使用するメリットを説明 ORMを使用してPostgresを操作 GraphQLで用いられるスキーマ、ミューテーション、クエリについて説明 Grapheneを使用してGraphQLをFastAPI上で使えるようにする Grapheneとpytestを使用してGraphQL APIをテストする なぜREST上でGraphQLを使用するか RESTは、WebAPIを構築するためのデファクトスタンダードです。CRUD操作ごとに複数のエンドポイント（GET、POST、PUT、DELETE）を設計します。これらの

Lambda Extensionsについて AWSのblogで丁寧な説明がありますので、Extensionsそのものの詳細な説明は本稿からは割愛します。それでも、話の流れで必要な部分は少しずつ紹介しながら進めます。 AWS blog AWS Lambda Extensions (プレビュー) のご紹介 AWS Lambda Extensions (プレビュー) を構築する 仕組み AWS Lambda Extensions (プレビュー) のご紹介でも書かれている通り、Extensionsはinternalとexternal二つのモードで実行することができます。 Internal extensionsは、利用者のコードと同じランタイムプロセスの一部として実行されます。ランタイムプロセスの起動を言語固有の環境変数とラッパースクリプトを用いて変更できます。Internal extensions