fluentbit

CTO室の岩本 (iwamot) です。 4月7日のプレスリリースでご案内の通り、ENECHANGEでは、ChatGPTを活用した業務効率化を進めています。 私も寄与したく、SlackへのChatGPT bot導入を提案し、実際に導入しました。結果、70名以上に利用されており、多少は貢献できたと思っています。 導入に際しては、安全性を高めるため、いくつか手を打ちました。具体的には「入力内容の保全・機密情報のマスキング・Azure OpenAI Serviceの利用」です。 以下、詳しくご紹介します。

SREチームの左サイドバック @kenzo0107 です。 今回は ECS コンテナログから特定のリクエストによるログを抽出し、 Athena でクエリ捜査できる様にした話です。 コンテナログから特定リクエストによるログを抽出する目的 以下への一助としたい為に実装しました。 アプリケーションの改善となるデータの集計 問題発生時の調査 コンテナログはどのように出力されるか ECS コンテナログを JSON 形式で出力すると以下の様になります。 { "source":"stdout", "log":"{\"method\":\"GET\",\"path\":\"/sre/boshuchu\",\"…

従来、GKE Standard の Logging エージェントは、ワークロードの出力ログ量に関わらず基本的には同じ設定の Logging エージェント (Fluent Bit) がデプロイされるようになっていました。 今回のアップデートでは、高いログスループットが求められる（1 秒あたりのログの処理量がより多い）ノードのために専用の Logging エージェントをデプロイする機能が追加されました。 Logging エージェントの何がどう変わったのか、実際にクラスタを用意して確認してみました。 今回のアップデートは下記のリリースノートから確認できます。 cloud.google.com また、…

ENECHANGE の CTO 室でインフラエンジニアを務めている岩本です。 Ruby の fluent-logger gem を使って Fluent Bit にログを渡せるかどうか調べてみました。調査結果と、調査した背景をまとめておきます。

CloudWatch Logsにログを溜め込むのはコスト的に避けたいですよね。CloudWatch LogsにはS3にログをエクスポートする機能がるのですが、なぜか手動実行にしか対応していません。自動的にエクスポートするにはLambdaを定期実行するか、EventBridge Schedulerで定期的にエクスポートすることになります。 EventBridge SchedulerでS3にエクスポートするのがもっとも簡単な方法だと思うのですが、これには考慮する点があります。それはCloudWatch Logsの削除のタイミングとEventBridgeの実行のタイミングが同期していない点です。削除…

Grafanaは何ができる？ 他の似たツールとの違いメリットは？ データソースに使えるものが豊富（InfluxDB、Prometheus、Graphite、OpenTSDB） データソースごとにそれ用のクエリ作成パネルが用意されている。 データの収集は別のfluentbit,fluentd,prometheusなどと組み合わせる必要がある。 可視化のためのダッシュボードのカスタマイズ性が高い。 Prometheusなど時系列データベースから収取したデータの可視化向きなUIでダッシュボードを作成できる。 Lokiと連携してログの可視化、検索もできる。 これといった使い所は？類似ツールとの使い分け…

こんにちは！スタッフエンジニアの @kenkoooo です。estie は2023年「スタッフエンジニア」という職種を新設し、僕がその1人目として活動していましたが、2024年から新たに Lin と tokuhara の2名がスタッフエンジニアとなりました。この記事では3名のスタッフエンジニアによる対談をお届けします。estie でスタッフエンジニアがどのように活躍しているかをお伝えできれば幸いです。 対談メンバー Lin (@Ryosuke839): 2023年4月入社。データ領域でスタッフエンジニアを務める。estie 入社以前は SoundHound Inc. にて Staff Soft…

はじめに こんにちは！コンテナ基盤グループの楠本です。 前回の記事EKSコンテナ移行のトラブル事例：FargateにおけるAZ間通信遅延の解消 - MonotaRO Tech Blogを投稿してから半年以上も経ちました。（時が流れるのは早い… 前回はSREグループコンテナ化推進チームとしてでしたが、今回は挨拶の通りコンテナ基盤グループとしての投稿です。 元々ECエンジニアリング部門のSREグループとして活動していましたが、今年初めに組織編成があり、プラットフォームエンジニアリング部門の１グループとして活動しています。 今回は組織とのミスマッチからEKS on FargateからEKS on E…

こんにちは。サーバーサイドエンジニアの @atolix_です。 今回はメドピアで運用しているアプリケーションのkakariの監査ログをDB管理からS3管理に移行したので、その方法と手順について紹介したいと思います。 kakari.medpeer.jp 背景 従来kakariではAuditedを用いて、監査ログを専用のauditsテーブルに保管する処理を行っていました。 github.com # application_record.rb class ApplicationRecord < ActiveRecord::Base ... include Auditable # auditable.…

はじめに FireLens の構成 awsfirelens ログドライバー FluentBit・Fluentd の config 生成機能 ログ損失の回避策の課題 init を利用した INPUT の設定のカスタマイズによる解決策 おわりに カスタム init のソースコード はじめに AWS FireLens は、Amazon ECS で動作するコンテナが出力するログを、FluentBit または Fluentd を使って柔軟にルーティングするための仕組みです。特に、タスク定義のみでログルーティングの設定が可能なため、構成管理をシンプルにできる点が特徴となっています。 しかし、大量のログを欠…

よーわからん。複数出すのが最終目標だけどそもそも単品すら出ないからまとめ 説明はしょるところ 必要なもの STEP１：タスクの実行環境を作る STEP２：アプリケーション、ログのコンテナイメージを作る STEP３：タスク定義を作る STEP４：タスクを実行する STEP５： ログを確認する 途中困って解決したやつ 説明はしょるところ 大方端折るけど、大体以下は知っている前提 AWS VPC関連 ECSの用語（タスクとかタスク定義とかサービスとか） Dockerのコマンド CloudFormation シェルのコマンド 必要なもの ゼロから作るの面倒。大きく5STEPぐらいで。 STEP1：タス…

モノタロウのプラットフォームエンジニアリング部門 コンテナ基盤グループの宋 明起です。 私たちは、アプリケーション開発者からコンテナシステムの認知負荷を取り除き、アプリ開発に専念できるコンテナ基盤の構築と基盤を改善し、開発者はより楽に、より安全にアプリケーションのデプロイと運用できるように支援しています。 背景 基本設計 方針 構成 サンプル モニタリング サンプル 障害 障害1. Memory overflowエラーが発生 障害2. 大量のログが欠損になっている (refresh_interval) 障害3. まだ一部ログが欠損になっている (Prestop) [FAQ] 背景 モノタロウで…

自己紹介 エンジニアとしての経験は約25年になります。最初の10年ほどはSIer業界でWindows系や.NET系の開発を専門にしておりましたが、最近15年ほどはWeb業界の自社開発企業界隈でLinux系のバックエンド開発およびクラウドインフラ周りの設計/構築業務に携わっております。 ここ数年はクラウドのインフラエンジニアとしてサービスの新規開発フェーズやインフラのリプレイスフェーズに参画させていただくことが多いです。最近の業務経験に関しては下記のレジュメにまとめておりますのでご参照いただければと思います。 github.com エンジニアとしての抽象的な強みは下記になります。 幅広い知見と経…

■ はじめに こんにちは。SREの平です。今回はたくさんのログからサーバーがもしもなにか危ない状態だったら通知してくれるような状態を作ってみました。 概要としては、自宅の余っているGPU(NVIDIA GeForce RTX 2060 6GB)を使い、ローカルLLMを立ち上げて、自宅サーバーの/var/log/syslogを投げて、サマリーと重要度を出してもらい、重要度がwarnであればdiscordに投げてもらって私がサーバーの異変に気づく！という仕組みです。 ただ生成AIなので、レスポンスが100%絶対指定した通り、にはならないことがあります。その場合parseエラーが出たり出なかったりと…

はじめに エキサイト株式会社 バックエンドエンジニアの山縣（@zsp2088dev）です。 現在、既存サービスのリビルドにあたり、AWS Copilot CLIを使用してコンテナ環境を構築しています。 コンテナ環境には、サイドカーコンテナにnginxを使用しており、またログをFireLensで管理しています。 この時、Manifestにloggingセクションを定義し、メインコンテナのログドライバにFireLensを適用できたものの、サイドカーコンテナにはFireLensを適用できない問題がありました。 本記事では、上記の原因と解決策についてまとめます。 また、本記事内で扱うAWS Copil…

今日も朝から暑い。本日の最高気温の予想は37度。 技術ネタ 20分ラン ホットサンド IPアドレス追加 旅行のことを考える 技術系更新 冷やし中華 firelensと向き合う サウナ 贅沢 夕食 技術ネタ S3にデータが残っていてもterraformで消す方法：済 javaのJVMにタイムゾーン：済 RDSの実験：済 AmazonLinux2から2023へのアップデート firelensを素振りする GrafanaのAWS環境を作る ALBのアクセス解析 20分ラン 林間学校の企画が本格的に動き始めたので、ランニングも本格的に。 朝7時台で27度。暑い。 ホットサンド 朝食はホットサンド。ベー…