こんにちは、ライクル事業部 エンジニアの菊池@kichionです 去年(2021年)からフロントエンド環境の立ち上げを行い、現在はバックエンドに戻ってきて技術負債の解消などを中心にシステム改善を行っています 現在システムのリプレイスなどでデータ設計から見直すこともあり、イベントデータをRDB(MySQL)のトリガーで生成しようと取り組んでいたところで罠のようなAWS RDSの仕様に引っかかってしまったのでその内容を紹介します 前提 AWS RDS(MySQL) バックアップ 事件 調査 原因 解決 検証 まとめ 前提 AWS RDS(MySQL) AWSで使えるRDBサービスです ライクルではデータベースエンジンでMySQL（Auroraではない）を利用しています 記事を書いている時点ではver 5.7.33を利用しています バックアップ AWS RDSではいくつかバックアップ方式がありま

IPアドレスは、ELB (国内向)、Global Accelerator(海外向) のIPアドレスで利用中のものでした。 $ host 75.2.71.201 201.71.2.75.in-addr.arpa domain name pointer a5b041b48e73d3807.awsglobalaccelerator.com. $ host 52.194.15.214 214.15.194.52.in-addr.arpa domain name pointer ec2-52-194-15-214.ap-northeast-1.compute.amazonaws.com. $ host dev.classmethod.jp dev.classmethod.jp has address 75.2.71.201 dev.classmethod.jp has address 99.83.1

はじめに 最近、fujiwaraさん作のlambrollというAWS Lambda専用のGo製デプロイツールを使ってみたので備忘も兼ねて記事にまとめたいと思います（認識の間違い等あればツッコミいただければと） lambroll is a minimal deployment tool for AWS Lambda. これが非常に便利で、Lambdaの作成、削除、デプロイ等が非常に簡単にできます。上がったLambda関数をローカルから簡単に呼び出すこともできるため開発も非常にしやすく、git管理も可能です。素晴らしいことにCircleCIのOrbも用意されているのでCircleCIで簡単にlambrollを使うことができます。では、早速最低限の使い方を説明していきます（今回は「見て理解する」スタイルで文字少なめで説明していきます） レポジトリ GitHub | fujiwara/lambro

PyCon JP 2021 登壇資料: https://2021.pycon.jp/time-table/?id=272259

Amazon Web Services ブログ ECS のアプリケーションを正常にシャットダウンする方法 この記事は Graceful shutdowns with ECS を翻訳したものです。 — はじめに Amazon Elastic Container Service (Amazon ECS) を利用することで、お客様はさまざまな方法でコンテナ化されたアプリケーションを柔軟にスケールできます。リクエストの急増に対してタスクをスケールアウトすることも、コスト削減のためにタスクをスケールインすることもできます。ECS ではさまざまなデプロイの選択肢があり、ローリングデプロイ・ブルー/グリーンデプロイ・カナリアデプロイなどがサポートされています。さらに、ECS では柔軟なコンピューティングの選択肢が用意されています。Amazon EC2 のオンデマンド/スポットのキャパシティ上や、マネージ

はじめにこんにちは、Finatextで証券プラットフォーム（Brokerage as a Service、以下BaaS）の開発に携わっている石橋（@bashi0501）です。過去のFinatextテックブログではTerraform、CDKとIaCをテーマにした記事しか書いたことがなかったのですが、今回はログの分析活用をテーマとします。 概要弊社の証券事業ではECSによるワークロードを組んでいます。本テーマのアプリケーションログについては標準出力したものをawslogsログドライバーが回収してCloudWatch Logsに送信しています。 ログの検索という観点ではCloudWatch Logs Insightsというサービスでかなりリッチにフィルターや集計を行うことができるのですが、ログデータを元にしたユーザーのファネル分析や業務改善（後述します）に活かしていきたいという意図があるため、マ

タダです. システムの中で CloudWatch Logs に Apache のログを保存しているのですが,大量のログとなっています.このログの中から HTTP ステータスコードが4XX 系を抽出してエラー発生数をモニタリングしたい時に,「check-aws-cloudwatch-logs-insights」の Mackerel プラグインを使って検証してみたのでその内容をこの記事でまとめます. check-aws-cloudwatch-logs-insights とは プラグインの導入 監視の設定の実施 IAM ロールの設定 mackerel-agent のコンフィグ定義 アラートの設定確認 設定のよもやま話 まとめ 関連記事 check-aws-cloudwatch-logs-insights とは Mackerel の「check-aws-cloudwatch-logs-insigh

はじめに CTOの川口 (id:dmnlk) です。 5月にオンラインmeetupをさせて頂きその中で「具体的な負荷対策に関しては開発ブログで！」と言っていた件ですが気づいたらもう9月になりかけていました。 コロナ禍においてネットショップ作成サービス「BASE」の利用者様が急増しました。 www.nikkei.com 5 月には 100 万ショップを超えるショップオーナー様にご利用していただいております。 今まで EC 事業を行っていなかった飲食店様や様々な業種の方が利用をはじめていただき、ショップオーナー様も購入者様共に短期の見通しでは想定をしていないアクセスが発生しました。 その途中でシステムとして対応しきれない面もあり、アクセス負荷によるサービスの不安定を招き皆様にはご不便や販売時間を変更していただくお願いなどをしてしまい大変申し訳ありませんでした。 現在では安定しておりますが、その

AWS Toolkit for VS Codeに、CloudWatch Logsの直近ログデータを表示できる機能が追加されました！ Amazon CloudWatch Logs features now available in the AWS Toolkit for Visual Studio Code VSCodeでLambdaのプログラムを書きつつ、Lambdaをデプロイして実行。CloudWatch Logsで実行結果を確認。なんて、場面で便利に使えるんじゃないかと思います。 こんな感じでVSCodeの画面でCloudWatch Logsのログを表示できます。さっそく試してみました！ 環境 VERSION Visual Studio Code: 1.48.1 AWS Toolkit for VS Code: 1.13.0 前提 本ブログではAWS Toolkitのインストール、AW

コンサル部＠大阪オフィスのYui(@MayForBlue)です。 今回は EC2 に CloudWatch エージェントをインストールして SSM ( AWS Systems Manager ) を使って起動する方法をご紹介します。 わりと初歩的な内容かな？と思うのですが、個人的にハマりどころが多かったので手順を残しておきたいと思います。 構成 今回はパブリックサブネットに構築したEC2インスタンスにCloudWatchエージェントをインストールします。 EC2 インスタンスからインターネットゲートウェイを経由して CloudWatch にログをプッシュします。 なお、EC2 インスタンスから CloudWatch にログをプッシュするためにはアウトバウンドのインターネット接続が必要になります。 やってみる 前提条件 EC2インスタンス、インターネットゲートウェイは構築済みとします。 また

CX事業本部の岩田です。 Aurora ServerlessのData APIがリリースされた際に「Lambda <-> RDSの最大同時接続数の問題が改善される」といった話を聞くことが多かったのですが、なぜhttpsのエンドポイントができただけで同時接続数の問題が解決するのか、いまいち良く分かりませんでした。 # DBへの接続処理 # コールドスタート時のみ接続し、接続を使い回すことでオーバーヘッドを低減する def handler(event, conext): # lambdaのメイン処理 こういう実装のLambdaだとアイドル中にもDB接続を消費してムダなのは分かりますが、それなら def handler(event, conext): # lambdaのメイン処理1 # DBへの接続処理 # lambdaのメイン処理2(DBアクセスが必要な処理) # DB切断処理 # lambd

こんにちは、平野です。 AWS CLIいいですよね。 AWSに限らず、私はターミナルからCUIでの操作が好きで、 最初はGUIでやっていた操作も少しずつCUIで操作できるようになっていくと、 なんかデキる人っぽい感じがしていいですよねー。（個人の感想です） ということで、AWS CLIでコマンドを組み立てる際に ラクができるzshプラグインを作成しました。 基本的には私が個人的に使って俺TUEEEEEするためのツールですが、 ある程度体裁を整えるところまできたので、ご紹介させて頂きます。 動作例 例として、CloudWatch Logsからログの検索をして見ます。 コマンドの骨子の作成 awsのコマンドは必ず aws <コマンド> <サブコマンド> [パラメータ...] という書式ですよね。 なら、そこまでは一発で展開できたらラクです。 ということで、 gifアニメのように、awsとだけ入

2冊目の技術書を書きました！タイトルは『AWS認定資格試験テキスト AWS認定 ソリューションアーキテクト-アソシエイト』で、名前の通りAWS 認定ソリューションアーキテクト – アソシエイトという資格試験の対策本になります。発売は2019/4/20です。 AWS認定資格試験テキスト AWS認定 ソリューションアーキテクト-アソシエイト 作者: NRIネットコム株式会社,佐々木拓郎,林晋一郎,金澤圭出版社/メーカー: SBクリエイティブ発売日: 2019/04/20メディア: 単行本この商品を含むブログを見る この記事では、 どんな本なの？ こんな方にこんな風に読んでいただきたい！という私の想い のふたつについてご紹介したいと思います。 どんな本なの？ まず、目次を元に本書のざっくりとした流れを紹介します。本書は、 AWSの認定資格の紹介（1章） AWSの各サービスの紹介（2~12章） ア

9. 収集 処理 分析 保存 データ収集と 保存 データ処理イベント処理 データ分析 データ 答え 分析前の前処理等、 いわゆるETL （抽出、変換、挿 入 ）的な処理 各サーバや、サー ビスからのログを 収集する ログに対して各種 分析をかける 収集したログを サーバやデータス トアに保存する 10. Amazon S3 Amazon Kinesis (Streams, Firehose) Amazon DynamoDB Amazon RDS (Aurora) AWS Lambda KCL Apps Amazon EMR Amazon Redshift Amazon Machine Learning 収集 処理 分析 保存 データ収集と 保存 データ処理イベント処理 データ分析 データ 答え Amazon Athena

はじめに 事業開発部と研究開発部に属している宇田川です。 今回の内容は、11/08に開催のSecurity-JAWSで登壇させていただたいた内容の構築方法を紹介させていただきます。 書き進めるうちに長くなってしまったので、今回の「ログ保存編」と「見える化編」に分けさせていただきました。 最終的には、下記のような解析基盤ができます。 （左上）国別「action」の比率が表示される世界地図 （右上）時間に関係なく国別の比率が見たいので円グラフ （左下）分単位での検知したルール別に名前入りで集計されるグラフ （右下）時間に関係なくルール名別の比率が見たいので円グラフ 構成 構成は下記の通りです。 AWS WAFのほかにKinesis Data Firefose、Lambda、S3、Athena、QuickSightを使用しています。 それぞれ北バージニアリージョンで使用しています。 東京リージョ

AWS Serverless Application Model 入門ハンズオンシリーズ - log4ketancho の第２弾です。 前回の記事では、SAMのセットアップを行いました。 www.ketancho.net 最後に簡単な Lambda Function も作りましたが、本当に最低限のものを構築したに過ぎません。この記事ではより細かい Lambda の設定について見ていきたいと思います。 今回は、私が使いたかった下記の設定方法についてまとめました。（今後、使いたい機能が増えるたびに更新していこうと思います。） 共通設定の定義 スケジュール実行 外部モジュールの利用 共通設定の定義 スケジュール実行 外部モジュールの利用 ローカル環境で function の .zip を作成する ディレクトリの作成 モジュールインストール Zip 化 テンプレートの修正 CodeUri の追加

Stream Processing

###ヘルプの内容 awslogs get --help usage: awslogs [ get | groups | streams ] get [-h] [--aws-access-key-id AWS_ACCESS_KEY_ID] [--aws-secret-access-key AWS_SECRET_ACCESS_KEY] [--aws-session-token AWS_SESSION_TOKEN] [--profile AWS_PROFILE] [--aws-region AWS_REGION] [-f FILTER_PATTERN] [-w] [-G] [-S] [--timestamp] [--ingestion-time] [-s START] [-e END] [--no-color] [-q QUERY] [log_group_name] [log_stream_n

本日より、AWS CloudTrail のイベント履歴は、サポートされている AWS サービスのすべての読み取りおよび書き込みイベントを自動的に記録します。 イベント履歴を利用して、最新の AWS アカウントアクティビティを表示、フィルタリング、ダウンロードできます。この新しいリリースでは、証跡を設定しないで過去 90 日間にわたってとられたアカウントアクションをさらに見やすくすることができるようになります。 CloudTrail に統合される任意の AWS サービスのすべての管理イベントを表示するために、イベント履歴を使用できるようになりました。イベントの作成、更新、および削除を表示することに加えて、リストや説明などの読み込みイベントを表示できるようにもなりました。 引き続き、データイベントを記録するために、現在はイベント履歴に含まれていない証跡を設定するか、90 日以上イベントの履歴を

AWS アカウントを複数人で使ってシステムを作っていく時に、 セキュリティの面からやるべきことについて。 主に Web アプリケーションを想定した内容ですが、特に書いてあることは特殊ではないと思います。 各所の Blog にも記事書かれてますが思っていることをつらつらと書いてみます。 なんか変なこと言ってたらご指摘ください。 参考: AWSのセキュリティが気になるなら読んでおくべきAWSセキュリティのベストプラクティス - yoshidashingo はじめに (AWS アカウントと IAM ユーザ) 前提というか用語の話。 AWS アカウント アカウント作成時のメールアドレス、パスワードでログインして使うユーザ IAM ユーザ AWS アカウントから発行できる、ユーザ名とパスワードでログインして使うユーザ AWS アカウント周り AWS アカウント (ルートユーザ) で作業できないように