Hatena Blog Tags
はてなブログ トップ
Athena
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

Athena

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
駆け出しインフラ屋の備忘録•6日前

AWS Athenaクエリの備忘録

概要 自分用にAthenaで使えるクエリを備忘として残します。 DBの作成 CREATE DATABASE `DB_name` ALBのアクセスログのテーブルを作成(1日分) テーブル作成 CREATE EXTERNAL TABLE IF NOT EXISTS `DB_name`.`table_name` ( `type` string, `time` string, `elb` string, `client_port` string, `target_port` string, `request_processing_time` string, `target_processing_tim…

関連ブログ

Nealle Developer's Blog•3ヶ月前

非同期タスクの実行パラメータをAthenaで検索可能にする 〜障害調査を容易にする実装方法〜

こんにちはSREチームの宮後(@miya10kei)です。最近、デスクシェルフを買ってからデスク周りがとてもスッキリして大満足しています😏 前回に続いて非同期タスク関連の取り組みを紹介します！ ところで、、、障害が発生したときの調査って大変ですよね？非同期で実行される処理なんかは特に原因の特定が難しいと思っています💦 そこで、今回は障害時の調査用に非同期タスクの実行パラメータを永続化し、Athenaから検索できるようにした仕組みを紹介します。 背景 前回紹介した「非同期タスクのメトリクス収集術」で非同期タスクの状態を確認できるようになりました。しかし、障害時にどんなパラメータで実行されたのかと…

#Python#Celery#Athena#非同期タスク
新ネットワークスペシャリスト道•4ヶ月前

【AWS】S3に保存されたVPCフローログをSQL（ATHENA）を使用してデータ分析してみる

仕事でＶＰＣフローログを解析する必要があったのでATHENAを使用してみました。 手動でエクセルにまとめて解析するよりずっと早く便利です。 最初は戸惑いますがあとはやり方がわかれば簡単にログ解析が可能です。 ATHENA設定 データベース作成 まずデータベースの作成が必要です。 CREATE DATABASE VPCFlowLogsDB テーブル作成 次にテーブルを作成します。 CREATE EXTERNAL TABLE IF NOT EXISTS VPCFlowLogsTB ( version int, account string, interfaceid string, sourcead…

#AWS
Sansan Tech Blog•4ヶ月前

億単位の大規模ジョブ処理の高速化と順序保証に挑んだバッチシステムの開発

はじめに 技術本部 Sansan Engineering Unit Nayoseグループの上島です。 今回、Nayoseグループで大規模なバッチシステムを開発し、従来システムと比較して9倍の高速化を達成しました。また、処理期間は数十日から数日へと大幅に短縮することに成功しました。 本記事では、この事例と設計時に考慮した点をご紹介します。具体的にはタイトルにある通り、億単位の大規模ジョブを扱う中で直面した課題—ジョブの抽出・管理・実行制御—への取り組みについて解説します。 Nayoseグループは、当社のほぼすべてのプロダクトが利用する共通基盤である”データの名寄せ”サービスを開発・運用しています…

#バッチ処理#Aurora MySQL#Athena#s3#sqs#ECS Fargate
継続は力なり•4ヶ月前

MySQL の監査ログの中から書き込みの記録を Athena で検索する

タダです. 以前の記事で S3 に格納した Aurora MySQL の監査ログを Athena で検索するためにテーブルを作り,管理者ユーザーのアクセスを検索したことを記事にしました.今回も関連で Aurora への書き込み操作を監査ログから検索する時に使用したクエリを備忘録としてまとめます. sadayoshi-tada.hatenablog.com 監査ログから書き込み操作を検索したときのクエリ 書き込み用のインスタンスにはアプリケーションユーザーや内部利用で使用するユーザーなど様々なアクセスがあると思いますが,認識してないユーザーからの書き込みが発生していないかの検索を監査ログから探り…

#AWS#Athena#MySQL
ネットワールド らぼ•5ヶ月前

AWS Athena : ELBアクセスログのクエリ方法

こんにちは！ネットワールド西日本技術部の小川です。今回は、AWSのElastic Load Balancing (ELB)アクセスログを AWS Athena を利用してログを見やすく方法を紹介します。 S3バケットの作成 ELBのアクセスログ設定 S3 URI のコピー AWS Athena 設定 ログのフィルタリング方法 S3バケットの作成 アクセスログを保管するS3バケットを作成します。 S3バケット作成前に、コンソール画面がELB と同じリージョンであることを確認します。(※ELBは同じリージョンのS3バケットにアクセスログを出力します。) S3 を検索して、[S3]をクリックします。…

#AWS#ロードバランサー#Athena#アクセスログ
Yuta NakataのBlog•6ヶ月前

【Performance Tuning of Amazon Athena】Athenaのパフォーマンスを上げる

背景・前提 施策1. パーティションを使う 施策2. 読み込ませるデータを圧縮する 施策3. ファイル数を分割する 施策3. 結合を最適化する 施策4. LIKE句の使用は控える 施策5. 近似関数を使う 施策6. 必要ない列は含めない 施策6. クエリ結果を再利用 最後に 参考資料 背景・前提 Amazon Athenaは、AWSが提供するフルマネージドサービスです。 S3上にあるデータをクエリを用いて、分析するサービスです。 大規模なデータ分析ができる一方で、クエリの実行時間がボトルネックになりがちです。 そこで今回は、業務をするうえで実際に役立つAthenaのパフォーマンスを改善するため…

#AWS#Athena
Gunosy Tech Blog•1年前

S3 Inventory + Athena によるプレフィックスレベルコスト分析 ~S3 のコストをスリムに保つために~

プロダクト開発部 Ads チームの yamaYu です。最近体重と筋肉量をコントロールしたい願望があり、まずは可視化ということで体組成計を買いました。まだ全然成果は上がっていないですが、現状を把握できて良い感じです。 今回の記事ですが、最近取り組んだ S3 のコスト削減の施策において、S3 Inventory がコストの可視化の文脈で良い感じだったのでその話について書いていきます。 最終的に ↓ のような感じでプレフィックス別にコストを分析できるようにしました。 プレフィックス別の S3 のコストの例 課題感 S3 のストレージ使用量を把握するための選択肢 AWS CLI S3 Storage…

#S3 Inventory#Athena#コスト分析