AppBrew で LIPS のリードエンジニアをやってる Pin (@spinute)と申します。 半年ほど前に AppBrew でアルバイトをしながら転職活動をしていましたが、いい感じだったのでそのまましれっと AppBrew に入社しました。 tech.appbrew.io 今日の記事では、圧縮し忘れていたログを圧縮し、35万円/月の費用を削減した話を紹介します。 確認するだけなら一瞬なので、AWS を使ってる会社の方は、担当の方にこの記事を共有してみると思わぬ費用削減に繋がるかもしれません...！ LIPS のインフラ構成 問題発見の経緯 対応 Firehose のログ圧縮設定を有効にする 既存のログを圧縮する s3-dist-cp ログを削除する まとめ LIPS のインフラ構成 弊社のデータ処理基盤は開発初期に深澤が入れてくれたもので、大まかな構成は今もそのままです。 LIPS

どうも！大阪オフィスの西村祐二です。 S3にアップロードされたファイルをEC2内に自動的にダウンロードしたいと思うことはよくあると思います。 自動化する方法はいろいろあると思いますが、 今回はLambdaとSSM、AWS CLIを使って自動化してみたいと思います。 さっそくやってみましょう。 構成図 今回、想定する構成が下記の図になります。 S3にファイルがアップロードされたら、LambdaからSSMを実行し、 EC2(Windows)にてAWSCLIのS3 Syncコマンドを実行します。 この構成の利点 私が思うこの構成の利点としては、 ・EC2側はAWS CLI設定とSSM Agentのインストールだけで済み、今後の運用不可が軽減されそう ・Lambdaの実装がSSMを実行する部分のみになる はじめはEC2にFTPサーバをたてて、LambdaでS3からファイルを取得し、EC2にコピーし

こんにちは、藤本です。 先日、Amazon S3 の静的 Webホスティングにコンテンツをデプロイする方法が気になったので考えてみました。ちなみに静的ウェブホスティングだけじゃなく、S3 バケットと Git リポジトリの連携全般に利用できます。 概要 AWS 上で Webシステムを構成する際に、CloudFront のパスルーティングで、静的コンテンツは S3、動的コンテンツは EC2（前段に ELB）にアクセスすることで、低コスト、高可用性な構成を組むことができます。（静的コンテンツのみであればEC2レス） デプロイツールが発展してきて、CIツール、CIサービスを利用することでデプロイの自動化を簡単に実装することができるようになりました。AWS でも CodeDeploy を利用することで、EC2 へのデプロイが自動化できます。最近では Blue/Green デプロイ機能が追加され、既存

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

一休 ✕ bitFlyer コラボイベントでのLT資料です

s3のファイルがたくさんあって消したくなることあるじゃないですか。 UNIXと同じように rm /var/log/httpd/201608* とかまとめて消したいんです。 ファイルをlsして1つ1つ確認して消したくない。 aws s3 rm s3://fuga/hoge/201608* こんな気持ち。 で上記コマンドを実行すると $ aws s3 rm s3://fuga/hoge/201608* zsh: no matches found: s3://fuga/hoge/201608* やっぱりエラーでますよねー。ということで調べてみた。 awscli s3 rmでワイルドカードを使うなんてビンゴなページを発見。 早速テストをしてみる。 $ aws s3 rm s3://fuga/hoge –exclude ‘*’ –include ‘201608*’ –recursive –dryru

RedHat系におけるRPMパッケージを扱うYUM、Debian系におけるDEBパッケージを扱うAPT、これらはサーバー管理において重要なわけですが、絶妙な度合いで、おざなりに扱ってもわりとなんとか運用出来てしまう感があります。そのため今一度、こんな感じが今風のスタンダードじゃないっすかね（ｷﾘｯ という構成を説明してみます。 ぶっちゃけ、たいしたことないネタの集合体なので、タイトルに下駄を履かせました。 そもそもパッケージは必要なのか 言うまでもなく必須です。理由は、インストール物のファイル管理が容易になるのと、インストール時間を短縮できるからです。既存のパッケージでconfigureオプションが物足りない時や、RPMパッケージが存在しない場合は作成することになります。 最近はプロビジョニング・ツールによって全て自動化できるので、超簡素なコンパイルのものはレシピに落とし込んで終わりにした

西澤です。S3バケットを直接マウントしてファイルシステムのように使いたいケースがありますが、s3fsはややパフォーマンスに難があります。Goで書かれていてs3fsよりも高速に動作することを売りにした"goofys"というツールを見つけたので、早速試してみることにしました。 s3fs-fuse/s3fs-fuse · GitHub GitHub - kahing/goofys: a Filey System for Amazon S3 written in Go 前提パッケージのインストール 今回はAmazon Linux(Amazon Linux AMI 2015.09.1 (HVM), SSD Volume Type)環境で検証を行いました。golangとfuseパッケージが前提として必要となりますので、下記のようにインストールします。 $ sudo yum install golang

実際に実行すると以下のような URL が生成されます。 https://YOUR_BUCKET.s3.amazonaws.com/YOUR_KEY では、この URL を使って S3 にオブジェクトを登録してみましょう。 $ export URL=https://YOUR_BUCKET.s3.amazonaws.com/YOUR_KEY # generated pre-signed URL $ echo abcde > test.txt $ curl -D - -X PUT --upload-file test.txt $URL HTTP/1.1 100 Continue HTTP/1.1 200 OK x-amz-id-2: 9J3B1F6kcpjEszB8w0RJCyOlJPdjWyNDHxRhiQ0bl9NmZGD64iysF/e9Wr9vDWxj4MN1KyOoIlo= x-amz

Amazon S3の特定のバケツに、IAMポリシーを利用して、IPアドレス制限を掛ける方法です。 特定のユーザにAccess Key IDを発行して、S3の操作を制限させることができます。 たとえば、社外のユーザにS3にファイルをアップロードしてもらったりするようなシチュエーションがあったときなどに、使える方法だと思います。 以下、設定方法です。 IAMサービスを選択してポリシーを作っていきます。 Services -> IAM -> Policies -> Create Policy -> Create Your Own Policy ポリシーの内容は、以下のようにします。 Policy Name: 好きな名前を入力します。 この例では、S3-IP-Restrictions とします。 Policy Document: Statementを3つ書きます。 上から2つは、AWS CLIで操

こんにちは。望月です。 S3は非常に安いストレージとはいえ、保存する量が数百GB〜TBになると、課金額もそれなりに多くなっていきます。 ですが、Management Consoleからは、S3全体でどれだけの容量を使っているのかを確認することは出来ません。 *1 なので、現在の保存容量を確認するためのスクリプトを書いてみました。今は全バケットの合計を表示するだけしかできませんが、近いうちにバケットごとや特定のprefix以下の容量なども取得できるように対応したいと思います。 5/1追記 : バケット毎のサイズ出力をするようにしました。 5/16追記 : 処理を高速化しました #!/usr/bin/env ruby require 'aws-sdk' require 'optparse' begin require 'aws/profile_parser' rescue LoadError;

CDP Advent Calendar 2013 の14日目です。主に動的なWeb/アプリケーションサーバの話ですが、AutoScaling時や障害発生時に影響なく処理を継続するにはセッションの保持方法に一工夫必要です。またログなどもローカルに保存すると後々面倒くさいです。その辺りを解決するには、サーバの状態（セッション・ログ・etc）を外出しするのが一番です。名前を付けるとしたら、「Stateless Serverパターン」です。昨今のImmutable Infrastructureの概念にも影響を受けています。 1 解決したい課題 AutoScalingを利用すると、負荷の増減に応じてサーバの増減が出来る。しかし、動的サーバの場合はセッションサーバを個々のサーバに保持していると、サーバが増減して別のサーバに振り分けられた場合セッション維持が出来ずに問題が生じる。また負荷が下がってサーバ

今回の課題 こんにちは植木和樹です。本日のお題は「現在運用しているFTP/SFTPサーバーをAmazon S3でリプレースしたい」です。 外部関係業者とのファイルのやりとりにFTP/SFTPサーバーを使っているケースは数多くあると思います。社内にあまったパソコンにLinuxをインストールしてFTPサーバーを自前で運用していることもあるかもしれません。しかしデータのバックアップやハードウェアの故障などで手を取られている担当者の方がいらっしゃるのではないでしょうか。 そんな時はAmazon S3。99.999999999% の堅牢性と、99.99% の可用性を提供するストレージサービスです。 しかしFTPは長い運用実績の歴史があるサービスです。FTPで求められる様々な運用ニーズにS3はどこまで応えられるでしょうか？今回はその点を検証してみました。 FTPに求められる要望 以下にいくつかの代表的

AWS Cloud Storage Day ～ストレージの『今』へご招待～ | 2013年9月13日（金）アマゾン ウェブ サービスの無料ストレージカンファレンスを開催！ セッション・講師紹介 [K-03]基調講演： テレビ朝日がAWS上で作るセカンドスクリーンサービス ～構築から運用、今後の戦略まで～ 基調講演3本目は国内事例。テレビ朝日で展開された『セカンドスクリーン』サービスとAWSの関連性、AWS利用背景を、実際に行われたキャンペーン等を通じて紹介する内容となりました。 当イベントのその他のセッションレポートはこちら： AWS Cloud Storage Dayに参加してきた(当日分全取材レポート目次付まとめ) ｜ Developers.IO 講師・概要紹介 講師 松下 剛氏 (株式会社テレビ朝日 コンテンツビジネス局 コンテンツビジネスセンター　通信技術班チーフ) 概要 「サッカ

AWS Cloud Storage Day ～ストレージの『今』へご招待～ | 2013年9月13日（金）アマゾン ウェブ サービスの無料ストレージカンファレンスを開催！ セッション・講師紹介 [A-01]： 各種サービスで活用できるAWSクラウドストレージサービスの選定指針 講師・概要紹介 講師 北迫 清訓(アマゾン データ サービス ジャパン株式会社　ソリューションアーキテクト) 概要 AWSではS3、Glacier、Storage Gateway、EBSなど様々なストレージサービスを提供しています。バックアップ、ファイルサーバ、ファイル共有、ファイル配信等サードパーティ製品と組み合わせ、適材適所にAWSストレージサービスを活用いただける選定指針についてご紹介いたします。 セッション内容レポート 1.AWSストレージサービスのコンセプト ストレージサービスのコンセプトとしては、大きく5

AWS Cloud Storage Day ～ストレージの『今』へご招待～ | 2013年9月13日（金）アマゾン ウェブ サービスの無料ストレージカンファレンスを開催！ セッション・講師紹介 [A-02]： 東急ハンズが実践するファイルサーバのクラウド化。企画、実現方法から、実際の性能まで。 AWS Cloud Storage Dayに参加してきた(当日分全取材レポート目次付まとめ) ｜ Developers.IO 講師・概要紹介 講師 松尾 康博氏 (アマゾン データ サービス ジャパン株式会社 ソリューションアーキテクト) 今井 智明氏 (ハンズラボ株式会社 ITエンジニア) 概要 東急ハンズ様は、2012年10月に全てのサーバーをAWSへという決断をして以来、サーバーの新規購入を凍結しAWSへの移行を進めています。ファイルサーバーも2013年3月にAWSへ移行し、運用を開始しました

残暑が長引いていますが、朝晩だいぶ涼しくなってきましたね。秋になり、6月から育ててきたヒマワリが枯れました。水をやらなかったからですが。 S3を利用したWebホスティング ということでAmazon S3のStatic Web Hostingです。Webサーバ不要で静的サイトを設置できます。便利です。ベースがS3であるが故、安価、安定、そしてどんなにアクセストラフィックが増えても重くなりにくい（従量課金ですが、Webサーバでスケールアウトするより遙かに低コストです）、などの特長を持ちます。連携できるCMSも増えてきました。 ここでは簡単に初回設定、並びにstaging環境などで必要となる、アクセス制限の方法について書いてみたいと思います。 利用開始までの手順 登場から日が経っていることもありご存じの方も多いと思いますが、Static Web Hostingを使うまでの流れをおさらいしておきま