あけましておめでとうございます。 メドピアのSRE @kenzo0107 です。 2018年もよろしくお願いします。 今回は昨年リニューアルした動画配信システムについてです。 経緯 これまでのメドピアの動画配信は CloudFront 経由で S3 上の mp4 を video タグで参照し配信してました。 この配信方法では CloudFront でキャッシュしづらく 通信状況によってはファーストビューまでに時間が掛かり、サイト離脱へ繋がります。 また、直リンク禁止の動画の場合、 リファラチェック等をするかと思いますが 一部 IE Edge のバージョンで video タグでリファラ参照ができないという仕様があり*1 既存の仕組みをフロントから変える必要がありました。 以上の経緯から動画配信の仕組みを見直し要件を洗い出しました。 要件 動画は mp4 で納品される為、HLS形式へエンコード

はじめに CloudFront + S3 の組み合わせで、S3 内のファイルへのアクセスに制限をかけたいとき、署名付き Cookie を使った制限付きアクセスを利用することがあると思います。 この記事では、AWS SDK for Ruby V3 を使って、CloudFront + S3で署名付き Cookie を生成する方法を検証した内容を備忘メモとしてまとめます。 前提環境 S3 バケット作成済み S3 バケットへのフルアクセス権限のある AWS アクセスキー作成済み CloudFront を作成した S3 バケットをオリジンに設定して構築済み CloudFrontでS3制限アクセス設定済み CloudFront用キーペアをルートアカウントから登録し、秘密鍵を手元に控えてある 上記の前提環境を準備するにあたっての手順は、以下記事がわかりやすいのでそちらをご参照ください。 AWS Clou

はじめに S3からファイルを直接ダウンロードする方法で署名付きURLを発行し、一時的に一部のファイルのみをダウンロードさせる機能があります。 今回はこのURLを発行する際に、実際のファイル名とは別名でダウンロード出来る方法を紹介します。 実装してみる 今回はAWS SDK for JAVAを使用して実装してみました。 public class GenerateUrl { private static String bucketName = "test-bucket"; private static String path = "images"; public static void main(String[] args) { try { AWSCredentials credentials = new BasicAWSCredentials(YOUR_AWS_ACCESS_KEY_ID,

Amazon SQS は可用性やスケーラビリティの高いメッセジキューサービスであり、AWS の代表的なサービスの 1 つと言えるでしょう。ところが、本番の運用に耐えられるアプリケーションにしようと思うと考えることが意外に多いものです。本エントリーでは簡単なサンプルアプリケーションをベースに、本番で運用するために考慮すべき点・注意点について見ていきます。題材として扱うのが SQS なだけで、SQS 以外を使ったアプリケーションにも応用できる内容もあるでしょう。 なお、SQS には Standard queue と FIFO queue がありますが、Standard queue を使う前提とします。 アジェンダは次のとおりです。 サンプルアプリケーション 1. ログ 2. At-least-once delivery と visibility timeout 3. デプロイ 4. 異常系 5

本記事は dely Advent Calendar 2019 22日目の記事です。 qiita.com adventar.org 昨日はiOSエンジニアのknchstが「“ダーク“な2019年」という記事を書きました。 tech.dely.jp こんにちは、delyでサーバーサイドエンジニアをやっているyamanoiです。 弊社のとあるプロダクトにて画像アップロード処理周りに、ActiveStorageを使用していたのですが、使いづらい点がいくつかあったため、採用実績があったCarrierWaveへ乗り換えました。 この記事ではなぜ乗り換えたのかと、乗り換える手順を書いていきたいと思います。 なぜActiveStorageから乗り換えたのか 1. CDNとの相性が悪い 2. 画像のリクエストがRailsに向いてしまう 3. DBへのリクエストが頻繁に走る CarrierWaveへ乗り換える

西澤です。クラスメソッドに入社してからおよそ5年間クラウドの推進やAWS技術に関する支援をさせていただいております。この経験を何か形にしたいと思い、少し遅れてしまったのですが、Developers.IOイベントに乗じてまとめさせていただきました。 発表資料 資料はこちらにアップロードしております。 夜間に録音したので覇気が無い感じになってしまいましたが、動画はこちらです。 まとめ 「AWS設計でやりがちな失敗パターン」というタイトルで考え始めたのですが、もっともお伝えしたい点は、AWSを利用されるお客さまのマインドセットを変え、クラウドを活用できる組織に変わって欲しい、というところに集約できるかなと思います。技術的な問題以上に、考え方を変えられないこと、組織を変えられないことが、クラウド活用を阻害するアンチパターンになっていると思いました。 どこかの誰かのお役に経てば嬉しいです。

中山（順）です AWSの利用を検討する方は、AWSの信頼性がどの程度のものなのか、気になるのではないでしょうか？ Amazon.comのCTOであるWerner Vogelsが"Everything fails, all the time"と述べているとおり、 システムに要求する信頼性に応じてシステムを構成するコンポーネントを冗長化して信頼性を高めることが基本です。 (Design for Failure) とはいうものの、システムの信頼性はシステムを構成するコンポーネント自体の信頼性や連携する外部サービス / サービスが稼働するインフラストラクチャの信頼性にも依存します。 AWSが各サービスやインフラストラクチャの信頼性向上についてどのような取り組みを行ってるかについては、イベントのプレゼンテーションやホワイトペーパーなどで公開されています。 例えば、AWSのグローバルネットワークやリー

昨年は内部的なことを多くやっていたり、10年ぶりに格ゲー復帰したりで、なんとなくご無沙汰になります。が、元同僚エンジニアに名指しされたり、 パルが年末にアドベで連続更新してるのをみて、俺も頑張らなきゃなと思い直した次第でありやす。 久々すぎてなんか文章のノリがノらないので、最近調べ直した AWS の Auto Scaling 周りについて、今はこんだけ抑えておけばえぇんちゃうくらいの感じで、まとまり悪いかもですがまとめてみたいと思います。 目次 色々な「Auto Scaling」を理解する EC2 Auto Scaling Application Auto Scaling AWS Auto Scaling APIで理解する関係性 AWS Auto Scaling は EC2 Auto Scaling の代わりになるのか EC2 Auto Scaling を構築する 構成 LaunchTem

ジョブキューイングシステムをどうするかでチームのリーダーとやりあって考えたことがあるのでまとめておく。 Rails で使うジョブキューイングシステムの技術選定で、リーダーは Amazon SQS 推し（レガシーシステムで SQS を使っている）、自分は Sidekiq 推しだった。前職時代に Sidekiq を使ってトラブルに遭遇したことはなかったし、とても簡単に使えるので Sidekiq で十分だと思っていた。 Sidekiq は GitHub でのスター数は 9000 オーバーで、 Rails の ActiveJob バックエンドとしては事実上のデファクトスタンダードだといえると思う。ググれば情報がいっぱい出てくるし、チームメンバーもリーダー以外は全員 Sidekiq の使用経験があった。 GitHub - sidekiq/sidekiq: Simple, efficient back

エンジニアHub > 記事一覧 > AWSに関するありがちミスとその対策～EC2、S3、RDS、Lambda、CloudFrontの場合 AWSに関するありがちミスとその対策～EC2、S3、RDS、Lambda、CloudFrontの場合 AWS入門者が基本として知っておくべき知識を、AWS導入＆運用サポートのプロである、アイレットのエンジニア3名に聞きました。多くのAWSユーザーに支持されるAmazon EC2、Amazon S3、Amazon RDS、AWS Lambda、Amazon CloudFrontそれぞれの勘所やオススメの設定を、余すところなく紹介してもらいます！ なぜ、AWSを選ぶのか？ Amazon EC2～インスタンス起動後はプライベートIPを設定できないので注意 Amazon S3～S3はディスクではない。マウント非推奨の理由 RDS～自動スナップショットの保持期間を

システムの運用を始めたばかりの頃は誰もが不安でいっぱいです。よくある不安と対処法を書きましたのでご覧ください。 はじめに 皆さまがシステムを運用にするあたり、様々な不安を抱えていらっしゃると思います。 そういったよくある「不安」を書き出し、解消するための対策や参考ページなども記載しましたので、本記事をご覧いただいている皆さまには抱えている不安を淡々と潰していただければと思います。 【ケース1】大量のアクセスによる高負荷への不安 近日中に Web サイトの広告を出す予定だが、現状のままで増加するアクセスに対応できるのか不安がある 以下のような対策が考えられます ELB（Elastic Load Balancing）を使用し、Webサーバー（Amazon EC2）の複数台構成にする アクセス数や負荷に応じて自動で Webサーバー（Amazon EC2）の台数を増やす（スケールアウト）、減らす（

こんにちは、ほけきよです。 早いもので、2018年も半年が経ちました。 この上半期、転職して新しいタスクもかなり増えたので、色々と勉強しなければなりませんでした。 なので、今回は上半期に買ってよかった技術本をご紹介します！ こんな技術本が良いよ！っていうのがある人は教えてください。 AWS/コンテナ 合格対策 AWS認定ソリューションアーキテクト 動機 感想 AWS Lambda実践ガイド 動機 感想 AWSによるサーバーレスアーキテクチャ 動機 感想 コンテナ・ベース・オーケストレーション 動機 感想(途中) 統計/機械学習(初心者レベル) この世で一番おもしろい統計学 感想 嘘を見破る統計学 感想 デザイン Google流資料作成術 動機 感想 まとめ AWS/コンテナ 自社で運用しているサービスがAWS上にDockerコンテナを構築して動いています。 AWS、名前は聞いたことがあるけ

こんにちは。池田です。全国ニュースでは各地で30度を超える暑い季節を迎えたようですが、札幌はまだTシャツ1枚だと肌寒い日が多いです。札幌も暑くなってきました（初回投稿のあと、買い物に出たら暑くてびっくりしました）。 はじめに 前回お客様からの依頼でセキュリティ監査についてプレゼンをした太郎くん、今度は事業継続計画に盛り込むためバックアップについて教えて欲しい。とリクエストを受けてしまいました。 本投稿でご紹介するのは、AWSホワイトペーパーAWS を使用したバックアップと復旧のアプローチ (2016 年 6 月)に記載されている事項のうち、太郎くんがお客様へのプレゼン資料として整理した内容になります。原本には各情報源へのリンクなども掲載されていますのでご一読ください。 要約 AWSリソース、サービスを利用する上での効果的なバックアップと復旧について整理します。AWSが提供する仕組みを理解し

Amazon Web Services ブログ AWS IAM ベストプラクティスのご紹介 – AWSアカウントの不正利用を防ぐために みなさん、こんにちわ。 アマゾン ウェブ サービス ジャパン株式会社、プロダクトマーケティング エバンジェリストの亀田です。 今日は皆さんが普段ご利用のAWSアカウントに対する不正アクセスを防ぐベストプラクティスと言われる運用におけるガイドラインや設定項目の推奨等についてご紹介します。 AWS Identity and Access Management (IAM) は、AWS リソースへのアクセスを安全に制御するためのウェブサービスであり、AWSマネージメントコンソールへのログインに用いるユーザーやAWSリソースへのアクセスに用いるAPIアクセスのキーの管理等に使用されます。マネージメントコンソールへのログインを行う管理用ユーザーを発行する機能が含まれる

GCPの認定資格を合格してきましたので書きます。 今回は合格が目的だったので万人にはオススメしない内容です。 ※これらも取ってきました yomon.hatenablog.com yomon.hatenablog.com 基本情報 受験者（私）の情報 試験ページ 勉強方法 模試受けて感触を掴む(1時間) AWSとの比較(0.5時間) 書籍を読む(4時間) ハンズオン(2時間) 一行でわかるGCP(0.5時間) 所感 コードが出た GCPの詳細はあまり出ない Linux前提 模擬試験は過信すべからず 難易度 受験の手続き面倒 日本語 予想得点 試験後 認定証 プレゼント 2020/5/20 更新してきました GCP試験関連 基本情報 受験者（私）の情報 AWS 認定ソリューションアーキテクト – プロフェッショナルは３年ほど前に取得済み（更新してないので既に失効） 普段からAWSはずっと触って

Hatena Engineer Seminar #10 (https://hatena.connpass.com/event/87909/) で発表した資料です。

背景 AWSでVPC作ったりしたことあるけど、GCPやったことないって人は色々違いに戸惑う アカウントの関係性、ネットワークの概念の違いなどを理解したのでまとめた AWSとGCPのアカウントの考え方の違い AWSの場合、ある人間に対して色々なAWSアカウントが付与される。 (人間) -> 個人で発行されたアカウント -> 会社で発行されたアカウント GCPの場合、ある人間は色々なプロジェクトというものに属することができる。 そして、その人間が使うアカウントはGmailとかで使ってるようなGoogleアカウントである。 (人間 with Googleアカウント) -> プロジェクト 会社のやつ -> プロジェクト 何の関係もない個人のやつ GCPの方が始めるのはすごく簡単な気がする。アカウント管理もGoogleアカウントさえやっときゃいいみたいな感じなので、Googleにロックインされる感は

🤔 前書き 稀によくある 、AWS を不正利用されちゃう話、 AWSで不正利用され80000ドルの請求が来た話 - Qiita 初心者がAWSでミスって不正利用されて$6,000請求、泣きそうになったお話。 - Qiita AWSが不正利用され300万円の請求が届いてから免除までの一部始終 - Qiita ブコメ等で GitHub にはアクセスキーを検索するBOTが常に動いていて、公開するとすぐに抜かれて不正利用される 的なコメントがつくのを何度か目にしたのですが、 本当にそんな BOT が動いているの？ どのくらいの時間でキーを抜かれて、不正利用が始まるの？ というのが気になったので、検証してみました。 GitHub にそれっぽいパブリックリポジトリを作成、権限が一つもついてない AWS のアクセスキー＆シークレットアクセスキーをうっかり公開、外部から利用されるまでの時間を計測します。

こんにちは。こむろ＠今は東京です。 アプリケーション開発において、実行環境へのデプロイプロセスはとても重要です。AWSでもCodeDeployやElasticbeanstalk、OpsWorksと言った各種デプロイプロセスをサポートするサービスがあります。しかし、どのデプロイプロセスが今自分たちのフェーズでのスタイルと一番相性が良いのでしょうか？最終的に全て結果は同じです。アプリケーションが環境へデプロイされ、アプリケーションが正常に実行、そしてサービスが正常に動作することを目指しています。このデプロイプロセスは新たにインスタンスを立ち上げる際にも関わりがあります。そのため、スケールアウトすることを前提に作られているシステムはデプロイプロセスとは切っても切り離せない関係です。今回は運用面から見たデプロイプロセスの再考と改善を考えます。 はじめに 自分が担当しているプロジェクトでは開発タイミ