ジョブキューイングシステムをどうするかでチームのリーダーとやりあって考えたことがあるのでまとめておく。 Rails で使うジョブキューイングシステムの技術選定で、リーダーは Amazon SQS 推し（レガシーシステムで SQS を使っている）、自分は Sidekiq 推しだった。前職時代に Sidekiq を使ってトラブルに遭遇したことはなかったし、とても簡単に使えるので Sidekiq で十分だと思っていた。 Sidekiq は GitHub でのスター数は 9000 オーバーで、 Rails の ActiveJob バックエンドとしては事実上のデファクトスタンダードだといえると思う。ググれば情報がいっぱい出てくるし、チームメンバーもリーダー以外は全員 Sidekiq の使用経験があった。 GitHub - sidekiq/sidekiq: Simple, efficient back

あるシステムを、1人のユーザから1100万人以上にスケーリングするにはどのようにすれば良いのでしょうか。Amazonのウェブサービスソリューションアーキテクトである Joel Williams が AWS re: Invent 2015 Scaling Up to Your First 10 Million Users でスケーリング方法について素晴らしいプレゼンをしています。 AWS上級者のユーザには適さないプレゼンですが、AWS初心者やクラウド初心者、Amazonが次々と送り出す新機能の流れについていけていない人が始めるには素晴らしい内容だと思います。 おおよその見当は付いていると思いますが、このプレゼンはAmazonによって提供されているため、どの問題についても解決策として提案されているものは全てAmazonのサービスになります。amazonのプラットフォームの役割は、印象深く、分か

はじめに AWSチームの鈴木です。 本日、AWSより新機能「AWS Certificate Manager」（ACM) が発表され、無料でサーバ証明書を発行し、CloudFront、ELBで利用する事が可能になりました。 今回、ACMでサーバ証明書を発行し、CloudFrontの独自ドメイン設定でHTTPS通信を試す機会がありましたので、その一連の手順を紹介させて頂きます。 New – AWS Certificate Manager – Deploy SSL/TLS-Based Apps on AWS 手順 ACM の利用開始 AWSコンソール、セキュリティ＆アイデンティティに増えた「Certificate Manager」を開きます。 ACMは、2016年1月現在、米国東部（us-east-1）リージョンでの提供となります。 「Get Stard」のリンクより利用を開始します。 証明書の

こんにちは、2015年も終わりですね。昨年よりエンジニアのお仕事をはじめております自称エンジニアの@mochizukikotaroです。 お祭り記事ですので、皆様の箸休めの一助にでもなればと思いながら、全力で書きたいと思います。 まず感謝 当記事は、「素人がAWSに手を出し、のんきに過ごして気づいたら、自分のミスで不正利用され$6,000ほどの請求が来ていて」一週間ほど食べ物も喉を通らず、AWS様に泣きついた結果、「なんとか情け容赦を頂いた」という内容です。 本文中には多少ふざけた言葉選びが散見されるかもしれませんが、私は全力で AWSさんに感謝 をしております。 この先、 僕と同じような過ちを犯す可哀想な素人エンジニアを、この世から一人でも無くしたい。 と切に願っております。 最初にお断りしておきますが、 当記事から得られる、プログラミングインテリジェンスは1gくらいです。 一定レベル以

Amazon Webサービス（AWS）のアカウントは、AWSでビジネスを展開している人にとって非常に大事なものです。ですが、AWSアカウントをたった一つしかもっていない場合、重大なセキュリティの危険に直面することになるでしょう。何が問題なのか、そしてどうすれば解決できるのかを、この記事でご紹介したいと思います。 危険性をはらむデフォルト設定：単一のAWSアカウント 単一のAWSアカウントには、EC2仮想サーバ、S3バケット、RDSデータベースなどビジネスに必要な様々なリソースとともに、IAMユーザが含まれています。アカウントへのログイン方法は基本的に2通りあります。ユーザ名とパスワードを入力するAWS Management Console、またはCLIやSDKで用いられるAWSアクセス認証情報を使うのです。以下の図は、その仕組みを示したものです。 訳注 account「このアカウントにはI

森永です。 AWS Configが遂にTokyoリージョンでの提供を開始したようです！ 待ってました！！！ 早速使ってみたのでレポートします。 AWS Configの詳細については、こちらや、こちらを御覧ください。 設定手順 別のリージョンと同じ手順で有効化できます。 AWS Configのサービスページへ移動します。リージョン一覧からAsia Pacific (Tokyo)を選択し、[Get Started Now]をクリックします。 ConfigではAWSリソースの構成情報、変更情報をS3で保存します。そのため、S3にバケットを作ってあげる必要があります。既に別のリージョンで使っていて、そのリージョンと同じバケットを使用したいということでなければ、[Create a new bucket]を選択しましょう。 また、AWSリソース構成に変更がなされた際に、通知するするという機能がConf

スマートニュースは昨年の 10/1 に米国版をローンチするにあたり、ログ解析基盤のリニューアルを行いました。日本に加えて米国やその他の国が入ってくることにより、単なるユーザ数の増加に加え、OS x 国 x タイムゾーン x 多種多様なメトリクスのような集計軸が増えることで、ログの前処理、集計、可視化に様…

こんにちは、城内です。 全然ブログが書けていなくて、大変申し訳ない気持ちでいっぱいな今日この頃です。 はじめに AWS上のシステムを運用している人たちは、日々AWSに関するいろいろな情報をチェックしていることと思います。はっと思った人は、こんなエントリーを参考にしてくださいね。 【備忘録】AWSの最新情報が公開される場所をまとめてみた AWSの各サービスの稼働状況について 上記のエントリーにも記載がありますが、基本的にはAWS Service Health Dashboardを見れば各サービスの稼働状況は分かります。 ただ、やっぱりいちいち見に行くのは面倒なので、RSSリーダーとかを使って更新情報を見れるようにしたいですよね。まあ、RSSフィードがあるのでそれを登録すればよいのですが・・・。 RSSリーダーへの登録 AWS Service Health Dashboardを見てもらえれば分

はじめに サーバを運用しているといろいろなことが起こります。 今回はなんらかのトラブルによりインスタンスが正常に起動しない、 ログインできなくなった場合の対応方法をご紹介します。 障害インスタンンスはAmazon LinuxでrootボリュームはEBSということで話を進めていきます。 障害インスタンスを停止する 正常に起動しない、ログインができないインスタンスをstopします。 サーバにログインできないのでマネジメントコンソールやAPIでstopします。 障害インスタンスのルートボリュームをデタッチする ルートボリュームのEBS IDを確認してVolumesへ移動します。 ・DescriptionのRoot Device 「/dev/xvda」をクリック また後でアタッチし直すのでRoot Device名はメモしておきます。 ・EBS ID をクリック ・Volumesに移動します。 ・A

2. AWSの様々なサービス お客様のアプリケーション デプロイと自動化 ライブラリ & SDKs IDEプラグイン Web管理画面 モニタリング Development & 認証 AWS Elastic Java, PHP, .NET, Eclipse Management Amazon AWS IAM Beanstalk Administration Python, Ruby Visual Studio Console CloudWatch AWS CloudFromation メッセージ メール配信 ワークフロー管理 Amazon SNS Amazon SES Amazon SWF Amazon SQS Application Service コンテンツ配信 分散処理 キャッシング Amazon CloudFront Elastic MapReduce Amazon Elastica

Amazon EC2は立ち上げるインスタンスによって微妙なパフォーマンス差が出ると言われていて、複数回、インスタンスを立ち上げたり、捨てたりして、良いインスタンスを得ることを”Amazon EC2インスタンスガチャと”呼ばれています。 そのパフォーマンス差は、どれくらいなのか？気になったので測ってみました。 検証環境はこんな感じです。 AMI ID: CentOS 7 x86_64 (2014_09_29) EBS HVM-b7ee8a69-ee97-4a49-9e68-afaee216db2e-ami-d2a117ba.2 (ami-89634988) Instance Type: c3.xlarge １）Magnetic(standard) ２）Magnetic(standard) + EBS-Optimized ３）General Purpose (SSD) + EBS-Optimi

9. Mroonga 3.xの課題 • IOロックの発生 • 1千万件程度のメッセー ジ規模では、順調に稼働 • 数千万件レベルになると、 mysqldがダウンするよ うに。。。 Thread pointer: 0x2f19350 Attempting backtrace.You can use the following information to find out where mysqld died. If you see no messages after this, something went terribly wrong... stack_bottom = 7f5da7047e68 thread_stack 0x40000 /usr/local/mysql/bin/mysqld(my_print_stacktrace+0x29)[0x750bd9] /usr/local/mys

2. わたしはだれ？  岩尾 はるか (@Yuryu)  Red Hat で働いています – GlusterFS / Ceph が専門です – この発表は個人の見解です(お約束)  大阪生まれ→つくば→横浜→東京  FF14プレイヤーです(Carbuncle鯖)  コミケ&Kindleで本書いてます  好きなAWSサービス: S3

Google Compute Engineについて興味深いブログがあったので、勉強を兼ねて和訳してみました。 原文はこちらです。 以下、超訳。 昨年（訳注2012年のこと）、GCEとしてGoogleがIaaSの提供を発表した時に、amazonは心配するべきかどうか聞いてみた。18ヶ月後、Google Compute Engineは一般公開され、信頼性、価格、革新性において間違いなくAWSの競合になったと見受けられる。混雑したIaaS市場には多くの新規参入があり、そのいくつかはマイクロソフト、HPとIBMのような十分に確立された企業·ベンダーである。しかし、大多数のそうしたサービス群は限定的な機能しか持たない。彼らはAWSに対抗することは諦め、Amazon EC2の2008年相当のものに見えた。しかし、GCEはそのアプローチからして異なる。Amazon EC2の類似機能に焦点を置くのではなく

はじめに こんにちは植木和樹です。今年の5月にクラスメソッドにJoinしてから早半年。当時6名体制だったAWSチームも15名近いメンバーとなりつつあります。 クラスメソッドでは入社した社員にMacBook Airが貸与されます。薄くて軽くて持ち運びに便利なので、いつでもどこでも仕事ができます（歓喜）。さて入社して数日間は仕事をするための環境作りに時間がとられるものですが、なるべく早くフルスロットルな仕事体制を整えてもらえるようクラスメソッド社内で使っているツール類をまとめてみました。 セットアップ手順まで記載するとエントリが長くなるのでツールの紹介のみです。参考となるセットアップ手順については紹介内でリンクを貼っています。 業務系ツール Chrome 配布元サイト Chrome ブラウザ 作業ミスを防ぐため、お客様のAWSアカウントごとにChromeユーザーを切り替えて使いましょう。設定方

2ヶ月以上前ですが、Rack アプリケーションで DynamoDB を セッションストア用として使うための gem が公開されていました。 DynamoDB Session Store for Rack Applications Rails だと ActiveRecord のセッションストアがありますが、RDB なので、どうしても気になるのは負荷と障害ですね。 そんな時は、スケーラブルかつ耐障害性に優れた DynamoDB を使って解決しましょう。 *1 ということで、Rails4 で DynamoDB をセッションストアとして使う方法を試してみました。 Rails アプリケーションの作成 先ずは Rails アプリケーションの作成です。 $ mkdir try_dynamodb_sessionstore && cd try_dynamodb_sessionstore $ bundle i

Tomcatのセッション管理 Tomcatでクラスター構成にする場合、課題となるのがセッション管理です。ロードバランサーでセッションIDを保持することで、毎回同じサーバーにリクエストが向かうのであれば問題なさそうに見えますが、あるサーバーがダウンしてしまうとセッション情報が消えてしまいます。これを解決する方法として、データベースにセッション情報を保持する方法が一般的ですが、データベースへ負荷が掛かりますし、データベースが落ちたら困ります。何かもっと良い方法は無いかと皆さん思っていたはずです。そこで、AWSですよねー。AWSでは、ElastiCacheやDynamoDBがサービスとして提供されています。ここで、永続化をしっかりやってくれるのはDynamoDBであり、AWS SDK for Javaでの登場が待たれていたわけです。そして、このたび出てきました！ スティッキーセッション ロードバ

1. AWSの課⾦金金体系 2014年年４⽉月版 AWS does not offer binding price quotes. AWS pricing is publicly available and is subject to change in accordance with the AWS Customer Agreement available at http://aws.amazon.com/agreement/. Any pricing information included in this document is provided only as an estimate of usage charges for AWS services based on certain information that you have provided. Monthly charg

きっかけ Twitterでこんなつぶやきを見かけて「AWS勉強しなきゃなぁ」と思ったのでまとめてみる。 アメリカのエンジニア募集要項の90%には、「AWSが触れること」と記載がある #devmi— Tomonori_Hommaさん (@CkReal) 2013年3月2日 むむむ。 専門領域がインフラでなくても、開発→運用まで一貫した能力が求められる流れがいずれ来るだろうなーとは思っていましたけど、既に生々しい。 個人的にいずれチェックしときたいネット上の記事で、AWSの勉強になりそうな素材についてずらっとまとめてみました。 上から順に目を通すだけでも理解が深まるはず。 （まとめというわりにはあんまりまとまってないのはご容赦。。） 導入 Amazon EC2/S3を使ってみた - まとめ (Amazon Web Services関連エントリ目次) - 元RX-7乗りの適当な日々 日本語AWS