仕事の本業や副業のWebサービスホスティングにはクラウド、多くの場面ではAWS、たまにAzureなど他を使っている。 この際、時間によって変化する処理能力への要求に対応するためにオートスケールやサーバレスを活用して運用負荷やホスティングコストと付き合っている。 これらに関する所感をまとめたいと思ったのでまとめる。 オートスケールとサーバレスの違い オートスケールとの付き合い方 オートスケールへの期待 ECSとの付き合い方の実際 オートスケールで対応できないスパイク サーバレスへの期待 余談・プロに頼ろう オートスケールとサーバレスの違い ここ数年で提供開始されたAWSのサーバレスなにがしはサーバレスではなくオートスケールだと思うので、その違和感の元を言語化しておく。 あくまで持論、個人の認識ではあるけれど、まぁまぁ実態に即した捉え方をしているのではないかと思う。 まずオートスケール。これは

AWS、大型トラックでデータセンターのデータを吸い上げる「AWS Snowmobile」がサービス終了に AWSが2016年に発表した、100ペタバイトのストレージを備えたトラックで顧客のデータセンターからデータを吸い上げるAWS Snowmobileのサービスが終了したことが明らかになりました。 米CNBCの取材に対してAWSの広報がサービスが終了したことを認めました。 AWS stops selling Snowmobile truck for cloud migrations - CNBC 現時点でクラウドへのデータ転送を物理デバイスで行う「AWS Snow」ファミリーのサービスには、AWS SnowconeとAWS Snowballの2つのデバイスがリストされていますが、AWS Snowmobileの名前はすでに消えていました。 エクサバイト級のデータ転送のために登場したAWS S

なぜ？　「Suica」がサーバ型に移行する理由　25年近く稼働する“安全神話”の象徴に何が（1/3 ページ） 4月4日昼頃、一部店舗でSuicaを含む交通系ICカードなどFeliCa系電子マネーが利用できなくなる障害が報告された。筆者はちょうどその時間帯にイオン系の「まいばすけっと」で買い物をしていたが、「この時間、交通系ICカードが利用できません」との告知でレジ待ち行列が混乱している様子が見受けられた。このほか、自販機での電子マネー決済ができないという報告も多数散見され、それなりの影響が出ていた印象だ。 同日中にJR東日本メカトロニクスから「クラウド型マルチ電子マネー決済システムにおける不具合発生につきまして」というプレスリリースが出されており、処理センターのハードウェア障害であることが報告された。確認した範囲で、同社が日本カードネットワークと共同運営している「J-Mups」における障害

By default, Workers and Pages Functions are invoked in a data center closest to where the request was received. If you are running back-end logic in a Worker, it may be more performant to run that Worker closer to your back-end infrastructure rather than the end user. Smart Placement automatically places your workloads in an optimal location that minimizes latency and speeds up your applications.

中〜大規模サービスのインフラの様子を知りたいアプリケーションエンジニア向けに、もともとアプリケーションコードを書いていた視点から、個人的な体験をベースにはてなで大規模サービスのインフラを学んだ過程や学んだ内容の一部を紹介します。 Webアプリケーションのブラックボックス Webアプリケーションフレームワークの向こう側 なぜ複数のサーバが必要なのか 突然のWebサービス3層構成 リバースプロキシ アプリケーション データベース その他のコンポーネント キャッシュは麻薬 飛び道具としてのKVS/NoSQL 非同期処理 バッチ処理 Mackerelの場合 参考 まとめ Webアプリケーションのブラックボックス 今年もはてなインターンの時期が近づいてきた。 毎年ではないけど、はてなインターンでは「インフラ講義」というのをやっている。 今年はインフラ講義の講師としてアサインされたのでちょうど何を話そ

F5のサイト サポート ポータル F5製品およびサービスに関するセルフサービス ヘルプの記事 DevCentral 弊社主催のコミュニティでつながり、学ぶ My F5 サブスクリプションおよび登録キーの管理 Partner Central F5パートナーのためのリソースおよびサポート ポータル LearnF5 Learn to use F5 products F5へのお問い合わせ F5販売担当部へのお問い合わせ 詳しくは、F5の営業担当社にお問い合わせください F5サポートへのお問い合わせ お近くのサポート担当者にお問い合わせください プロフェッショナルサービスへのお問い合わせ F5ソリューションを最適化するためのサポートを受ける 無料トライアル 複数の環境にわたりアプリケーションの安全性、速度、信頼性を確保するこれらの製品を、無料でお試しください。 F5 Distributed Clou

任天堂：新しい汎用ゲームサーバーを Google Kubernetes Engine、Cloud Spanner などを駆使して構築 世界中で愛好されている任天堂株式会社（以下、任天堂）の家庭用ゲーム機「Nintendo Switch」。そのオンライン マルチプレイを担う汎用ゲームサーバーの動作基盤に新たに Google Cloud が採用されました。多くのユーザーとの通信を処理しなければならないこの仕組みを、なぜ Google Cloud 上に構築したのか。どのような工夫を施すことで、安定性・可用性と運用負担の軽減を両立させたのか。構築に携わったエンジニアのお二人に話を伺いました。 利用しているサービス： Google Kubernetes Engine、Agones、Anthos Service Mesh、Cloud Spanner、Cloud Load Balancing、Cloud

ヨドバシカメラが運営する国内の代表的なECサイトの1つである「ヨドバシ.com」は、同社が内製するプライベートクラウドによって支えられています。 そのプライベートクラウドはどのように作られ、どのような機能を備えているのかについて、クリエーションラインが主催し10月14日に開催されたオンラインイベント「Actionable Insights Day 2022」でその内幕がはじめて語られました。 この記事では、その内容をダイジェストで紹介します。 はじめて語られるヨドバシ.com を支えるプライベートクラウドの全容 株式会社ヨドバシリテイルデザイン サービスデプロイメント事業部 事業部長 戸田宏司氏。 ヨドバシリテイルデザインの戸田と申します。よろしくお願いいたします。「はじめて語られるヨドバシ.comを支えるプライベートクラウドの全容」というタイトルでお話をさせていただきます。 弊社は「いつ

こんにちは。 メディアサービス開発部Webアプリケーション開発課でフロントエンドエンジニアをしているnerikeshiです。主にTypeScriptでReactアプリケーションの開発をしています。 本記事では、コンテナで稼働させていたNext.jsアプリケーションのVercelへの移行と、それに付随して行ったISR導入時に起きたハマりどころについてお話しします。 本記事は同じWebアプリケーション開発課でバックエンドを担当しているフサギコ(髙﨑)との共同執筆記事です。 一迅プラスとは 以前の一迅プラス フロントエンドに関するインフラ構成の見直し Vercelへ移設するにあたって遭遇した迷いどころ、ハマりどころ DNSレコードの設定 SSL証明書 ISRページが404になったときのrevalidateの挙動について バックエンドがフロントエンドからのアクセスをIPアドレスで制限できない 一迅

マンガ投稿チームでWebアプリケーションエンジニアをしているid:stefafafanです。この記事では、最近私がチーム向けに整備したDeployment Preview環境の事例を紹介します。 Deployment Previewとはどのようなものか？ チームとして求める要件 実現したDeployment Previewの全体像 1. DockerイメージをビルドしてArtifact RegistryにpushしてCloud Runで動かすまで GitHub Actionsでどのように実現したか 2. ロードバランサーと証明書の準備、またServerless NEGによる振り分け Certificate Managerでワイルドカード証明書を取得 Serverless NEGを用意してURL MaskでCloud Runのリビジョンタグと対応づける Identity-Aware Prox

明治中期から後期の #多摩川 は上流部の森林が荒廃しており、渇水や濁水が頻繁に発生していました。そのため #尾崎行雄 東京市長は東京市が水源林の経営を行うべきと決断し、水源地帯の買収、植栽や崩壊地の復旧などの施策を講じました。その結果現在の豊かな水道水源林が形成されることとなりました。 pic.twitter.com/U8qHfdIXFm — 東京水道株式会社【公式】 (@Tokyo_Water_Co) July 19, 2022 先日、東京都の持っている巨大な水源林にいってきた。 デジタル技術も都市を支えるインフラの一つになりたい。その際、水道局、下水道局、港湾局、交通局などの既存の都市インフラの先輩部局の在り方が参考になるのではと思いインフラ系部門の現場に時間をみては行って話をきいてる。 これが毎回、滅法、面白い。今回は水道局の奥多摩から山梨県甲州市にかかる水源林に行ってきた。以前に行

愛知県中部で、工業用水や農業用水を供給している水道の取水施設「明治用水頭首工（めいじようすいとうしゅこう）」で17日から川から取水できない状態となっています。 施設を管理する東海農政局は、十分な量の工業用水を供給するため、ポンプの手配を進め、順次稼働させています。 この影響でトヨタ自動車は部品の供給が滞るとして、19日にトヨタの完成車の生産を担っているグループ会社「豊田自動織機」の工場で、稼働を一部停止すると明らかにしました。 17日未明、愛知県豊田市にある矢作川から水を引き込む工業用水や農業用水の取水施設で水門の下の川底に何らかの原因で穴が空いて大量の水が下流に流れ出る状態になって水位が下がったため午後6時ごろには取水口から水をくみ上げることができなくなりました。 このうち工業用水について愛知県は、下流にある浄水場にためている水がなくなり次第、給水が止まる見込みだとしています。 これを受

ソフトウェア開発をやるぞと決めてカナダに移住して Amazon S3 のチームに入り約 3 年経ったけど、今日から社内で別のチームに移ることになった。エンジニア人生を始めて 10 年ちょっと、初めて自分から参加したいと思って選択したポジションなので、楽しみだ。 10 年間、仕事の選択肢がなかった 僕は大学院を辞めてからカナダの永住権を取るまでの約 10 年間、とにかく日本を出て働ける様になるためだけに生きてきた。なんのスキルもなく大学院でも何もなさずに辞めてしまうような人なので、新卒採用(結局既卒になるんだけど)は 1 社しか合格できず選択肢はなかった。しばらくは手に職をつけようとインフラのスキルを一から磨いたけど、このまま同じことを続けても海外には行けないと思って、海外支社に出向できるチャンスをもらった。そこでインフラよりも開発がやりたいと思った矢先に日本に戻る様に言われ、日本で開発をや

こんにちは。株式会社サイバーエージェント プライベートクラウドグループの中西 (@whywaita ) です。2020年9月と10月に行われたISUCON10へ、サイバーエージェント プライベートクラウドグループとしてインフラ提供を行いました。 今回はプライベートクラウドのチームが2020年のISUCONにインフラを提供した裏側についてご紹介します。本記事では準備編として、インフラ視点のISUCONについて、及び我々が行った事前準備について触れます。 インフラ提供のはじまり私がISUCON8で優勝したのち、ISUCONコミュニティ還元のためインフラ提供として関わりたいという気持ちが大きくありました。 その後、ISUCONの運営であるLINEの941さんに最初にお声がけさせて頂いたのが2019年2月、その後弊社内の交渉を経てISUCON10での提供が決定しました。 本当はISUCON9での提

突然ですが... あなたは、あるゲームプロジェクトの本番リリース2日前にサーバエンジニアとしてJOINしました。いざリリースを迎えたとき、ElastiCacheのメモリが突然危険域を超え、さらにあと2時間で枯渇しそうな状況になりました。 さて、この状況におかれたあなたは何をしますか？ はじめに モバイルゲームのシステムは新しいイベントをopenするとトラフィックが2倍、3倍、時には普段の10倍以上来ることがあり、トラフィックの変動が非常に大きい特性があります。 新しいゲームのリリース時はより顕著で、想定以上のトラフィックが来ることもしばしばあります。 この記事は、あるゲームプロジェクトの本番リリース時に大規模トラフィックが来た際のサーバトラブルを題材に、 どのような観点で問題を切り分けていったのか、トラブルシュートのプロセス どのような準備(負荷テスト)をしていれば防げるのか という話をし

こんにちは。はてなのアプリケーションエンジニアの id:onk です。 最近、若手エンジニアを中心に、いろいろな技術を見つめ直すワーキンググループをやっています。今回は、その中から「デプロイ」の会で発表されたことをまとめました（なお、私は会のとりまとめをやっている非若手です）。 デプロイのライフサイクルの違い Infrastructure Platformでのデプロイ Application Runtime Platformでのデプロイ Applicationsのデプロイ デプロイ方式はどのように変化してきたか In place から Blue/Green へ Immutable Infrastructure という考え方 オートスケールへの対応 push 型デプロイと pull 型デプロイ コンテナによるデプロイの現況 コントロールプレーンによって何が変わったか ECS におけるデプロイ

近年、デジタル化政策を次々と推し進め、世界の中でも最前線を行く「電子国家」として日本でも有名になっている、人口わずか130万人の小国がある。それがエストニアである。 「e-government」と呼ばれる国民データベースにより、国民はICチップ付きIDカードによって全ての行政サービスを受けることができる。また国民の96%がインターネット上で所得税申告を行うなど、行政インフラのIT化が進んでいる。現在では「eResidency」という制度によって世界中の人々に「virtual国籍」を発行するというユニークな政策も行なっている国である。まるで国全体がスタートアップ組織のようだ。 しかし、国が打ち出す電子国家としてのイメージとは裏腹に、実際には多くの人がいまだに現金を使っていたり、ネット投票を利用していなかったりと、後進的な部分もまだまだ残っている。だからこそ、この先エストニアという小国がどのよ

インフラやミドルウェアにとにかく苦手意識があるが、仕事的にいつまでもそう言ってられない。そこで、最悪全部ぶっ壊れても大丈夫な砂場を作り、そこを土台に活動をするというのを2018年の目標に設定していた。 結構な時間をかけたこともあり、それなりの砂場と活動ができて、自分としても勉強になってよかった点が多かったので振り返りを書きます。一個一個ちゃんとエントリ書いていたので、振り返りが楽で助かった。 完成系はML Newsだけど、2018年1月時点では そもそもWebアプリですらなくCLIアプリだった データの管理もデータベースではなくテキストファイル という素朴な作りだった。 インフラ編 最初はCLIアプリをWebアプリにする活動をやったが、その後はAWS上にインフラ部分の構築を進めた。 次に一台のEC2をAWSコンソールから立てて、sshでログインしてyumコマンドを打って...という10年前

最近、SRE になった @b4b4r07 です。今回は、直近のタスクだった社内アプリを Kubernetes に載せ替えた話をします。 前置き メルカリでは全社的 1 に Crowi という Markdown で書ける Wiki アプリケーションをナレッジベースとして採用しています。 site.crowi.wiki 以前は、プロダクトチームは Qiita:Team、コーポレート系は Google Sites と言った具合に、各部署ごとに異なるドキュメントツールを使っていました。これではよくないと、エンジニアに限らず誰でも書きやすく参照しやすい Wiki のようなサービスが必要とされ、Crowi の採用に至りました。 まずはみんなに使ってもらうために広めていこうと、試験的に導入が始まったため、今回の移行話までは 1 台の EC2 インスタンスにアプリケーションサーバと Nginx、Mongo

本日、はてな匿名ダイアリーをHTTPS化（常時SSL化）いたしました。HTTPSに対応したことで、より安全性が高まったはてな匿名ダイアリーをどうぞご利用ください。 https://anond.hatelabo.jp この変更により、2017年6月7日（水）17:00 以降にログインした方を除くすべてのユーザー様について、はてな匿名ダイアリーのログインが解除され、ゲストユーザーの状態になっています。大変お手数をおかけいたしますが、下記のログインページより再度ログインをお願いいたします。 https://hatelabo.jp/login?backurl=https://anond.hatelabo.jp/ なお、HTTPS化に伴い、はてなブックマークにおいて一時的にはてな匿名ダイアリーの記事のブックマーク数が表示されなくなりますが、新しいURLへの移行準備を行っており、順次ブックマーク数が表