LinkedInの記事をめぐっているうちに見つけた、マイクロアーキテクチャに関する面白い事例。 CPUのマイクロアーキテクチャのさらに奥深くまで理解が必要な問題を解決するために、どのようなツールをつかってどのように解決したかの話。 netflixtechblog.com Netflix内でのワークロード最適化のため、AWSのインスタンスサイズを移行(16 vCPUから48 vCPU)し、CPUがボトルネックとなるワークロードの性能向上を図った。 このインスタンスの移行により、性能をほぼ直線的に増加させることを想定し、スループットがおよそ3倍になると予想した。 しかし、結果としてこの移行で想定する性能は達成できなかった。 https://netflixtechblog.com/seeing-through-hardware-counters-a-journey-to-threefold-pe

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに この仕事を始めた当初(約20年前)はオンプレミスという言葉がありませんでした。いや厳密には私の周りではパブリッククラウドとオンプレミスを分けて話す人はおらず、インフラ構築といえば今でいうオンプレミスが中心でした(世の中的にはパブリッククラウドがサービスとして存在していました)。オンプレミスみたいに新しい概念が出てきた時にそれまでの概念を説明するためにできる言葉をレトロニムというそうです。 私が本格的にパブリッククラウドの仕事をし始めたのは約3年前でAWSでした。研修ではAzureを先に触れていたのと、この本を読んでいたという知

メモリ使用率が100%になるとエラーが起きたりするか？について調査調査方法まず調査方法についてです。 以下の条件で調査しました。 前提条件本記事では以下の条件で、調査しました。 言語：Python 3.12 Lambdaのタイムアウト設定：29秒 Lambdaのメモリ：128MB 調査で使用したソースコード以下のソースを使用して調査しました。 import sys import time def lambda_handler(event, context): mem_test = [] start = time.perf_counter() for i in range(5000000): mem_test.append(str(i)) if i % 50000 == 0: print ('num:'+str(i)) end = time.perf_counter() print(f"{e

はじめに 言語として高速だと謳われているRust。そのRustを使用してDynamoDBへのデータ登録処理を直列処理と複数の並列アルゴリズム処理で速度比較してみました。 DynamoDB DynamoDBは公式で以下のように謳われています。 Amazon DynamoDB の応答時間は 1 桁ミリ秒で、最も要求の厳しいアプリケーションでも一貫してこのパフォーマンスを発揮できます。例を挙げると、2022 年の Amazon プライムデーに Amazon DynamoDB は、1 桁ミリ秒のパフォーマンスで、数兆回の API コールに対して 1 秒あたり 1 億 520 万件のリクエストを確実に処理しました。 上記だけみると爆速のようにも思われますが、読み込みと書き込み双方に以下の制限があります。 BatchWriteItemのデータ投入は1回で25リクエストまで、Queryのデータ取得は1回

サーバ監視サービスMackerelにおいて開発中の、高解像度・長期間のサーバメトリック収集を実現するための新しい時系列データベースDiamondを紹介します。具体的には、Amazon ElastiCache、Amazon DynamoDB、Amazon S3を組み合わせ、Amazon Kinesis StreamsとAWS Lambdaによりコンポーネント間を接続した、階層構造のデータストアアーキテクチャの設計と実装を解説します。 2018/06/05 追記: この記事の内容をWSA研#2でより一般的なアーキテクチャレベルでの貢献として書き直しました。 サーバレス時代におけるヘテロジニアス時系列データベースアーキテクチャ - ゆううきブログ はじめに 先日開催されたAWS Summit Tokyo 2017にて、「時系列データベースという概念をクラウドの技で再構築する」というタイトルで登壇

EC2 インスタンスや S3 バケットなど、AWS 環境はどのように構築したらよいでしょうか。筆者は、以前は CloudFormation や SAM を使っていましたが、いまではもっぱら AWS CDK を活用しています。 CDK はこれまでの Infrastructure as Code (IaC) とは次元の異なる、新たな世界を見せてくれていると感じます。その感覚が具体的にはどのようなものか突き詰めていくことは、実用からは一見遠いように見えて、CDK の真価を引き出すためには欠かせないことのように思います。 この連載では AWS CDK について、その基礎となる概念やものの見方・考え方を中心に解説していきます。『Concepts』など公式ドキュメントやソースコードの情報を整理して紹介するとともに、それでは足りない点やあいまいな点は、筆者の解釈で補いながら説明します。 前提となるのは、

はじめに 生まれながらにサーバーレスなRSSリーダーを自作したい欲求があったので、自作しました 以下を試しました Lambdaでスクレイピング、Discordにwebhookで投稿 VSCode Remote Containerで開発 EventbridgeによるLambdaの定期実行 Lambdaをコンテナで動かす Systems ManagerパラメータストアとLambdaの連携 成果物 登録しておいたサイトのRSSが1時間おきに自動取得され、リンクとタイトルがDiscordに投稿されます 構成図 LambdaがRSS情報を取得し、webhookを利用してDiscordに通知します LambdaはEventbridgeにより1時間おきに自動実行されます RSS取得先URLはSystems Managerパラメータストアに保存します URLの追加変更はデプロイを介さず可能です Lambd

いくつかのクラウドサービスでは、新規ユーザーに対する1年程度の無料トライアルや一定額のクーポンなどの提供だけでなく、期間の制限なくずっと無料で使える、いわゆる「Free Tier」や「Always Free」と呼ばれるサービスが提供されています。 こうしたサービスは試行用の環境や一時的なテスト環境、あるいはホビー用途などに適しています。 本記事では期限の制約なく無料で提供されている主なクラウドサービスを、2023年版としてまとめました（新規ユーザーとして期限の制約なく無料で使えるものを優先しています）。 ただしこれらの無料のサービスは、提供側の都合によって申し込みや利用が制限されたり、もしくは提供自体が終了したりすることがあります（昨年、多くのITエンジニアに人気であったHerokuのFreeプランが終了したことをご記憶の読者も多いでしょう）。 無料のサービスを利用する場合には、そうした提

前回に続いてソリューションアーキテクト職でAmazonの面接を受けて、オファーをもらったけど蹴った学生による投稿の細部を見ていきます。 前回の記事は上から。 面接の内容を検討する前にまず、ソリューションアーキテクトに求められていることは何なのか、Amazonが掲載しているJD（職務記述書）を見てみましょう。 AWSのソリューションアーキテクト職JD上は、amazon.jobs で"solutions architect"で検索して出てきた募集中ポジションの中から、先ほどの面接を受けた学生と同じ条件に揃えるため、ニューヨークオフィスで、かつタイトルに"シニア（上級）"が付かない、経験年数5年未満向けと思われるものをピックアップしました。 ソリューションアーキテクト職種概要まずJDの概要部分を訳してみます（DeepLを使い細部を微修正しています）。 アマゾン ウェブ サービス（AWS）では、深

ABEMAの「サッカーW杯配信」が安定していた理由、CTOが明かすインフラの舞台裏：AWS Summit Tokyo 2022年、日本中を大きく沸かせたサッカー世界大会「FIFA ワールドカップ 2022」。全64試合を配信したABEMAを手掛けるAbemaTVによれば、期間中は1週間当たり最大で約3409万人のアクセスがあったという。しかし、ABEMAは大きな障害なく映像を配信し切り、SNSなどで注目を集めた。 大量のユーザーをさばききったシステムには、どんな工夫があったのか。AbemaTVの西尾亮太CTOが、4月20日から21日にかけて開催した、クラウドサービス「Amazon Web Services」に関する技術展示イベント「AWS Summit Tokyo」（幕張メッセ）で語った。 AWS活用の新システム活用　W杯配信の裏側 ABEMAがW杯の配信で使用したのは、AWSが提供するラ

マルチクラウドを利用する重要性 企業では、パブリッククラウドの利用が拡大している。DX（デジタルトランスフォーメーション）の推進において、クラウドサービスはキーテクノロジーとなっているほか、政府もガバメントクラウドを掲げており、今後もクラウドサービスを利用したIT基盤の整備が進むことが予想される。 ただし、パブリッククラウドは便利ではある側面、単一のベンダーのサービスしか使っていない場合は障害発生時に業務が回らなくなるというリスクがある。主要なクラウドサービスは高い稼働率を誇っているが、それでも年に数時間は不具合を発生している。最近では、クラウドサービスの停止がメディアでも報じられているので、ご存じの方も多いだろう。 こうした障害発生時にも事業を継続するため、または、ネットワークトラフィックの増加で一定のサービス品質が維持できなくなる事態を回避するためといった理由から、複数のベンダーのクラ

驚くべき完成度！AWSでサーバレスAPIの作成をChatGPTに頼んだ結果〜AWSエンジニアの役割が変化する?!〜AWSCDKChatGPT記事投稿キャンペーン_ChatGPTGPT-4 はじめに ChatGPTがリリースされて日々、会話しては衝撃を受けています。 現在AWSエンジニアとして働いていますが、自分たちの働き方も大きく変わるのでは？！と感じて色々ChatGPTの使い方、自分達の働き方を模索しています。 AWSでのサーバレスAPIの作成をChatGPTに依頼たらどうなるのか？ という事を現時点（2023/3/19のGPT-4)のChatGPTで試しながら、結果を元に自分たちの働き方がどう変わるのか考えてみたいと思います。 ChatGPTとは ChatGPTとは、OpenAIが開発した大規模な言語モデルです。 自然言語処理の能力が非常に高く、チャットベースで依頼・質問する事で質問応

1Passwordを使って、ローカルにファイル(~/.configや.env)として置かれてる生のパスワードなどを削除した 最近、コミットはされないがローカルのディレクトリに置かれている.envのようなファイルから生のパスワードやAPI Tokenを削除しました。 これは、ローカルでマルウェアを実行した場合に、ローカルに置かれている生のパスワードやAPI Tokenを盗まれる可能性があるためです。 最近は、npm install時のpostinstallでのデータを盗むようなマルウェアを仕込んだりするソフトウェアサプライチェーン攻撃が多様化しています。 Compromised PyTorch-nightly dependency chain between December 25th and December 30th, 2022. | PyTorch What’s Really Goin

はじめに 先日、エンジニア界隈では有名なポッドキャストであるfukabori.fmに出させていただきまして、そのときのトピックがサーバーレスでした。 ポッドキャストはこちらで聞けますのでぜひどうぞ。 fukabori.fm そこでもいろいろお話ししたのですが改めて話せなかったことなども含めて書こうかなと。つまり、ポエムです。散らかった文章な上に少し長めなのでお時間のある方だけどうぞ。 なお、サーバーレスの黎明期の話とかそういう思い出話は以前に書いたこちらの投稿があります。 サーバーレスと僕のこれまでとこれから - Sweet Escape 今回は思い出話ではなく、サーバーレスに個人として魅力を感じ、仕事としてその良さを広めたり、実装のお手伝いをし続けてきた自分がそういった仕事から離れた2022年現在どういう風に向き合ってるかについてのポエムです。 前提 現在の自分は株式会社Singular

本当にあったIT怖い話　AWSの設定ミスで300万円のコスト超過、1日1回だったはずの処理が1分で160万回に　当事者に聞く反省点（1/3 ページ） バックアップデータがあると思って安心していたのに、いざ障害時に取得できていなかったことが発覚したり、ネットワークアクセスの制限を強化しようと設定をいじったら、自分すらアクセスできない状態にして手詰まりになったり……もっとヒヤッとする事態も含め、IT業界には「本当にあった怖い話」がいろいろある。 クラウドサービスの利用料金がいつの間にかに膨大になる「クラウド破産」もその一つだ。検索してみると、便利だからとあれもこれもとクラウドサービスを利用していたら料金が想像以上に大きく膨らんでしまい、課金額を見て目を回した経験談がいくつかのブログにつづられている。 システムインテグレーションやセキュリティサービスを提供するラックも、そんな経験をしてしまった企

巨大なテキストファイルをソートする問題について、sortコマンドの挙動を中心にAmazon EC2インスタンス上で検証を行いました。その結果を記事にまとめたものです。 お題の説明 先日のTwitterでこんな話題がありました。論旨としては、非常に大きくメインメモリに収まらないサイズのテキストファイルをソートしたい場合にどうすればよいか、というものです。 解法はさまざまなものがありえると思いますが、この記事ではsortコマンドによるソートを試してみました。 一般論としての解法 stackoverflowなどを軽く眺める限りだと「普通のsortコマンドが最良ではないか」「GNUのsortは入力が大きい場合は外部ソートをしてくれる」などの回答が見つかります。 https://unix.stackexchange.com/questions/120096/how-to-sort-big-files

活用がひろがるサーバレス環境・Lambda関数 マルウェアの解説に入る前に、簡単にサーバレス環境についておさらいしておく。 サーバレスとは、一言でいえば自前でサーバを構築しなくてもプログラムを実行できる仕組みのことだ。サーバの機能をAPIや関数のように使えるようにしたもので、AWS Lambda（ラムダ）が代表的な実装となる。AWS Lambdaでは、JSONやNode.js、Python、Ruby、Goなどさまざまな言語、スクリプトで書かれたプログラム（ジョブやタスク管理を行う）を登録すれば、任意のトリガーイベントでアプリケーションやサーバ（コンテナ含む）を起動・停止ができるようになる。 プログラムを書いてLambda関数として登録すれば、アプリケーションを簡単に利用、制御できるというわけだ。 ただし、Lambda関数ですべての処理やアプリケーションが実現できるわけではない。生成されるサ

アマゾンウェブサービスジャパン（AWSジャパン）は4月19日、クラウドサービス「Amazon Web Services」の初心者向け教材などをまとめたブログ記事を公開した。初学者やクラウド人材の育成を受け持つ人向けで、自社の教材などを全6段階の理解度別に紹介している。 Webページでは、学習に当たっての理解度を（1）ビジネスにおけるAWSの活用方法や効果を学ぶ、（2）AWSの全体像をつかむ、（3）AWSが提供するサービスそれぞれに詳しくなる、（4）実際に手を動かし、知識を深める、（5）AWSの最新情報を追う、（6）より現場で求められる知識を追う──に分類。 各段階で使える教材と、その段階で学習すべき内容をまとめている。例えば（1）ではクラウドのメリットを理解できるとして導入事例の記事や動画などを、（2）ではAWSの基礎知識を学べるとしてオンライン教材「AWS Cloud Practitio

AWS、オンラインロールプレイングゲームでAWSのソリューション構築を学べる「AWS Cloud Quest」公開。実際にプレイしてみた AWSは、AWSを使って街の課題を解決しつつクラウドの技術を学んでいくゲーム「AWS Cloud Quest: Cloud Practitioner」公開した。実際にゲーム内で本物のAWSを操作する実践的な内容となっている。Webブラウザでプレイ可能。 Amazon Web Servicesは、クラウド技術者となったプレイヤーがAWSを使って街の課題を解決しつつクラウドの技術を学んでいく、無料のオンラインロールプレイングゲーム「AWS Cloud Quest: Cloud Practitioner」を公開しました。 .@awscloud just launched two initiatives including the game-based AWS

こんにちは、技術広報のyayawowoです。 「自動化（オートメーション／Automation）」 今、この言葉を聞いて胸がときめいた方に必見です！ 当社主催イベントでも人気の高い 「自動化大好きエンジニアLT会」全5開催分の資料をまとめて紹介します！ イベント詳細はこちらをご確認ください！ ・自動化大好きエンジニアLT会 ・自動化大好きエンジニアLT会 - vol.2 ・自動化大好きエンジニアLT会 - vol.3 ・自動化大好きエンジニアLT会 - vol.4 ・自動化大好きエンジニアLT会 - vol.5 目次 目次 手動テストやインフラ構築は自動化しよう APIテスト品質を向上させる Datadog Synthetic Monitoring APIテスト自動化とテストピラミッド TestLinkにテスト結果を自動的に登録 Cypressでサクッと始めるE2Eテスト 自動テスト環境を