AWS Startup ブログ スタートアップのためのマイクロサービス入門 こんにちは、スタートアップ ソリューションアーキテクトの松田 (@mats16k) です。 以前「スタートアップのためのコンテナ入門 – Kubernetes 編」を出した際に記事内で、マイクロサービスやサービスメッシュにふれる機会がありました。今回は AWS でデベロッパーアドボケイトをしているトリ氏 (@toricls) にマイクロサービスについて記事を寄稿いただきました。 ※ 本記事は Software Design 2020年7月号 に掲載された「スタートアップのためのAWSテクノロジー講座 – マイクロサービスのあるべき姿と特徴を知る」からの転載、改修版です。 目次 マイクロサービスにはコンテナが必要なのか？ サービスメッシュは本当に必要なのか？ 「マイクロサービス」という言葉の功罪 マイクロサービスが必

2023/06/20のJAWS-UG朝会にて発表した資料。DynamoDBの英語論文を読んで面白かったところを発表

Amazon RDS Read Replicas are a feature of Amazon Relational Database Service (Amazon RDS) that provide enhanced performance and durability for Amazon RDS databases. In this tech talk, learn about Read Replicas and the performance, durability, and availability benefits that they provide. Explore the different use cases for Read Replicas, including disaster recovery, major version upgrades, and more

Amazon で構築するサービスにおいては、非常に高い目標で可用性を達成する必要があります。これはつまり、システムが取る依存関係について、慎重に検討する必要があることを意味します。これらの依存関係が損なわれた場合でも復元力を維持するようにシステムを設計します。この記事では、このレベルの復元力を実現するために静的安定性と呼ばれるパターンを定義します。この概念を、AWS の重要なインフラストラクチャビルディングブロックであるアベイラビリティーゾーンに適用する方法を示します。したがって、すべてのサービスが構築される基盤になります。 静的に安定した設計では、依存関係が損なわれてもシステム全体が動作し続けます。おそらく、システムは、依存関係が提供するはずだった更新された情報（新しいもの、削除されたもの、変更されたものなど）を確認しません。しかし、依存関係が損なわれる前に行われていたすべての処理は、依

アマゾン(amazon.co.jp)の注文履歴を月別表示したり、月別もしくは通年の領収書をまとめて表示・印刷したりできるようになります。 確定申告の対象となるデジタルコンテンツが大量にあるような場合等に使うと便利、かも知れません。 ※使用については自己責任でお願いします。何か不具合等が生じたとしても作者は一切関知いたしません。 Kindleを始めとしたデジタルコンテンツの領収書を得ようとすると、注文履歴等から1件ずつ選択して個別に印刷する必要があり、多数印刷しようとするとかなり手間がかかります。 そこで、選択した年月のデジタルコンテンツのみを抽出し、領収書をまとめて一つのタブに表示できるようにしてみました。 これにより、通年もしくは月別の領収書をまとめて印刷したり、PDFに保存したりできます。 【注意】 ・アカウントによっては正常に動作しないことがあります（領収書がHTMLではなくPDFの

Amazon Web Services ブログ Amazon RDS Online Seminar 「忘れちゃいけない！Amazon RDS/Amazon Aurora のアップグレードとその方法」資料・動画及び QA 公開 先日(2021/11/11) に開催した Amazon RDS Online Seminar「忘れちゃいけない！Amazon RDS/Amazon Aurora のアップグレードとその方法」の資料・動画を公開しました。 当日、参加者の皆様には数多くの QA を頂きありがとうございました。頂いた QA の一部についても共有しています。 【動画】 – RDS/Aurora Update – RDS/Aurora MySQL Major/Minor Upgrade – RDS/Aurora PostgreSQL Major/Minor Upgrade – RDS for O

Amazon Web Services ブログ Deequ で大規模なデータ品質をテスト 一般的に、コード用のユニットテストを書くと思いますが、お使いのデータもテストしているのでしょうか? 不正確または不正なデータは、本番システムに大きな影響を与える可能性があります。データ品質問題の例は次のとおりです。 値がない場合は、本番システムで null 以外の値を必要とするエラー (NullPointerException) が発生する可能性があります。 データ分布が変化すると、機械学習モデルで予期しない出力につながることがあります。 データの集計を誤ると、ビジネスでの判断を下す際に誤った意思決定につながる可能性があります。 このブログ記事では、Amazon で開発し、使用されているオープンソースツールである Deequ を紹介したいと思います。Deequ では、データセットのデータ品質メトリクス

S3 is a Key-Value store Amazon S3 は、一意のキー値を使用して、必要な数のオブジェクトを保存できるオブジェクトストアです。 Amazon S3 オブジェクトの概要 - Amazon Simple Storage Service Amazon S3の基礎技術は、単純なKVS（Key-Value型データストア）でしかありません。 Amazon S3における「フォルダ」という幻想をぶち壊し、その実体を明らかにする | DevelopersIO Amazon S3の実体はKey-Value storeという事実は、既にご存知の方々にとっては何を今更というようなことではありますが、それでも初めて聞くときには驚かされたものです。 さて、Key-Value storeと聞いて一般的に馴染みが深いのはRedisでしょう。そして、RailsにおけるRedisの役割としてCac

Amazon Web Services ブログ Amazon EventBridge – SaaS アプリケーション用のイベント駆動型での AWS の統合 AWS のお客様の多くが、SaaS (Software as a Service) アプリケーショ ンを大いに活用しています。たとえば、カスタマーサービスとサポート用チケットの管理には Zendesk を、インシデント対応の処理には PagerDuty を、そしてリアルタイムモニタリングには SignalFX といったものを利用しています。これらのアプリケーションはそれ自体極めてパワフルですが、顧客独自のシステム、データベース、ワークフローと統合した場合には、さらに優れた機能を発揮します。 新しくなった Amazon EventBridge 最近一般的となってきたこうしたユースケースをサポートするため、本日、Amazon EventBr

仕様検証言語 TLA+ の AWS における使用事例について向井が話します。感想などはハッシュタグ #misreading か [email protected] にお寄せください。 Why Amazon Chose TLA +  | SpringerLink (Google Scholar) How Amazon Web Services Uses Formal Methods Practical TLA+: Planning Driven Development: Hillel Wayne Specifying Systems: The TLA+ Language and Tools for Hardware and Software Engineers: Leslie Lamport TLA+tlaplus/tlaplus: TLC is an explicit state

これまでのM3やI2、I3のインスタンスストアはその利用有無によって追加のコストはかかりませんでしたが、C5とC5dには価格差があることに注意が必要です。 C5dインスタンスを起動してみた それでは、C5dインスタンスを起動してみます。 バージニアリージョンを選択して、新規EC2インスタンスを起動しよとすると、C5dの各インスタンスタイプが選択可能になっています。 今回はc5d.largeを選択します。ストレージの設定では、「ephemeral0」が自動で割り当てされています。 ローカルストレージの利用 起動したインスタンスに接続して、ローカルストレージを設定し利用可能にします。以下、環境はAmazon Linux 2018.03.0 を使用しています。 何もせずに起動した状態では、まだマウントされていません。 $ df -h ファイルシス サイズ 使用 残り 使用% マウント位置 dev

Amazon Web Services ブログ Amazon Athena を Apache Hive メタストアに接続し、ユーザー定義関数を使用する Amazon Athena は、標準 SQL を使用して Amazon S3 のデータを簡単に分析できるインタラクティブなクエリサービスです。Athena はサーバーレスであるため、インフラストラクチャの管理は不要であり、実行したクエリにのみ課金されます。この投稿では、現在プレビュー中である2つの新しい機能、Apache Hive Metastore への接続と、ユーザー定義関数の使用について詳しく説明しています。これらは本日から使い始めることができます。 Athena を自分の Apache Hive Metastore に接続する Hive Metastore を、自分のビッグデータ環境に共通のメタデータカタログとして使っているお客様が

AWS Storage Gateway オンプレミスアプリケーションに、事実上無制限のクラウドストレージへのアクセスを提供する

CloudTrail は、デフォルトで AWS のサービス全体の管理イベントをログに記録し、無料でご利用いただけます。CloudTrail コンソールで CloudTrail を使用すると、追加費用なしでアカウントのコントロールプレーンアクティビティの直近 90 日間の履歴を表示、検索、ダウンロードすることができます。また、CloudTrail lookup-events API を使用して実行することもできます。 新規のお客様の場合は、CloudTrail Lake を 30 日間追加費用なしでお試しいただけます。この期間中、お客様はすべての機能セットをご利用いただけます。30 日間の無料トライアル期間中は、以下の制限があります。 最大 5 GB のデータを取り込み 最大 5 GB のデータをスキャン 追加費用なしでデータを保持 30 日が経過するか、無料使用量の上限に達するか、いずれか

Amazon Web Services ブログ Amazon DynamoDB の大量の時系列データの設計パターン 時系列データは、経時変化のパターンを示しています。たとえば、次のグラフの例に示すように、センサーを通じて環境データを記録するモノのインターネット (IoT) デバイスがあります。このデータには、温度、気圧、湿度、その他の環境変数が含まれる場合があります。各 IoT デバイスは定期的にこれらの値を追跡するため、バックエンドは毎秒最大数百、数千、または数百万のイベントを取り込む必要があります。 このブログ記事では、大量の時系列データを扱うシナリオ用に Amazon DynamoDB を最適化する方法について説明します。これを、自動化とサーバーレスコンピューティングを活用した設計パターンを使用して行います。 DynamoDB で大量のイベントを設計する 通常、データ取り込みシステム