【Unit4 ブログリレー11日目】 こんにちは。昨年末に入社した、Unit4（m3.com開発チーム）エンジニアの升元です。このブログは、Unit4ブログリレー11日目の記事です。 この記事では、DynamoDBの実践の中で初めて知った仕様を紹介していきます。これからDynamoDBを検討する方の参考になればと思います。 はじめに 対象のサービスと、そこにDynamoDBが使われている理由 対象を管理するテーブルを追加しようとした 知見1: 1トランザクションの上限は100アクション 知見2: パーティションキーだけを指定して削除できない 1行ですべての対象情報を持とうとした 知見3: セット型で複数の値を持てる。ただ、そこにインデックスを張れない ミニマムでの実現と、他データベースの検討 おわりに We are Hiring! エンジニア採用ページはこちら エンジニア新卒採用サイト カ

はじめに 私ごとではありますが、現場でdynamodbをメインのデータベースとして採用してから約2ヶ月が経ちました。 たった2ヶ月いう期間で、何度も心身ともに崩壊し、そして粘り強く復活を遂げ、かろうじて奇跡的にレベルアップをしてきました。 今回の記事では、これからdynamodbの導入を検討しているエンジニアの皆様に向けて、わずかながら現場で(汗と血を流しながら)得た知見を共有したいと思います。 主にdynamodbを導入するときに楽できる部分、楽できない、苦労する部分がどんな感じか、この記事でなんとなく伝えられたら嬉しいです。 以下では、4つの項目(採用基準、設計、開発、運用)に分けて、知見を羅列していきますが、私もまだ駆け出しdynamodberの域を出ないので、誤りやアドバイス等ございましたら、是非コメントいただきたいです！ なお、ここで紹介する内容は基本的にはAWSの公式ドキュメン

あなたにとって重要なトピックや同僚の最新情報を入手しましょう最新の洞察とトレンドに関する最新情報を即座に受け取りましょう。 継続的な学習のために、無料のリソースに手軽にアクセスしましょうミニブック、トランスクリプト付き動画、およびトレーニング教材。 記事を保存して、いつでも読むことができます記事をブックマークして、準備ができたらいつでも読めます。

はじめに 言語として高速だと謳われているRust。そのRustを使用してDynamoDBへのデータ登録処理を直列処理と複数の並列アルゴリズム処理で速度比較してみました。 DynamoDB DynamoDBは公式で以下のように謳われています。 Amazon DynamoDB の応答時間は 1 桁ミリ秒で、最も要求の厳しいアプリケーションでも一貫してこのパフォーマンスを発揮できます。例を挙げると、2022 年の Amazon プライムデーに Amazon DynamoDB は、1 桁ミリ秒のパフォーマンスで、数兆回の API コールに対して 1 秒あたり 1 億 520 万件のリクエストを確実に処理しました。 上記だけみると爆速のようにも思われますが、読み込みと書き込み双方に以下の制限があります。 BatchWriteItemのデータ投入は1回で25リクエストまで、Queryのデータ取得は1回

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 概要 DynamoDBのテーブルの用語やテーブルの検索方法がまっっったくわからなかったので、イラストをまじえながらいつでも見返せるように書いてみました。 この記事で得られること DynamoDBのテーブルの基礎概念についてイラストで理解できます。 テーブルの操作はaws cliで行なっていますが、もちろんコンソール画面からもできます。 全体の概要を理解したいので、aws cliのコマンドについては軽く読み流してもらって大丈夫です。 用語 DynamoDBのテーブルには色々な用語があります テーブル パーティションキー ソートキ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 概要 AWS で人気のサービス DynamoDB についての論文が公表され巷で噂になっていたと思う。 今回は、その論文を読み込んでいき、ざっくりまとめていくという記事になります。 完全趣味な記事なので、興味ある人がいれば幸いです笑 Abstract まず論文のタイトルですが、「Amazon DynamoDB: A Scalable, Predictably Performant, and Fully Managed NoSQL Database Service」と題したものとなっています。 Amazon DynamoDB は、NoSQL

こんにちは、AI 基盤部の大谷です。 最近は兼務で MLOps 以外にも様々なシステムを構築しています。 弊社では全社的にオンプレミスからクラウドに、よりマネージドに寄せていこうという大きな指針が定められています。 (参考: フルスイングの記事 ) しかし、古くから運用されているサービスなどでは、未だにオンプレミスで構築されているものも少なくありません。 また、クラウドにホストされている場合でも、マネージドサービスを完全に活用しきれていない場合もあり、EC2 ベースの IaaS な構成はまだまだ多く存在しています。 とあるサービスでも、クラウド化はされているものの、マネージドサービスを活用しきれていないメール配信システムが運用されていました。 一般にメール配信システムは、挙動の違う複数のメールプロバイダにスムーズに配信するために多くのことを気にする必要があり、その分管理コストも高くなりがち

AWSはNoSQLデータベースサービスのDynamoDBが、SQLで操作可能になるSQL互換のクエリ言語「PartiQL」に対応したことを発表しました。 You now can use PartiQL (a SQL-compatible query language) to query, insert, update & delete table data in DynamoDB. PartiQL makes it easier for you to interact with DynamoDB & run queries in the AWS Management Console. https://t.co/qlRwzYZCPC pic.twitter.com/pVaX5xlEDu — DynamoDB (@dynamodb) November 23, 2020 DynamoDBはキーバ

Amazon DynamoDB 用 NoSQL Workbench は、クライアント側アプリケーションです。開発者がスケーラブルで高性能なデータモデルを構築し、クエリの開発とテストを簡素化できるようにします。本日より、DynamoDB のダウンロード可能なバージョンである DynamoDB ローカルインスタンスに NoSQL Workbench から直接接続することができます。 NoSQL Workbench を使用すると、新しいデータモデルを最初から簡単に構築できます。既存のデータモデルをインポートしたり変更したりすることも簡単にできます。さらに、アプリケーションのアクセスパターンに基づいてデータモデルを可視化することもできます。DynamoDB ローカルのサポートを追加すると、追加コストが発生することなく、ローカル開発環境で DynamoDB アプリケーションを開発およびテストできます

Amazon Web Services ブログ Amazon DynamoDBのadaptive capacityが不均一なデータアクセスパターンに対応する仕組み（または、なぜDynamoDBについて知っている情報が古くなっているのか） Amazon DynamoDBは、あらゆる規模の高性能な非リレーショナルデータベースです。これは、組み込み式のセキュリティ、バックアップ、およびデータ保護を使用して、スループットニーズに適応する、十分に管理されたサービスです。10万人以上の開発者が、モバイル、Web、ゲーム、アドテック、IoT、および低レイテンシのデータアクセスを必要とするその他のアプリケーション向けのDynamoDBを選択しました。 しかし、以前は余分なスループットを提供することでアシストしていた不十分な容量、これに関連するエラーにより要求が失敗することを心配しているという声を、依然とし

どうも！大阪オフィスの西村祐二です。 開発環境で使っていたデータを本番環境など別環境でも使いたい場面はよくあると思います。 私もあるAWSアカウント上にあるDynamoDBの特定のデータを別のアカウントのDynamoDBへコピーしたい場面に出くわしましたので、Lambda+SQSを使ってDynamoDBの負荷をあげずにコピーする仕組みを作ってみました。 ※今回紹介する方法以外にも色んな方法があります。こんな方法もあるんだな程度で考えてもらえれば幸いです。 構成図 この構成の良さそうな点 個人的に思うこの構成の良さそうな点をあげてみます。 アカウントを跨ぐときの設定がSQSで許可するだけで簡単 ある程度速度調整ができる（今回は負荷をあげないようにゆっくりコピーするようにしているが速くもできる） コスト削減できるかも？ ただ、以下を考慮しないといけないです。 複数回DynamoDBに書き込まれ

サーバレスで開発がしたい！でもそもそもサーバレスで使われるサービス全然知らないな。。 そんな方もまだまだ多いのではないでしょうか。そこで今回はサーバレス開発でよく利用されるサービス、API Gateway、Lambda、DynamoDBをマネジメントコンソールから作成し、それぞれを簡単に連携させてみようと思います。 本記事も含め3回に分けて実施します。 初めてのサーバーレスアプリケーション開発 ～DynamoDBにテーブルを作成する～ 初めてのサーバーレスアプリケーション開発 ～LambdaでDynamoDBの値を取得する～ 初めてのサーバーレスアプリケーション開発 ～API GatewayからLambdaを呼び出す～ ↓追加しました。 初めてのサーバーレスアプリケーション開発 ～Serverless Framework を使ってAWSリソースをデプロイする～ 初めてのサーバーレスアプリケ

DynamoDBをマネジメントコンソールでぽちぽちしていたら`設定[Preview]`というメニューが追加されていることに気付きました。というわけで、用意されている設定をひととおり試してみましたので、その結果をお届けします。 こんにちは。サービスグループの武田です。 Amazon DynamoDBをマネジメントコンソールでぽちぽちしていたら設定[Preview]というメニューが追加されていることに気付きました。というわけで、用意されている設定をひととおり試してみましたので、その結果をお届けします。 ユーザー設定とは DynamoDBのマネジメントコンソールの、レイアウトや項目に関するデフォルト設定を変更できる機能です。設定した内容は IAMユーザー 単位で保存され、すべてのリージョンおよびすべてのテーブル で適用されます。スイッチロールなどをすると、スイッチ先で設定されている内容が適用され

Azureコストと向き合った、4年半のリアル / Four and a half years of dealing with Azure costs

動機など 最近、Serverlessの文脈からDynamoDBのテーブル設計の相談を受けることが多くなってきていて、Podcastでも話したけどけっこう図とかが無いと説明しづらい領域なので、まとまった資料がほしいなということでまとめてみる。 cloudinfra.audio どう考えても長編大作エントリ不可避なので気力が続けば第二巻以降に続きます…！（フィードバックが多いと頑張れるかも…！） 本巻の対象と前提知識 本巻はDynamoDBのデータモデリングにスコープを絞っています。DynamoDBおよびデータベースの一般用語などについての説明は省きます。 前提知識としては以下のようなものになるかと思います。 DynamoDBのサービスとしての概要や用語( WCU , RCU , GSI , LSI など)を知っている Hash TableやB-Tree(B+Tree)といったデータ構造がどん

DynamoDBキャパシティユニットのプロビジョニング済と消費をCloudWatchで比較するときは、統計値が異なるのでMertic Mathで調節しましょうという話 ども、大瀧です。 クラウドネイティブなEC/CRM SaaSであるPrismatixでは、AWSマネージドサービスをこれでもかと駆使ししており、日々の運用ではそれらのメトリクス監視が肝要です。マネージドNoSQLサービスであるDynamoDBの運用としては、パフォーマンス設定であるキャパシティユニットの監視が鉄板と言えるでしょう。 DynamoDBのキャパシティユニットは、テーブルないしグローバルセカンダリインデックスにおける単位時間あたりの性能キャパシティを確保するものです。運用としては消費量が確保したキャパシティを超えないよう、CloudWatchアラームを設定して監視したり、スパイクでなければAuto Scalingを

はじめに 好物はインフラとフロントエンドのかじわらゆたかです。 現在私が構築を行っているサービスでは、DynamoDBをデータストアとして用いています。 開発時に開発者各々に開発用のDynamoDBのテーブルを作成すると、 テーブル名の重複やコストの問題が発生してしまいます。 これらの問題を回避するため、開発時にはDynamoDB Localを用いて開発を進めました。 それらの手法についてお伝えします。 環境は以下の環境で実施しております。 Mac OS X High Sierra 10.13.4 java version "1.8.0_162" curl 7.54.0 aws-cli 1.15.7 UnZip 6.00 Node.js v8.10.0 DynamoDBのテーブル定義を作成する こちらはAWS CLIのスケルトンJSONを作成し、それを用いて作成します。 AWS CLIのパ