Amazon DynamoDB の特性 フルマネージド型の NoSQL データベースサービス 3つの Availability Zone に保存されるので信頼性が高い 性能要件に応じて、テーブルごとにスループットキャパシティを定義するキャパシティの Auto Scaling、オンデマンドキャパシティといった設定も可能 ストレージの容量制限がない DynamoDB のテーブル DynamoDB におけるテーブルはRDBMSにおけるテーブルと概念が異なります。 テーブルを作成する際に、Primary Key を指定する必要があります。 Primary Key はテーブルの各項目を一意に識別するために使います。Primary Key は、Partition Key および Sort Key で構成されます。(Sort KeyがなくPartition Keyのみの場合もあります) Item は R

Presented by: Tomoki Nishinaka, Yu Zhouxun PayPayの機能の一つとして2020年4月に新たにリリースされた通知サービスでは、スケーラビリティとパフォーマンスを重視し、数々のデータストアソリューションの中からDynamoDBを採用しました。通知センターの…

CX事業本部@大阪の岩田です。2020/5/18付けのアップデートにより、DynamoDBの文字列型/バイナリ型項目に空文字列が登録できるようになりました。 簡単ですが、このアップデートについてご紹介します。 何が変わったの？ これまでDynamoDBでは文字列型およびバイナリ型の項目に空文字列を登録することができませんでした。 例えばBoto3を使って以下のようなデータを登録しようとすると、、、 { "id":1 , "attr1": "" } 以下のようなエラーが発生して登録することができませんでした。 One or more parameter values were invalid: An AttributeValue may not contain an empty string そのため、アプリケーションから空文字列を扱いたい場合は一旦空文字列をNULLに変換してからDynam

メディアプロダクト開発部マーケティングサービス開発グループの我妻謙樹です。クックパッドにおける広告開発システム全般の新規開発・保守・運用を担当しています。 マーケティング事業全般やチーム体制については、前回の記事でご紹介しました。こちらを読んで頂ければ、メディアプロダクト事業部をめぐる組織体制や、マーケティングサービス開発グループの技術スタックについて概要を掴んでいただけると思います。 今回は、その記事でも触れた広告配信サーバーの技術的な取り組みについてご紹介します。その中でも特に、Amazon DynamoDB Accelerator (DAX) の活用に焦点を絞ってお伝えします。 背景 従来、広告をアプリ側で表示させるためには、マーケティングサービス開発グループがオーナーとして開発している広告 SDK を、クックパッド本体アプリに組み込み、非同期に広告配信サーバーにリクエストを行うこと

3. 前置き ● DynamoDB ○ アナザーエデンとダンメモのメインストレージ ○ 国内および海外を合わせると7箇所で運用 ○ NoSQL：アクセス数に対してスケールしやすい ○ データ量だけでなく、キャパシティ（スループット）で費用がかかる ● 解決したい問題 ○ メインストレージなのでサーバーの運用費を安くしたい ○ 運用を自動化したい ■ (20～50テーブル) x 7 の キャパシティを設定

Amazon DynamoDB のアダプティブキャパシティーは、頻繁にアクセスされるアイテムを自動的に分離することで、アンバランスなワークロードをより適切に処理するようになりました。お使いのアプリケーションが 1 アイテム以上に偏った高いトラフィックを送る場合は、頻繁にアクセスされるアイテムが同一パーティション内に存在しないように、DynamoDB がパーティションのバランスを再調整します。この最新の機能強化で、ワークロードにおいて妨げられることのないパフォーマンスを維持できます。また、スループットをより効率的にプロビジョンできるため、コスト削減効果が得られます。不均等なデータアクセスパターンへの対応のためにオーバープロビジョニングなることはありません。 アダプティブキャパシティーはデフォルトで有効になっているため、追加料金なしですべての DynamoDB テーブルおよびグローバルセカンダ

Amazon Web Services ブログ Amazon DynamoDB グローバルセカンダリインデックスを設計する方法 大学時代、私はリレーショナルデータベースのシステム要件をモデル化するために、エンティティ関係図を作成しました。このプロセスでは、ソフトウェアシステムのすべてのエンティティを検索し、それらのエンティティ間の関係を定義しました。次に、データベースがどのクエリをサポートする必要があるかを判断する前に、関係とエンティティをデータベーステーブルにモデル化しました。データベーススキーマを設計するこの方法は、スケーラビリティとより一貫したパフォーマンスを利用するために非リレーショナルデータベースを使い始めるまではうまく機能しました。 非リレーショナルデータベースでは、スキーマ設計のアプローチは逆になります。データベーススキーマを設計する前に、アプリケーションが必要とするクエリを

Amazon Web Services ブログ Amazon DynamoDB On-Demand – 事前のキャパシティプランニングが不要のリクエスト課金が可能になりました。 少し前まで、あなたのビジネスに合わせていつでもスケールし安定した低いレイテンシを提供するデータベースを作成することは困難でした。2012年にWerner VogelsがpostしたブログでAmazon DynamoDBがアナウンスされました。（これは私がAWSに入る数ヶ月前の事でした。）DynamoDBは2007年にAmazonが公表したDynamoの論文に基づいて設計されています。それから数年、多くの新機能がAWSの顧客が利用するデータベースを更に簡略化するために導入されました。今、フルマネージドかつマルチリージョン、マルチマスターデータベースとencryption at rest、point-in-time r

AWS Database Blog How to perform ordered data replication between applications by using Amazon DynamoDB Streams AWS customers use Amazon DynamoDB to store mission-critical data. These customers’ applications make millions of requests per second to individual DynamoDB tables that contain hundreds of terabytes of items. They count on DynamoDB to return results in single-digit milliseconds. In many c

一般社団法人コンピュータエンターテインメント協会（CESA）が、8月30日～9月1日の3日間パシフィコ横浜にて開催している、国内最大のゲーム開発者向けカンファレンス「コンピュータ・エンターテインメント・デベロッパーズ・カンファレンス 2017」（CEDEC 2017）。 本稿では、8月30日に実施された講演「アナザーエデンにおける非同期オートセーブを用いた通信待ちストレスのないゲーム体験の実現」についてのレポートをお届けしていく。 本セッションでは、グリー<3632>の鈴木清人氏、西田綾佑氏が登壇。『アナザーエデン』の特徴ともいえるオートセーブ機構を中心に、それらの基盤技術であるLevelDBやDynamoDBおよびflatbuffersについて話を展開した。 ▲グリーのWright Flyer Studios事業本部にてリードエンジニアを務める鈴木氏。『アナザーエデン』では、サーバ・クラ

AWS News Blog New – Manage DynamoDB Items Using Time to Live (TTL) AWS customers are making great use of Amazon DynamoDB. They love the speed and flexibility and build Ad Tech (reference architecture), Gaming (reference architecture), IoT (reference architecture), and other applications that take advantage of the consistent, single-digit millisecond latency. They also love the fact that DynamoDB i

confdのDynamoDBをGoogleスプレッドシートで管理したかったので作りました。 docs.google.com 使い方 まず、以下のようにDynamoDBのテーブルを作ります。(confdのと同じ） aws dynamodb create-table \ --region ap-northeast-1 --table-name hello \ --attribute-definitions AttributeName=key,AttributeType=S \ --key-schema AttributeName=key,KeyType=HASH \ --provisioned-throughput ReadCapacityUnits=1,WriteCapacityUnits=1 ついでにddbcliを使ってテーブルにデータを入れておきます。 $ ddbcli ap-north

Merry Christmas! gureguです。kamiやmogiの作者です。 最近開発しているDynamoDBのライブラリーを紹介しようと思います。 DynamoDBとは DynamoDBはAmazon Web ServicesのNoSQLデータベースです。安くてスケールしやすいのが特徴です。DynamoDBの基本知識については、@kenichi_nakamuraさんのこの記事を読んでください。 aws-sdk-go AWSの公式がライブラリー。最近やっと1.0になりました！aws-sdk-goでは、DynamoDBへの問い合わせはできるが、かなり面倒臭いことをやらなきゃいけない。公式のライブラリーはポインターだらけで、データのMarshalとUnmarshalで苦労することがあります。 Introducing dynamo dynamoは、DynamoDBを使いやすくするライブラリ

こんにちは！データエンジニアリングチームの長谷川と田畠です。 グリーのデータ分析基盤を良くする仕事をしています。 これはGREE Advent Calendar 2015の6日目の記事です。昨日のRobinさんの記事はVR開発に取り組んだことがあるからこそ書ける記事で、みなさんにとっても新鮮だったのではないでしょうか？ 今日はゲームから少し離れて、KPIダッシュボードのバックエンドをオンプレミスからAWSに移行した話をしたいと思います。最後までお付き合いよろしくお願いします。 はじめに KPI分析を定常的に行うことは、プロダクトの改善のために非常に重要であり、グリーにおいても多くのプロダクトがKPIを閲覧/分析するためのシステムを利用しています。 社内の分析環境では、KPIのデータは時系列データベースに保存されており、内製のグラフ描画ツールにアクセスすることでグラフとして閲覧することができ

Go Advent Calendar 2015 - Qiita 11/4の記事です。 Go言語で書かれた、Amazon DynamoDBのプロキシサーバの紹介をします。 もともと、他言語のPHPで書かれたウェブアプリケーションで、AWS SDK for PHPを利用してDynamoDBを使おうとしていたのですが、Class Preloader for PHPがうまく動かせず、全然パフォーマンスが出なくて困っていました。EC2 c4.xlarge nginx + php-fpm でベンチマークして800 req/s ほどでした。（PHP with Amazon DynamoDB） そのため、他言語でDynamoDBのプロキシサーバを立てて、そのAPIを経由してデータのSet / Getをしようと考えて、色々探しまわった結果、SmugMugという企業がオープンソースで公開している、Goで書かれ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

◎ ◎ ◡ │(1) │ ┏━━━━━━━━━━━━━━━━━━┓ │ ┃ ┃ │ (2) ┃ Google OAuth2 ┃ (4) │ ┌─────────────▶┃ API ┃◀────────────┐ │ │ ┃ ┃ │ │ │ ┗━━━━━━━━━━━━━━━━━━┛ │ ▼ ▼ ┏━━━━━━━━━━━━━━━━━━┓ ┏━━━━━━━━━━━━━━━━━━┓ ┃ ┃ ┃ ┃ (3) ┃ AWS STS ┃ ┌─▶┃ Website ┃◀──────────────────────────▶┃ AWS Web ID Fed ┃ │ ┃ ┃ ┃ ┃ │ ┗━━━━━━━━━━━━━━━━━━┛ ┗━━━━━━━━━━━━━━━━━━┛ │ │ │ │ ┏━━━━━━━━━━━━━━━━━━┓ │ │ ┃ ┃ │ └───────▶┃ SNS Topic ┃ │ (5) ┃ ┃

9月20日に発生したAmazonクラウドのDynamoDB障害。原因はセカンダリインデックス増大によるメタデータ処理のパンク Amazonクラウドが提供しているDynamoDBは、キーバリュー型のNoSQLデータベースサービスです。運用管理はクラウドに任せられて簡単に利用でき、高速かつ非常に大規模なスケールで展開できることなどを特長とする、クラウドならではのサービスの1つです。 そのDynamoDBで、米東リージョンにおいて9月20日午前2時頃（太平洋夏時間）から午前7時頃まで障害が発生。DynamoDBを利用しているEC2 Auto Scaling、Simple Queue Service、CloudWatch、そしてコンソールなどにも一時的な障害が発生していました。 また、この障害はAmazonクラウドを利用している他社のさまざまなサービスにも影響を与えたと報じられています。 Amaz

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 今年は始めて、re:Inventに参加してきたので、その際に見た「Amazon DynamoDB: Data Modeling and Scaling Best Practices」というセッションの内容を共有したいと思います。 内容をだいぶ端折ってるので、間違っている場合には、びしばしツッコミいただければと思います。 では、まいります。 1. CacheはCashなり なんでDynamoDBを使うかといえば、やっぱり、ポチポチっと設定するだけで簡単に読み込み、書き込み性能を上げたり、下げたりできるっていうのが大きなポイントかと思います