データ毎に異なるタイマーを持つ場合のデータパイプラインを考えてみる - Carpe Diem

データ毎に異なるタイマーを持つ場合のデータパイプラインを考えてみる - Carpe Diem

概要 Stripeの定期購読を使っていると、各ユーザの定期購読の更新タイミングでWebhook eventがちゃんと...概要を表示 概要 Stripeの定期購読を使っていると、各ユーザの定期購読の更新タイミングでWebhook eventがちゃんと飛んできます。 ほぼリアルタイムで届くのでこのwebhookを使う側としては非常に助かる機能ですが、提供する立場から考えるとどうやるんだろう？と悩んだので幾つか自分でケースを考えてみました。 課題 今回やりたいことを実現する上で問題になるのは主に以下です。 タイムスケジューラをどうするか データ量が増えたときにスケール可能か cronのようなスケジューラだと、今回のような個々のデータに対するスケジューリングはできません。 またバッチ処理で扱おうとすると、データ量が増えた時に処理対象がどんどん増えるため、対象の抽出や処理自体に時間がかかって実行頻度を上げることが難しくなります。 手段 浮かんだのは以下の４つでした。 全ユーザの更新期限を毎回チェックしてイベントを飛ばす 更新日を

• redis