気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
重たい集計バッチをAthenaを利用して高速化した話 - Tech Do | メディアドゥの技術ブログ
47 users
techdo.mediado.jp
techdo.mediado.jp
techdo.mediado.jp
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
こんにちは、昨年末に新しくノートPCを注文したら年明けに新モデルが発表されてしまったショックを未だ... こんにちは、昨年末に新しくノートPCを注文したら年明けに新モデルが発表されてしまったショックを未だ引きずっているエンジニアの回路（@qazx7412）です。 今回は昨年末に取り組んだAthenaを利用した集計バッチの高速化についての話をしようと思います。 あらすじ さて、私が普段関わっている配信システムには「売上集計」と呼ばれている夜間バッチがあります。 これがなにかといえば名前のとおり売上を集計する夜間バッチなのですが、配信システムにはユーザーが購入を行ったときに発行した購入キーとコンテンツIDおよびユーザーIDを紐付けて購入履歴として管理するテーブルがあり、ここから毎晩その日の購入の集計を行います。 実際のものとは異なりますがたとえばこんな感じです。 （purchase_records） key content_id user_id price unixtime - AAAAbbbb
techdo.mediado.jp
techdo.mediado.jp
techdo.mediado.jp
techdo.mediado.jp
zenn.dev/karaage0703
zenn.dev/yusuke1225math2
qiita.com/Nicola_GenAI
fromatom.hatenablog.com
qiita.com/ysknsid25
note.com/fladdict
www.nikkei.com
takagi-hiromitsu.jp
it.impress.co.jp
pharmacademy.org
www3.nhk.or.jp
2020/04/23 リンク