気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
Kafka Brokerのcompaction動作の詳細とチューニング方法について - Repro Tech Blog
34 users
tech.repro.io
tech.repro.io
tech.repro.io
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
Reproでチーフアーキテクトとして働いているid:joker1007です。 今回、Kafka Brokerのcompaction動作に... Reproでチーフアーキテクトとして働いているid:joker1007です。 今回、Kafka Brokerのcompaction動作について調査しチューニングすることでパフォーマンス改善の成果が得られたため、そのノウハウをブログにまとめておきました。 かなりマニアックな内容なので、需要は多くないと思いますが、私が調査した限りでは日本語で同じ様な内容のブログ記事はほとんど存在しなかったため、Kafkaを自前で運用している人にとっては役に立つ内容かもしれません。 compactionとは (参考: https://kafka.apache.org/documentation/#compaction) Kafkaの基本的なデータ削除ポリシーは一定時間が経過したら過去のデータをそのまま削除するdeleteというポリシーを使う。 これは、log.retention.hoursという設定でコントロー
tech.repro.io
tech.repro.io
tech.repro.io
tech.repro.io
www.kobe-np.co.jp
av.watch.impress.co.jp
www.ktv.jp
anond.hatelabo.jp
www.itmedia.co.jp
www.gizmodo.jp
togetter.com
zenn.dev/ataka
www.itmedia.co.jp
togetter.com
pc.watch.impress.co.jp
forest.watch.impress.co.jp
www.bbc.com
www.cbnews.jp
2022/06/22 リンク