Rails の ActiveRecord で膨大なレコード数を高速かつ省メモリで処理する - Qiita

Rails の ActiveRecord で膨大なレコード数を高速かつ省メモリで処理する - Qiita

Rails の task で超巨大なテーブルに対して集計を行いたくて、 いろいろ調べてみたところ、以下の 2 つ...概要を表示 Rails の task で超巨大なテーブルに対して集計を行いたくて、 いろいろ調べてみたところ、以下の 2 つの方法をみつけました。 pluck find_each pluck は任意のカラムのデータを配列で取得するメソッドです。 find メソッドのようにインスタンスを取得することはできませんが、 その代わりにインスタンス生成にかかるオーバーヘッドがかからないため非常に高速です。 メモリ消費の点でも、インスタンスを生成しない分有利ですが、 取得するレコード数に比例してメモリ使用量は大きくなるため、 巨大なテーブルに対して使用するのは危険が伴います。 find_each は少しずつデータをメモリに展開して処理を行うメソッドです。 一度にメモリに展開するレコード数を制限できるため、 使用メモリ量をコントロールすることができます。 ただし、インスタンス生成のオーバーヘッドがかかるため、 デー