圧縮アルゴリズムの事前調査 - 豪鬼メモ

圧縮アルゴリズムの事前調査 - 豪鬼メモ

データベースにレコードを格納する際に可逆圧縮をかけると便利なことがある。 データベースファイルが小...概要を表示 データベースにレコードを格納する際に可逆圧縮をかけると便利なことがある。 データベースファイルが小さくなり、また入出力のデータ量が減るので早くなることすらある。圧縮アルゴリズムを自分で実装するのは手に余るので、既存の実装を組み込むのが現実的だ。そうなると、数多ある実装からどれを選ぶかが重要になる。なので、圧縮率や処理速度について調査してみた。結論としては、LZ4とZSTDが非常に素晴らしいので、組み込む方向で検討する。 数年前の記事だが、OSS圧縮ツール選択カタログというのが参考になる。要約すると、定番のzlib（gzip）が優秀であり、それを圧縮率も速度も凌駕するZSTDが大注目であり、速度重視ならLZ4が良さげということだ。 圧縮率に関しては手元でも実験してみた。Tkrzwのソースコードをcatしたファイルに各種アルゴリズムを適用してみる。 サイズ 圧縮率 無圧縮 2034233 1.