気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
巨大csvの整形を高速に行う便利パッケージ: NYSOL(MCMD) - Qiita
15 users
qiita.com/mpppk
qiita.com/mpppk
qiita.com/mpppk
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
大規模データの編集つらすぎ問題 最近仕事で10GB以上のcsvファイルを触っています。 唯一神Excelは100万... 大規模データの編集つらすぎ問題 最近仕事で10GB以上のcsvファイルを触っています。 唯一神Excelは100万行を超えるデータは扱えないため、スクリプト言語で適当なコードを書いてましたが、適当に書いたのでちょっとしたデータ整形をするだけでも死ぬほど時間がかかって辛いです。 処理の一部をsedやawkで置き換えて高速化を図るなど、涙ぐましい努力をしていましたが、NYSOL(MCMD)という神ツールの存在を知って膝から崩れ落ちたので共有します。 NYSOL(MCMD)とは 以降の記述ではNYSOL(MCMD)をMCMDと表記します csvデータの編集、抽出、統計量の算出などを行うコマンド群(70種類ぐらいある)です。 標準入力を受け取って標準出力に結果を表示するので、簡単にパイプで処理を繋げることができます。 さらにC++で書かれているため、とにかく早い(らしい)です。 インストール 公式
qiita.com/mpppk
qiita.com/mpppk
qiita.com/mpppk
qiita.com/mpppk
anond.hatelabo.jp
anond.hatelabo.jp
www.nhk.or.jp
togetter.com
qiita.com/nfujita55a
www.watch.impress.co.jp
github.com/microsoft
www.itmedia.co.jp
future-architect.github.io
www3.nhk.or.jp
www.itmedia.co.jp
smhn.info
qiita.com
qiita.com/motsat
qiita.com/mountcedar
qiita.com
qiita.com/mozisan
qiita.com
2017/08/20 リンク