気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
1100万行・32GB超の巨大CSVファイルの基本統計量を4GBメモリマシンで算出する - Qiita
326 users
qiita.com/fujine
qiita.com/fujine
qiita.com/fujine
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
はじめに この記事は，Kaggle Advent Calendar 2022第6日目の記事になります。 本記事では、 32GB超のCS... はじめに この記事は，Kaggle Advent Calendar 2022第6日目の記事になります。 本記事では、 32GB超のCSVデータの基本統計量を、小規模マシンでも省メモリかつ高速に計算するテクニック について解説します。 Kaggleコンペに限らず、 マシンスペックが低いため、大きなデータセットを満足に処理できず困っている 毎回行うファイル読み込みが遅いので、もっと高速化したい ⚡ といった悩みや課題を抱えている方の参考になれば幸いです。 モチベーション データ分析業務やKaggle等のコンペティションで初めてのデータセットを扱う場合、いきなり機械学習アルゴリズムを行うことはまず無く、最初にデータ観察を行うのが一般的です。 テーブルデータであれば、各カラムの基本統計量（最小値、最大値、平均、分散、四分位数）などを計算・可視化し、データクレンジングの要否や特徴量設計の方針などを検
qiita.com/fujine
qiita.com/fujine
qiita.com/fujine
qiita.com/fujine
posfie.com
xtech.nikkei.com
www.jiji.com
posfie.com
zenn.dev/razokulover
kaden.watch.impress.co.jp
zenn.dev/mkj
zenn.dev/mizchi
zenn.dev/discus0434
speakerdeck.com/pharma_x_tech
pc.watch.impress.co.jp
www.lifull.blog
anond.hatelabo.jp
dc.hatenadiary.com
anond.hatelabo.jp
www.nikkansports.com
mdpr.jp
2023/06/06 リンク