• はてなブックマーク
  • テクノロジー
  • Python で大量のファイルを並列で速く読み込む - Qiita
  • Twitterでシェア
  • Facebookでシェア

Python で大量のファイルを並列で速く読み込む - Qiita

テクノロジー カテゴリーの変更を依頼 記事元:qiita.com/hoto17296
適切な情報に変更
274 usersがブックマーク コメント14
    共有

    • 記事へのコメント14件

    • 注目コメント
    • 新着コメント
    その他
    grafi
    grafi Qiitaのコメントにも書いたけど、十分に速いSSD使ってるならCPU律速です。PandasのCSVパース処理はGIL開放するようです。あとここではあんまり関係ないけど、ファイルが小さい場合はデータフレームのオブジェクト生成が律速

    2019/06/03 リンク

    その他
    HHR
    HHR GIL。コメントが本体感ある。pandasはcの実行なのでGILを開放する

    2021/11/24 リンク

    その他
    misshiki
    misshiki 試してみる。

    2019/06/10 リンク

    その他
    bob3
    bob3 rで試してみよう。vroom::vroom()使えば結構速いはず。

    2019/06/05 リンク

    その他
    mzi
    mzi なるほど。ということはマルチプロセスにすべきなんだね。『Python (CPython) のマルチスレッドは GIL (Global Interpreter Lock) の制約があり、複数のスレッドが同時に Python バイトコードを実行することができない。』

    2019/06/04 リンク

    その他
    mohno
    mohno マルチプロセスで高速化するなんて、ファイルシステム最強ってこと？と思ったけど、コメントによればファイルI/OじゃなくCSVのパースで時間がかかっているだけなのか。ふーん。

    2019/06/03 リンク

    その他
    grafi
    grafi Qiitaのコメントにも書いたけど、十分に速いSSD使ってるならCPU律速です。PandasのCSVパース処理はGIL開放するようです。あとここではあんまり関係ないけど、ファイルが小さい場合はデータフレームのオブジェクト生成が律速

    2019/06/03 リンク

    その他
    endo_5501
    endo_5501 “ファイル読み込みのような I/O バウンドな処理は高速化できるかもしれないが”

    2019/06/03 リンク

    その他
    igni3
    igni3 マルチスレッド/マルチプロセスで速くなるのはCSVのパース処理に食われてるからかもしれない。

    2019/06/03 リンク

    その他
    laughing
    laughing dask とか vaex とどっちがいいんかな

    2019/06/02 リンク

    その他
    roirrawedoc
    roirrawedoc 同じ二時記憶装置にアクセスしてるのにCPUを並列化したら速くなるって発想がよくわからない／SSDならまだゆとりあるのか。HDDかと思った

    2019/06/02 リンク

    その他
    topiyama
    topiyama マルチプロセスとマルチスレッドの差はGIL制限（『複数のスレッドが同時に Python バイトコードを実行することができない』）だって。

    2019/06/02 リンク

    その他
    aipacommander
    aipacommander ほとさん

    2019/06/02 リンク

    その他
    rokujyouhitoma
    rokujyouhitoma cythonでnogil

    2019/06/02 リンク

    その他
    agricola
    agricola あんまりワークユニットのサイズを小さくすると、かえって遅くなるから注意しましょう。

    2019/06/02 リンク

    その他

    注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

    アプリのスクリーンショット
    いまの話題をアプリでチェック！
    • バナー広告なし
    • ミュート機能あり
    • ダークモード搭載
    アプリをダウンロード

    関連記事

    Python で大量のファイルを並列で速く読み込む - Qiita

    Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure y...

    ブックマークしたユーザー

    すべてのユーザーの
    詳細を表示します

    同じサイトの新着

    同じサイトの新着をもっと読む

    いま人気の記事

    いま人気の記事をもっと読む

    いま人気の記事 - テクノロジー

    いま人気の記事 - テクノロジーをもっと読む

    新着記事 - テクノロジー

    新着記事 - テクノロジーをもっと読む

    同時期にブックマークされた記事

    はてなブックマーク

    公式Twitter

    はてなのサービス

    • App Storeからダウンロード
    • Google Playで手に入れよう
    Copyright © 2005-2024 Hatena. All Rights Reserved.