• はてなブックマーク
  • テクノロジー
  • 100万件ぐらいのレコードを扱ったらOOMEが出た話。 - 谷本 心 in せろ部屋
  • Twitterでシェア
  • Facebookでシェア

100万件ぐらいのレコードを扱ったらOOMEが出た話。 - 谷本 心 in せろ部屋

テクノロジー カテゴリーの変更を依頼 記事元:cero-t.hatenadiary.jp
適切な情報に変更
511 usersがブックマーク コメント64
    共有

    • 記事へのコメント64件

    • 注目コメント
    • 新着コメント
    その他
    n314
    n314 8年前にまったく同じことでハマった。https://n314.hatenablog.com/entry/20120228/1330446117 まだググってもすぐ出てこないのかな。

    2020/08/13 リンク

    その他
    nippondanji
    nippondanji アプリで処理するんじゃなくてSQL書こうよ。そもそもの話として。

    2020/08/13 リンク

    その他
    tettekete37564
    tettekete37564 レコード屋の掘り出し物か何かの話かと思った

    2020/08/13 リンク

    その他
    kobito19
    kobito19 「アプリで処理するんじゃなくてSQL書こうよ」の意味がわからん

    2020/08/13 リンク

    その他
    send
    send もう Java を触らなくなって長いけど、Postgres 関係なくだいたいの JDBC ドライバは autoCommit が true のときにそういう挙動してた記憶がある

    2020/08/13 リンク

    その他
    healthyprog
    healthyprog 正確にはPostgreSQLではなくてJDBCドライバの仕様の話にも聞こえた。もし本番でこういうのに引っ掛かるとびっくりする。調査有りがたい。

    2020/08/13 リンク

    その他
    pandafire
    pandafire 最初は偉そうなのがだんだん謙虚になっていくのがワロタ(褒めてます）　#もちろんわかってるよわざとそう書いてるってのは

    2020/08/13 リンク

    その他
    honeningen
    honeningen これやっぱみんなはまるよな。あとカーソルを返すストアドの場合はauto commitがfalseでもsetFetchSize効かなくて途方に暮れた思い出がある。

    2020/08/13 リンク

    その他
    ikugineer
    ikugineer 似たような構成だと覚えておく価値あるし、原因を絞り混みしていく流れがとても参考になりました。

    2020/08/13 リンク

    その他
    katzchang
    katzchang “autoCommitがtrueになっている場合は、カーソルが使えない”

    2020/08/13 リンク

    その他
    nakag0711
    nakag0711 libpq自体クライアントサイドのスタティックカーソルが基本なので、まあ普通にドライバを実装するとこうなる。一応フォワードカーソルもあるけど1行ずつなので遅そう

    2020/09/25 リンク

    その他
    mi-naru
    mi-naru JavaでOOME

    2020/08/13 リンク

    その他
    thekoruku
    thekoruku このDBがめちゃくちゃ重くて集計クエリ回せないとか、複雑な計算が必要とか？

    2020/08/13 リンク

    その他
    junnishikaw
    junnishikaw BASIC止まりの身からするとOut of memoryエラーをOOMEって略すのにびっくりした。

    2020/08/13 リンク

    その他
    tfurukaw
    tfurukaw 集計するならSQL書けば良いのに。なんで100万件ものデータを抜くのかがわからん（←でもこれは本題では無い）。ホントに必要？先日も「DBはただのデータ入れる箱」とか書いてるのがブクマされててがっかりした。

    2020/08/13 リンク

    その他
    ene0kcal
    ene0kcal 「みんな大好きStack Overflow」なにげによく見るよねStack Overflow。AutoCommitがTrueの場合にOOMEかぁ。Cursor使えないとかFetchSize効かないとかそりゃハマるわ。

    2020/08/13 リンク

    その他
    NOV1975
    NOV1975 まあ、JDBCドライバには罠がいっぱいある、というのは昔から…Oracleのローレベルのドライバでメモリリーク発生する仕組みが全然わからんくて苦労した思い出。

    2020/08/13 リンク

    その他
    tripleshot
    tripleshot 目的が本当に集計処理なのであれば、データを全部転送してアプリで集計するんじゃなく、集計クエリ投げて結果だけ受け取れば処理も早いしデータ転送量も減るし…って話。よほど複雑な集計処理するなら別だけど

    2020/08/13 リンク

    その他
    RyotaTakimoto
    RyotaTakimoto “PostgreSQLはクエリを実行した時点で全レコードの情報を一気に読んできてヒープを埋めてしまう場合がある、という話です。”　「3行でおk」のお手本……！ 最高！ ストレスフリー！ でも（←）はちょっと古……🥺🥺

    2020/08/13 リンク

    その他
    shckor
    shckor DBD::Pg でも同じことが起こるのか確認してみよ

    2020/08/13 リンク

    その他
    ktakeda47
    ktakeda47 "いやだって、autoCommitのtrue/falseでそんなに挙動が変わるなんて想像もしてなかったんだもん・・・。"

    2020/08/13 リンク

    その他
    ikosin
    ikosin 原因追求の手順が参考になる

    2020/08/13 リンク

    その他
    UhoNiceGuy
    UhoNiceGuy こういう処理するのはバッチ処理くらいで、その場合、ヒープメモリ増やして解決としちゃうのであまり問題にならない、問題解決のインセンティブが湧かないということか

    2020/08/13 リンク

    その他
    spark7
    spark7 PostgreSQL fetchSize で検索した感じ、わりとよくある問題ぽいな

    2020/08/13 リンク

    その他
    kfujieda
    kfujieda ほんとみんなRDBMSをRDBMSとして使わないよね。もっと使いこなしたほうがいいのでは。

    2020/08/13 リンク

    その他
    vanillableep1618
    vanillableep1618 レコードってヴァイナルの話じゃないのか……

    2020/08/13 リンク

    その他
    yojik
    yojik “autoCommitがtrueになっている場合は、カーソルが使えないようです。そんなわけで Connection#setAutoCommit(false) したところ、、、jOOQの fetchSize() メソッドが効くようになって、OOMEが発生しなくなりまし”

    2020/08/13 リンク

    その他
    razihai
    razihai SQLでそもそもやるようにする→DBのメモリ枯渇する→途方に暮れるまでワンセット

    2020/08/13 リンク

    その他
    kobito19
    kobito19 「アプリで処理するんじゃなくてSQL書こうよ」の意味がわからん

    2020/08/13 リンク

    その他
    daishi_n
    daishi_n バッチ処理なら100万行処理するのもわからんではないけどね。クエリのみで済ませられるなら困らんけどさ

    2020/08/13 リンク

    その他
    nishik-t
    nishik-t いや100万って。一発で100万行を吐くクエリを使うのってどうなの？

    2020/08/13 リンク

    その他
    msykt
    msykt ちょうど今 JDBC Driver を実装しているところなので身につまされる…。JDBC Driver の実装も完璧じゃないし、setFetchSize がどんな条件でも効くように実装されているとも限らないので…。autoCommit は false が default であってほしい

    2020/08/13 リンク

    その他
    t_f_m
    t_f_m "どうやらautoCommitがtrueになっている場合は、カーソルが使えないようです"

    2020/08/13 リンク

    その他
    matsui
    matsui ストアドじゃダメなの？

    2020/08/13 リンク

    その他
    ardarim
    ardarim バグってはいないのだろうが、めっちゃ性能悪そう → 「select * from EMP」してResultSet#nextメソッドを使いながら処理を回す

    2020/08/13 リンク

    その他
    tohokuaiki
    tohokuaiki “OutOfMemoryError。まさか、俺が？ ”

    2020/08/13 リンク

    その他
    baronhorse
    baronhorse そいつRDBMSの本出してるぜ。評価は色々あるようだけど。

    2020/08/13 リンク

    その他
    rasterson
    rasterson ORマッパー使ってはまった話ですね。処理内容わからず言いきれないが、使わない方が綺麗に動きそうな気がするナ。少ない件数でテストして「できました」ってもってこられるとすごく困るんだORマッパーって。

    2020/08/13 リンク

    その他
    tk_musik
    tk_musik oom出たらこれ見る

    2020/08/13 リンク

    その他
    dentaro
    dentaro jdbc driver 実装してくれた方々には感謝しかないけど、確かになんでそんな実装！？ってなる時はある。Connector/J の Integer.MIN_VAVUE とか（今は修正されてるのかな？）。まぁ大変だったんだろうなー、としか

    2020/08/13 リンク

    その他

    注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

    アプリのスクリーンショット
    いまの話題をアプリでチェック！
    • バナー広告なし
    • ミュート機能あり
    • ダークモード搭載
    アプリをダウンロード

    関連記事

    100万件ぐらいのレコードを扱ったらOOMEが出た話。 - 谷本 心 in せろ部屋

    要約 技術的な話だけ教えて、という方のために先に結論だけ書いておきますと、PostgreSQLはクエリを実行...

    ブックマークしたユーザー

    すべてのユーザーの
    詳細を表示します

    同じサイトの新着

    同じサイトの新着をもっと読む

    いま人気の記事

    いま人気の記事をもっと読む

    いま人気の記事 - テクノロジー

    いま人気の記事 - テクノロジーをもっと読む

    新着記事 - テクノロジー

    新着記事 - テクノロジーをもっと読む

    同時期にブックマークされた記事

    はてなブックマーク

    公式Twitter

    はてなのサービス

    • App Storeからダウンロード
    • Google Playで手に入れよう
    Copyright © 2005-2024 Hatena. All Rights Reserved.