共有
  • 記事へのコメント27

    • 注目コメント
    • 新着コメント
    その他
    ya--mada
    ya--mada “そこそこ量があるのでさっと片付けることはできないけども, 大規模なデータセットという訳ではないので腰をすえて取り組む感じでもないので, なかなか面倒”

    2017/07/10 リンク

    その他
    nobusue
    nobusue 最近これとよく似たシチュエーションにたびたび遭遇するので参考になります

    2013/11/07 リンク

    その他
    syohex
    syohex 便利そうなコマンド

    2011/01/26 リンク

    その他
    tzccinct
    tzccinct tar + ssh で一時ファイル不要。ssh -t でpseudo-tty を強制。

    2011/01/25 リンク

    その他
    arashi77
    arashi77 勉強になる。

    2011/01/16 リンク

    その他
    umiyosh
    umiyosh 自分は頭悪いので、この手の作業するときはノートの切れ端とかに殴り書きでもいいからデータの流れ図書かないと、わけわかんなくなります

    2011/01/15 リンク

    その他
    kiyo560808
    kiyo560808 すごい勉強になる。

    2011/01/12 リンク

    その他
    ma_ko
    ma_ko これだけのをまとめてるのがすごいなぁ

    2011/01/04 リンク

    その他
    bluegale
    bluegale 洒落抜きで、作業の大半がこんなようなことばかり…。知っているようなことばかりですけどメモと言うことで。

    2011/01/04 リンク

    その他
    u1tnk
    u1tnk tarのssh越しのパイプ参考になった。

    2011/01/02 リンク

    その他
    BigFatCat
    BigFatCat sortの例が参考になる。

    2011/01/01 リンク

    その他
    decoy2004
    decoy2004 はてなブックマーク - 人気エントリー - 中規模データ処理で学んだ tips - フリーフォーム フリークアウト

    2011/01/01 リンク

    その他
    satojkovic
    satojkovic 自動化しすぎないのは大事ですね

    2011/01/01 リンク

    その他
    hidehish
    hidehish 見てる:

    2010/12/31 リンク

    その他
    Clocker
    Clocker DB

    2010/12/31 リンク

    その他
    kennak
    kennak 数百GBから数十TBのときとかもそうなんだけどデータの編集がすげー困る…

    2010/12/31 リンク

    その他
    y0sh1kaw
    y0sh1kaw うんうん、どれもよく使う。とくに多段sshと標準入出力の組み合わせはデータ転送処理において必須ですね。

    2010/12/31 リンク

    その他
    Chisei
    Chisei 改めてbashのシンプルさはすごいなと思う。

    2010/12/31 リンク

    その他
    raimon49
    raimon49 seq|jotと組み合わせて配列でゼロパディング処理

    2010/12/31 リンク

    その他
    ngsw
    ngsw for i in {1..128}; do num=`printf %03d ${i}`; .... ; done は for i in `seq -w 1 128`より便利そう。{1..10} で3桁ゼロ頭詰めが常にできるのは前者。

    2010/12/31 リンク

    その他
    tsekine
    tsekine for i in `seq -w 1 10`; do echo ${i}; done の前に declare -i i と付けると動かなくなる。bash 怖い。

    2010/12/31 リンク

    その他
    thunder7ster
    thunder7ster 大規模データ

    2010/12/31 リンク

    その他
    don2don
    don2don ファイル処理のためのたくさんのTips共有うれしいですね。tar コマンド標準入出力との組み合わせ. "-" (ハイフン) を使うことで圧縮元/展開先を標準入出力にすることができます.などなど

    2010/12/31 リンク

    その他
    sivadselim
    sivadselim 中規模データ処理で学んだ tips - フリーフォーム フリークアウト

    2010/12/31 リンク

    その他
    remixed
    remixed [あとで読む]

    2010/12/31 リンク

    その他
    shiumachi
    shiumachi 10^1-10^2GBオーダーのデータ処理についてのtipsがまとめられている。hadoopを使うからこそこういう知識が必須と思う

    2010/12/31 リンク

    その他
    lettas0726
    lettas0726 いいまとめ

    2010/12/31 リンク

    その他

    注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

    アプリのスクリーンショット
    いまの話題をアプリでチェック!
    • バナー広告なし
    • ミュート機能あり
    • ダークモード搭載
    アプリをダウンロード

    関連記事

    中規模データ処理で学んだ tips - フリーフォーム フリークアウト

    移転しました http://please-sleep.cou929.nu/20101230.html

    ブックマークしたユーザー

    すべてのユーザーの
    詳細を表示します

    同じサイトの新着

    同じサイトの新着をもっと読む

    いま人気の記事

    いま人気の記事をもっと読む

    いま人気の記事 - 暮らし

    いま人気の記事 - 暮らしをもっと読む

    新着記事 - 暮らし

    新着記事 - 暮らしをもっと読む

    同時期にブックマークされた記事