最近知ったgrepコマンドの-Aオプションと-Bオプションと、時々、-Cオプションについてメモっておく。例えば設定ファイルを見てHDFSのブロックサイズを知りたいとします。hdfs-site.xmlをdfs.block.sizeでgrepすると下記のようになります。 $ grep dfs.block.…

いままで教えてもらったことを忘れないうちに軽くメモっておく。MB単位のデータだったら気にする必要はそんなに無いと思うけどGB以上になってくるといろいろ考えること増えるのよね。 シングルスレッドで処理するのではなくマルチスレッドでの処理を検討する…

fluentdは普段元気に動いていて特に問題は無いのですが、私の環境ではごくまれに数ヶ月に1回くらい使用メモリが徐々に増大してqueue size exceeds limitというバッファ溢れを起こすときがあります。この場合メッセージ送信が失敗しますしfluentdのログが爆発…

Instagramといえば1年前の以下の資料によればAWS上にDjangoを使ってサービスを展開させておりデータのストレージとしてはPostgreSQLとRedisを使っていました。 「バックエンドの経験はなかった」Instagram創業者は、どうやってシステムをスケールさせてきた…