はじめに 先日なんとなしに go.1.19 release note よんでたら、crypto/randの項目で興味深い一文を見つけた Read no longer buffers random data obtained from the operating system between calls. 当時の僕も気になっていたよう ざっと見たけど crypto/rand.Read()で内部バッファ取らなくなったり net パッケージが context.DealineExceededとか context.Canceled を満たす形でエラー返すようになったりがほえ〜ポイントだった。あとは fmt.Append よさそうっすねhttps://t.co/8cfrZ7dBZR— convto (@convto) 2022年6月11日 もともと CVE-2021-3538 をちゃんと読む - ちり

概要 Goでファイルを読み込んでいる時に、そのファイルのタイプを判別したいことがたまにあります。例えばGzipかどうか分からないけど、もしGzipならgzip.NewReader噛ませたい、みたいな場合です。雑にgzip.NewReader噛ませてerr返すかどうかで判定とかやってみたんですが、普通に10バイト読み進められちゃうのでerr返ったあとに別のファイルタイプとして処理しようとするとinvalidなヘッダーになって死にます。実は読み進められたバイトを戻す方法あるよ、という場合は教えて下さい。 そもそもGzip以外の判定をしたいときもあるので、NewReaderの方針も必ず使えるわけではありません。もしファイルがos.Fileとかbufio.Readerの形であればReadしてからSeekしたりPeekしたり出来るのですが、io.Readerの場合どうやるのか分からなかったので調べま

これは何？ ソケットにおけるノンブロッキングI/OについてPumaのコードを絡めて調べてみたまとめです。 PumaはRubyで書かれたOSSのWebサーバーです。 ソケットに限らずノンブロッキングI/Oという言葉をよく聞きます。ですがイマイチなにを意味しているのかわからなかったので調べてみました。 ブロッキングI/Oとは ユーザーモードからシステムコールをカーネルに発行し、結果が帰ってくるまでに待ちが発生するI/O処理のことです。ファイル全般に言えることであり、ソケットもファイルなので当然ブロッキング発生します。 ソケットにおけるブロッキングI/Oは以下のようなものがあります。 accept(2)でlistenキューからソケットを取り出すときに接続が確立されていない場合（TCPハンドシェイク中など）は確立されるまでブロックされる。 ソケットに対してread(2)やwrite(2)を実行する

パイプ（土管）をGo言語でも楽しめるはじめに前回はGo言語のmime/multipartパッケージによるファイルのアップロードを見ましたが、パフォーマンスの特徴にはあまり触れませんでした。 大規模なETLジョブや、制限の厳しいサーバーレスの環境などでは、ファイルを扱うプログラムのリソースを慎重に考える必要があります。本記事ではメモリ使用量を大幅に減らすio.Pipeの使い方を見ていきます。 全てのコードはサンプルレポジトリにあります。 同期処理にある問題前回のコードをもう一度見てパフォーマンスを考えてみましょう。 // ファイルを開く file, _ := os.Open(filename) // リクエストボディのデータを受け取るio.Writerを生成する。 body := &bytes.Buffer{} // データのmultipartエンコーディングを管理するmultipart.W

I/Oを確認する方法をメモっておく。 リアルタイム sudo iotop または dstat --top-bio --top-io あとから sar -Bb -f /var/log/sa/sa28 -s '13:00:00' -e '16:00:00'

さくらインターネットのアドベントカレンダー9日目として、サーバ屋らしく、運用に関するコマンドの使い方を紹介します。 サーバの負荷が高まってきたときに、vmstatやtopなどのコマンドで調査する事が出来ますが、I/O負荷をwa(iowait)によって判断する人も多いと思います。 ただ、結論から言うと、iowaitは正確にI/Oの負荷を表しているわけではありません。 これらを、実際に演習をしながら見ていきたいと思います。 iowaitとidle iowaitとはあくまでも、CPUが空いているのにI/Oがボトルネックになっているプロセスを示しているだけで、CPUの利用率が高いときにはI/Oがボトルネックになっていてもiowaitが上がりません。 同様に勘違いされがちなのが、id(idle)はCPUの空きを示しているというものですが、idleは必ずしもCPUの空き時間を示しているものではありませ

write はページに dirty フラグを立てるだけなので決してユーザープロセスを待たせない って、本当にそうなんでしょうか？（否定しているわけではなく、純粋な疑問です。） と質問をもらったので、最近追ったことをここでまとめます。かなり長文です、すいません。また、まだまだ不勉強なので間違っているところもあるかもしれません。ツッコミ大歓迎です。 まず、オライリーのカーネル本の 15章 ページキャッシュ 15.3 汚れたページのディスクへの書き込み から引用。 ご存知のように、カーネルは、ブロック型デバイスのデータを含むページをページキャッシュに蓄えています。プロセスが何らかのデータを更新した場合は、必ず対応するページに汚れている印をつけます。すなわち、PG_dirty フラグを設定します。 UNIX システムでは、汚れたページのブロック型デバイスへの書き込みを遅延することができます。この方

This is the toolbar. | Select level: Start | Go To Main Menu | Clear Saved Progress

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

追記：Java 7以降（つまり、現在）はtry-with-resources構文があるので、それを使えばよいです。ここでは、Java 6かそれ以前のコーディングスタイルについて主に言っています。 kmizu.hatenablog.com におけるkrxrossさんのコメント java脳だと、「fw = new PrintWriter(new File(file))」で例外が発生したら、fwが不定のまま、finally句の「fw != null」で困ってしまう。 そうならないために、nullで初期化するという話に見えます。 多分JAVAだと、nullを代入しないとコンパイルエラーになるか、eclipsが警告を出したと思います。 scalaでも同じではないですか ? 良く解っていない超初心者より を見て、強烈に不安になってしまったのですが、Javaだとこういうのが良いスタイルなんでしたっけ？

大江戸Ruby会議05 基調講演「あいおーのはなし」

GMOクラウド ALTUSにフラッシュディスクが追加されていました（2018年8月29日追記） 少し前からですが、GMOクラウドのディスクでフラッシュディスク（SSD）が選択できるようになっていました。 この記事を書いたとき（2015年）の状況は再現できないですが、恐らくディスクアクセスに関する悩みからは開放されそうですね。 はじめに これまでの経緯はこちらにあります。 マルチコアサーバがなんか重い時に原因究明しかけていました。 管理に携わっているサーバが「なんか重い」症状に陥った件についての解決編です。 LAがちょくちょくあがって問題認識 対象サーバはマルチコアでコア別に見ると特定のコアで普段からiowaitが高い ddやfioなどでディスク負荷を掛けるとめっちゃ重い という状態でした。 調査 サポセンからの連絡 GMOのクラウドを使っていますがここサポートセンターは優しいです。ddとf

Java nio の API を見ていくシリーズ（目次）。　Files クラスのメソッドがあと少し残っているので回収記事をサラリと。　今回はファイルの MIME Type を調べるメソッド Files#probeContentType() メソッド。 MIME type とは XML に対しての「text/xml」みたいなヤツです。　簡単にはファイルの拡張子で分かりますが、真面目な実装だとファイルの内容とかも解析するんでしょうね。　Files#probeContentType() メソッドは結構実装に依存するようで、OS などによって結果は変わりうるそうです。 probeContentType() メソッドの使い方Files#probeContentType() メソッドの使い方は簡単です。 import java.io.IOException; import java.nio.file.

Ruby developers need to stop using EventMachine. It's the wrong direction. Lost in the "Threads vs Event Driven vs Process Spawning" debate is that you can combine them! Learn how Celluloid is improving thread programming by abstracting them using a higher level framework called Celluloid, how you can use Celluloid::IO to throw a reactor pattern into a thread. Using this approach, you can take adv

カーネルの I/O Accounting 機能を利用する Linuxでカーネルのバージョンが 2.6.20 以降であれば、IO Accounting機能を使うとよい。 これが有効になっていれば、プロセス毎のI/O統計情報が /proc/${pid}/io に出力される。 …が、全プロセスについて、これを自前で分析するのは疲れるので、pidstat や dstat のようなツールを使うのが楽。 参考 IO Accounting 機能で I/O 負荷の高いプロセスを特定 :: drk7jp dstatの万能感がハンパない - (ひ)メモ iodump 2.6.19 以前のカーネルではどうすればいいか。 例えば、iodump というツールがある。 これは以前 Maatkit に含まれていた Perl スクリプトである。 使い方としては、以下の通り。 # download iodump wget

ブログでおなじみのクラスメソッドさんの勉強会に参加させて頂きました。 iOS 8とかけて8本のLTで構成された勉強会で、iOS 8で追加された新機能やニッチな技術の紹介がありました。とても勉強になったので、メモと併せてまとめてみます。 なお、本家のまとめはこちらになりますのであわせてご参考ください： [イベントレポート] 世界最速LT大会！？新iOS 8発表！で登場した新機能・ニッチな技術を大公開！！ #cmdevio ｜ DevelopersIO LT内容のまとめ 1.ついにiOS 8リリース！今までの歴史を振り返ってみる 大橋さん iPhoneの初期〜iOS 8までの変化を追う iPhoneの機能やiOSでできることの変化について コミュニケーションやメディア、コマースのあり方など、現実世界の変化について iOS 8技術の解説記事を200本出す予定。いま100本出している http:/