Go 言語のいろいろなパッケージを使ってみるシリーズ（目次）。　今回は io パッケージに定義されている具象 io.Reader, io.Writer を見ていきます。　io パッケージに定義されているインターフェース型については「Go 言語の io パッケージに定義されているインターフェース型を一気見する」を参照。 【この記事の内容】 io パッケージに定義されている具象 io.Reader, io.Writer io.Reader を返すメソッド io.MultiReader 関数 io.TeeReader 関数 io.LimitReader 関数 io.SectionReader 関数 io.Writer を返すメソッド io.MultiWriter 関数 io.Pipe 関数 io パッケージに定義されている具象 io.Reader, io.Writerio パッケージには io.

パイプ（土管）をGo言語でも楽しめるはじめに前回はGo言語のmime/multipartパッケージによるファイルのアップロードを見ましたが、パフォーマンスの特徴にはあまり触れませんでした。 大規模なETLジョブや、制限の厳しいサーバーレスの環境などでは、ファイルを扱うプログラムのリソースを慎重に考える必要があります。本記事ではメモリ使用量を大幅に減らすio.Pipeの使い方を見ていきます。 全てのコードはサンプルレポジトリにあります。 同期処理にある問題前回のコードをもう一度見てパフォーマンスを考えてみましょう。 // ファイルを開く file, _ := os.Open(filename) // リクエストボディのデータを受け取るio.Writerを生成する。 body := &bytes.Buffer{} // データのmultipartエンコーディングを管理するmultipart.W

概要 結論から言うと、Streamで扱っているものはStreamのまま扱うです。 具体的にはio.Readerを毎回ioutil.ReadAllで[]byteに変換せずにそのまま使いましょうです。 なぜStreamを使うべきか Node.jsの例ですが、こちらで非常に分かりやすく説明されています。 yosuke-furukawa.hatenablog.com それを踏まえて考えてみると、Goの場合以下の２つが大きいと思います。 1. メモリの効率化 ioutil.ReadAllなどで一旦全て[]byteに変換すると、その分メモリを消費しますし、アロケーションやGCに依る速度低下が起きます。 一方io.Readerやio.Writerは各chunkの処理に同じバイトを使いまわすので、メモリの効率が良いです。 2. 標準パッケージの多くがio.Readerをサポートしてる io.Reader、