この記事ですることを3行で Pythonの標準ライブラリでできる並列実行を、あらためて総当たりで速度比較しよう ウォーターフォールチャートで、それぞれの並列処理の処理時間の特徴を可視化しよう boto3の実行をモデルケースにして、どの並列処理が一番早いのかを調べよう この記事の結論を先に Python 3.12から本格的に使えるようになったサブインタープリターは、CPUで実行する処理について言えば、従来のサブプロセスよりも高速 boto3の実行は、サブインタープリターよりも署名付きURLの非同期実行のほうが速い → S3からの10ファイルの取得であれば、実行時間を90%削減できます → Bedrockの3回実行であれば、実行時間を60%削減できます 今回使ったソースコードはこちらに置いています。 お手持ちの環境で再実行できるようにしていますので、気になる方はぜひ。 どうしてこの記事を書くの

複数のプログラムを並列に実行する「並行プログラミング」は、処理速度を飛躍的に向上させる昔からある手法ですが、タスク管理、プロセス管理、スレッド管理をはじめ、複雑なしくみについての幅広い知識とテクニックが必要となります。本書はRustとCを使い、CPUのアトミック命令、グリーンスレッド、アクターモデル、ソフトウェア・トランザクショナルメモリ、async/awaitなど、並行プログラミングに関する理論的な背景から実装までを網羅的に扱います。ソースコードはGithub上で公開、実際に動作するソースコードを参考にしながら読み進められます。

シンプルな言語仕様と手厚い並行処理機能で多くのプログラマの心を捉えるGo言語。いまではサーバーサイドでのプログラミングやコンテナツールの実装言語など、さまざまな分野で活用されています。本書は、Goの並行処理の設計哲学、言語の機能、また実際のプログラミングテクニックや並行処理の使い方、システムに導入する際のベストプラクティスとパターン、その内部構造までを簡潔にまとめた書籍です。 普段からGoでプログラミングをしているプログラマや、並行処理について学習したいプログラマが、新たな知識を身につけるのに良い一冊となるでしょう。 ［本書のサポートリポジトリ］ 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書籍を印刷した月です。お手持ちの書籍では、すでに修正が施されている場合がありますので、書籍最終ページの奥付

Node.jsのプログラミングを並列化して10倍速く動かした話です。 Node学園 31時限目 のLT https://nodejs.connpass.com/event/90936/

These are the slides of my keynote at RubyKaigi 2018: http://rubykaigi.org/2018/presentations/eregontp.html#jun02 Array and Hash are used in every Ru…

ScalaMatsuri 2018 Training Day (2018/03/16)での講演資料です http://2018.scalamatsuri.org/Read less

Private content!This content has been marked as private by the uploader.

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

This page refers to the 3rd edition of Distributed Systems For this third edition of “Distributed Systems,” the material has been thoroughly revised and extended, integrating principles and paradigms into nine chapters: Introduction Architectures Processes Communication Naming Coordination Replication Fault tolerance Security A separation has been made between basic material and more specific subj

The document discusses the Ponylang programming language. It covers three main topics: 1) Concurrency in Ponylang uses the actor model or shared memory with synchronization to avoid data races and deadlocks. 2) Ponylang uses capabilities to safely share isolated or immutable state between actors. 3) The Ponylang runtime provides fast actors through techniques like message passing and a read/write

We’re releasing highly-optimized GPU kernels for an underexplored class of neural network architectures: networks with block-sparse weights. Depending on the chosen sparsity, these kernels can run orders of magnitude faster than cuBLAS or cuSPARSE. We’ve used them to attain state-of-the-art results in text sentiment analysis and generative modeling of text and images. The development of model arch

Many of today’s applications process large volumes of data. While GPU architectures have very fast HBM or GDDR memory, they have limited capacity. Making the most of GPU performance requires the data to be as close to the GPU as possible. This is especially important for applications that iterate over the same data multiple times or have a high flops/byte ratio. Many real-world codes have to selec

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? TL;DR; Eventual Consistencyとか言いながらどうせもっとまともな一貫性実装してることはよくあるんだからみんな適切な名前を使おうぜ。 なぜこの記事を書くのか NoSQLの文脈においてスケーラビリティとのトレードオフでEventual Consistencyという用語は結構な頻度で出てくる。 ACIDに対抗してBASE(Basicaly Avalilable, Soft state, Eventual consistency)なんて言葉が出てきたり、CAP定理の中のAとPだと言ってみたり、分散システムのスケーラビリテ

大規模な並列コンピュータを活用し、分散学習パッケージChainerMNでImageNetの学習を15分で完了 株式会社Preferred Networks（本社：東京都千代田区、代表取締役社長：西川徹、プリファードネットワークス、以下、PFN）は、大規模な並列コンピュータ「MN-1※1」を活用し、深層学習（ディープラーニング）の学習速度において世界最速を実現しました。 深層学習モデルの精度を向上させるため、学習データのサイズやモデルのパラメータ数が増加し、それにともなって計算時間も増大しています。1回の学習に数週間かかることも稀ではありません。複数のコンピュータを連携させて学習を高速化することは、新たなアイディアの試行錯誤や検証に要する時間を圧縮し、素早く研究成果をあげていくために非常に重要です。 一方で、複数のコンピュータを使った並列分散学習においては、通常、GPU数を増やすほどバッチサ