Asyncioは、大雑把に言えば、PythonでNodeのような非同期プログラムを行えるようにするモジュールです。Pythonでは、スレッド（concurrent.futures）を用いて並行プログラムを書くことができますが、Asyncioではもう少し軽量の並行プログラムを実現できます。 この辺は「Fluent Python」に詳しいですが、いかんせんAsyncioの箇所は最新のPythonのバージョンで大きく変更されています。以下の公式サイトが貴重な情報源になります。 Asyncio公式サイト ここでは、最も有名なAsyncioライブラリであるaiohttpを使ったソースコードを説明することで、Asyncioの概念を見ていきたいと思います。 aiohttp公式サイト 以下の関連記事を投稿しました (追加 2021/02/13) Django 3.1のAsync Views - Qiita

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

時は2005年ごろ、Officeはスレッドを有効に使うべく悪戦苦闘していた。Outlook2007などは外部から見てもその苦闘が見られただろう(不安定、とも言う)。社内にいれば、そのずっと酷いバージョンのアルファやベータもドッグフードする機会があり、なかなかに絶望の淵を覗く思いだった。 その当時のたくさんの失敗の経験とその分析から、社内には割とたくさんの非同期プログラミングのノウハウがあった。 といってもかっこいいテクノロジとかデザインパターンのような華々しい物では無い。もっと地味な、Writing Solid Code非同期版のような感じだった。Avalon以前の地味な、面白くもない世界。 非同期と並列は違う。直交はして無いけれど。 「ブロックしてるコールを非同期コールに差し替えればいいんでしょ？」そう思って作られた大規模アプリは、すぐに動かなくなった。非同期のアプリとしてただ普通に振る

Pythonのスレッドについて理解したのでまとめておく。 タイトル同じです。自分はまだ未熟なエンジニアで忘備録的な側面もありこの記事を書いています。smtpを用いてメール送信の処理を書いていたのですが、その処理が比較的重く次の処理に映るまでに時間がかかってしまっていました。そこで使ったのがスレッドです。 スレッドとは スレッドとは２つの意味がありプログラムの処理の実行単位と、もう１つは某巨大掲示板におけるそれぞれのトピックスのことです。もちろん今回は前者です。スレッドが一番威力を発揮するのは,並列処理の際です。並列処理とは,コンピュータのプロセッサで１つのタスクを分割させることで,重い処理をするときに活躍します。 簡単なスレッドのプログラム 環境 macOs 訳あってpython2系ですが,ほとんど3系とコードは変わりません。詳しくはドキュメント等を参照していただきたいです。 import

こんにちは、プレイドの @makinoy です。 久しぶりのBlog投稿です。書こうとして止めていた記事はひとまず置いといて今回新しく一つ記事を書くことにしました。 テーマはNapa.jsを使ってJavaScriptでmulti-threadingをやってみる、です。 背景フロントエンドからバックエンドまで含めて考えると、KARTEのコードの大部分はJavaScriptで書かれています。その理由の大半は、特にフロントエンドよりの話が多く、Angular.js, React.js, Vue.jsに代表されるWebフレームワークの著しい発展や、V8のパフォーマンスの進化、Node.jsやNPMなどその周辺のモジュールのエコシステムの充実が大きいと思います。 KARTE的には、スキーマレスな構造データを扱えることが特徴の一つなので、その周辺の操作に関しては動的言語が適しているというポイントもあり

こんにちは、アプリケーション基盤チームの青木(@a_o_k_i_n_g)です。 今回、Java のちょっとしたデバッグテクニックを紹介したいと思います。Java で運用中何かトラブルが発生した場合、スレッドダンプを取得することはしばしばあると思いますが、スレッドダンプだけだとちょっと情報が足りないことがあります。今回はスレッドダンプから得られる情報を増やして、素早く障害対応したりデバッグに役立てる方法を紹介します。 まずはじめに: スレッドダンプの取り方 基本ですが、改めてスレッドダンプの取得の仕方を紹介しておきます。スレッドダンプを取得する対象のプロセス ID を仮に 12345 として、下記のように jstack コマンドを実行すればスレッドダンプが取得できます(※Linux上で操作する想定)。 $ jstack 12345 対象のプロセス ID は ps aux | grep jav

アクターモデルというのは、並行処理のプログラミングモデルの一つだ。 並行処理という言葉からは、まずマルチスレッドとかをイメージすると思うけど、それよりも抽象度の高い概念となっている。 つまり、アクターモデルというのはマルチスレッドなどを用いて構築することになる。 どちらかといえばプロセス間通信 (IPC) の技法であって、共有メモリやロック、RPC と比較するものかもしれない。 そんなアクターモデルは、概念とか使ったときの嬉しさを理解・実感するのがなかなか難しいモデルだとも思う。 理由としては、使い始めるまでに必要なコード量が多かったり、それなりの規模のアプリケーションで使わないとメリットが分かりづらい点が挙げられる。 ただ、これはあくまで主観的なものだけど、アクターモデルをベースに組まれたアプリケーションは規模が大きくなっても並行処理をしているコードが読みやすい。 共有メモリやロックを使

Python には標準ライブラリとして、いくつか排他ロックの実装が用意されている。 例えば threading モジュールの Lock オブジェクトなどは、その代表といえる。 しかしながら、標準では用意されていないものもある。 例えばプロセス間の排他ロックやリードライトロックは標準ライブラリに用意されていない。 そのため、例えばもし自前でプロセス間の排他ロックを用意するとしたら fcntl モジュールなどを使って書くことになる。 とはいえ、排他ロックの実装というのはバグを作り込みやすい。 そもそも、マルチスレッドやマルチプロセスで競合しないプログラムを作ること自体が深く注意を払わなければできない作業だ。 その上、排他ロックの機構まで自前で用意するとしたら、二重でリスクを負うことになる。 fasteners 前置きが長くなったけど fasteners は前述したような排他ロックの機構を提供し

はじめに Pythonのthreading.Eventを使っているサンプルはないかとググっていたら上位に間違った使い方をしているものが出てきました。 Qiitaでthreading.Eventを使った投稿でも3件全てが間違った使い方をしているという悲惨な状況たったので、正しい使い方を説明します。 threading.Eventとは イベントが発生するまでスレッドを待機させ、他のスレッドからイベントを発生させると待機スレッドが再開する、という使い方をする為のクラスです。 最も重要なメソッドは以下の2つです。 wait() イベントが発生するかタイムアウトになるまで現在のスレッドを待機させる。 set() イベントを発生させ、待機スレッドを再開させる。 他にもclear()とis_set()があります。 詳細はPythonドキュメントを参照してください。 正しい使い方 まずは正しい使い方を見て

長らくの間、JavaScriptはシングルスレッドな言語でした。重い処理を実行するたびにUI処理はブロックされ、マルチコアCPUは上手に使えない、それがJavaScriptの常識でした。ですが、Web Workersがあればそれが変わります。 Web Workersとは JavaScriptは、Workerという処理単位を持ちます。Workerはバックグラウンドで非同期に処理を行うための最も簡単な手法であり、JavaScriptに他の処理を妨げないタスクを実行する手段をもたらします。 しかしなぜWorkerという名前なのでしょうか。プログラマにとってなじみ深い「スレッド」ではいけなかったのでしょうか。 独立したメモリ空間 事実、Workerはスレッドのようなものと言えます。しかしながら、Workerにはプログラマが一般的に想像するスレッドとは少し違う点があります。スレッドというよりかは、ど

先に書いたリンゴを買う人のように、１つの処理だけで終わるプログラムをシングルスレッドのプログラムと呼ぶ。 しかし、実際にはいくつかの処理を並行して行う。要するに、複数のスレッドが同時に動くことになる。 このように複数のスレッドが同時に動くことをマルチスレッドという。 スーパーに様々なものを買う役目をもった人間がいるようなものだ。 大分簡易化されているが図で表すと次のようになる。 マルチスレッドを使う理由は？ １人の人間がたくさんの物を買うよりも、複数の人間がそれぞれ目的のものを１つ買うほうが早い。 同じように、１つのスレッドで処理を行っていくよりも、マルチスレッドでの作業速度は速くなる。正確には速くならない場合もあって複雑なのだが、速くできる可能性があると思っておけば良い。 また、例えばWordなどでは入力中、同時にスペルチェックが行われていたりする。このように同時進行させられるのが、マル

エキスパートPythonプログラミング改訂2版posted with カエレバMichal Jaworski,Tarek Ziade KADOKAWA 2018-02-26 Amazonで最安値を探す楽天市場で最安値を探すYahooショッピングで最安値を探す 目次 目次 はじめに subprocessによる複数子プロセス処理 concurrent.futuresによるマルチプロセス処理 Queueによる並行プログラミング 最後に 参考資料 MyEnigma Supporters はじめに 元々Pythonは、 そこまで処理速度が早い言語ではないので、 システムの処理速度を最適化したい場合は、 C++などで書き直した方が良いのかもしれませんが、 Pythonシステムをあと少し早くしたい時には、 並行処理プログラミングをしてみると、 効果があるかもしれません。 最近のコンピューターはマルチコア

マルチスレッドについていろいろ考えてる機会が多かったのでちょっとまとめてみた。 Singletonのdouble-checked lockingはアンチパターンだという話 double-checked lockingとSingletonパターン ネットでも各所に書かれているけれど、メジャーな書き方なのでみんないつの間にか使ってしまっていることが多い。*1被害に会う可能性が非常に低いので対策はほぼ必要ないけど知っておいて損はない。 double-checked lockingとはどんなソースかというと public static Singleton getInstance(){ if (instance == null){ synchronized(Singleton.class) { //1 if (instance == null) //2 instance = new Singleto

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

pythonを使ってマルチスレッド処理を行ないたい． pythonでスレッドを扱うにはthreadingモジュールを利用する． threadingモジュールでスレッドを扱うには二つの方法がある． threading.Threadのサブクラスを作る． threading.Threadのインスタンスを作る． それぞれについてサンプルを示す． サブクラスを作る サブクラスを作り，runにオーバーライドしてスレッド処理を実装する． 以下の例ではt秒おきにn回，時刻を表示するメソッドをrunとして実装した． import threading import time import datetime class TestThread(threading.Thread): """docstring for TestThread""" def __init__(self, n, t): super(Test

今回はマルチスレッドについて扱います。マルチスレッドは、簡単に言ってしまえば複数の処理を「並列」に進めることができるものです。マルチスレッドの反対がシングルスレッドであり、これは複数の処理を順番に進めていくものです。逆に言えば、ある処理が終わるまでは次の処理を実施することはできません。マルチスレッドおよびシングルスレッドの“スレッド”は「プログラムの実行単位」のことで、名前からわかるようにマルチスレッドはプログラムをマルチな実行単位で実行します。 今回の流れとしては、まず最初にプログラムの実行時間の測定手法について学びます。これを理解していないとマルチスレッドを使った高速化がどれほど効果的なものか理解しづらいためです。次にさまざまな処理にかかる遅延がどれほどのものかについて学びます。それらの基礎ができたうえで、シングルスレッドの問題点について、その次にマルチスレッドがどのようにその問題を克

プロセスIDの取得 スレッドダンプの取得 Windowsでプロセスをサービス起動している場合 スレッドダンプを読む プロセスIDの取得 まずは Java のプロセスIDを取得するところから始める。jps で取得できる。 $ <JAVA_HOME>/bin/jps -l 主要なオプションは以下の通り(SunVM)。 オプション 説明 -m main メソッドに渡される引数を出力 -l アプリケーションの主要なクラスのフルパッケージ名、またはアプリケーションの JAR ファイルへのフルパス名を出力 -v JVM に渡される引数を出力 JDK7 からは JRockit と統合されたため jcmd が使えるので以下でもプロセスIDを取得できる。 $ <JAVA_HOME>/bin/jcmd または、単に ps コマンドで取得するでもよい。 $ ps -ef | grep -v 'grep' | g

本の感想を書くことによりいい感じにブログネタを切らさないようにする生活(´･_･`) だいぶ前から読んでいた本をついに読み終わりました。 https://www.amazon.co.jp/Java%E4%B8%A6%E8%A1%8C%E5%87%A6%E7%90%86%E3%83%97%E3%83%AD%E3%82%B0%E3%83%A9%E3%83%9F%E3%83%B3%E3%82%B0-%E2%80%95%E3%81%9D%E3%81%AE%E3%80%8C%E5%9F%BA%E7%9B%A4%E3%80%8D%E3%81%A8%E3%80%8C%E6%9C%80%E6%96%B0API%E3%80%8D%E3%82%92%E7%A9%B6%E3%82%81%E3%82%8B%E2%80%95-Brian-Goetz/dp/4797337206 Scalaだとakkaとかあって、アク

ｃonstexpr関数はコンパイル時処理。これはいい。実行時が霞んで見える。cpuの嬌声が聞こえてきそうだ