Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

エキスパートPythonプログラミング 改訂2版 (アスキードワンゴ) 作者: Michaｌ Jaworski,ＴａｒｅｋＺｉａｄｅ,稲田直哉,芝田将,渋川よしき,清水川貴之,森本哲也出版社/メーカー: ドワンゴ発売日: 2018/02/26メディア: Kindle版この商品を含むブログを見る 先日、 tokibito 先生(id:nullpobug)と勉強していたpipe, select, poll, epollあたりについてメモ。 os.fork os.fork : 子プロセス(child process)をつくれる。 import os a = 0 print(a) os.fork() a += 1 print(a) 子は親の複製。親のデータ、ヒープ、スタックの各空間の複製を取得。 メモリのこれらの部分は共有されないので、実行結果は次のようになる(テキストセグメントは共有される)。

PythonでもPythonじゃなくても使える汎用的なMicroservice実行環境 / nikkei microservice

Pythonは書きやすくて読みやすい、使うのが楽しいプログラミング言語です。本書では、学生や生徒、プログラミングの初心者が、数学の問題を具体的に解く楽しみをPythonを用いて体験します。方程式の解を求めたり、統計や確率を計算したり、放物線運動をプロットしたり、フラクタル図形を描いたり、フィボナッチ数と黄金比の関係を探ったりします。同時に、matplotlibとSymPyの使い方も学びます。数学とプログラミングの両方の知識と技術を身につけることができる、まさに一石二鳥の一冊です。 目次 日本語版まえがき 謝辞 はじめに 1章　数を扱う 1.1　基本数学演算 1.2　ラベル：名前に数を割り当てる 1.3　さまざまな種類の数 1.3.1　分数を扱う 1.3.2　複素数 1.4　ユーザ入力を受け取る 1.4.1　例外と不当入力の処理 1.4.2　分数と複素数を入力 1.5　数学を行うプログラムを

Docker containers are awesome for isolating applications from each other, but what if you want them to talk to each other? For instance, if you're developing an app in python that needs to interact with software written in another language. There are a few techniques for achieving low-level interoperability between Python and other popular languages. But if you have a weird case, or some complex l

最近、このモジュールを妻に紹介したところ、そのシンプルさと実用性に驚いていました。 joblib joblibの存在は以前から知ってはいたものの、実際のところはよく理解しておらず、いろいろな機能を寄せ集めたようなモジュールだと思っていました。まあ、その印象は今もあまり変わりませんが、実は非常に便利なモジュールだったのです。私は Flowminder の同僚から再度joblibを勧められて、このモジュールをデータ分析用のコードに幅広く使用しました。では、その機能について紹介しましょう。joblibは大きく分けて、 キャッシング 、 並列化 、 永続化 （データの保存と読み込み）の3つの機能から成ります。実を言うと、私はまだ並列プログラミングの機能は使ったことがないのですが、あとの2つの機能は頻繁に使ってきました。 キャッシング機能とは、シンプルなデコレータを使って、関数を簡単に”メモ化”する

「ほとんどの状況への対処について、一つの正しいやり方にフォーカスする」言語であるPythonですが、その文字列フォーマットは非常に悩ましく、また年々、多様化が進んでいます。 Python 3.6 では、文字列をフォーマットする方法には3通りあります（簡単な結合や string.Template の使用を除きます）。 %演算子 str.format関数 文字列の補完 （もし、この記事を全部読むつもりがないようであれば、 2016年2月に開催されるPyGrazの会合 に関する記事で、追加の例を含めてもう少し幅広くご紹介したいと思います） %形式の文字列フォーマット %形式は、少なくとも1.0バージョンからPythonに組み込まれているフォーマットです。Python 3以前のバージョンから使用している方には馴染みがあるでしょう。 多少の相違はあるものの、これはC言語の sprintf と同等の関

(訳注:2016/3/9、いただいたフィードバックを元に記事を修正いたしました。) 注意： この記事で書かれている機能は、大部分がPython 3.4で導入されたものです。ネイティブコルーチンとasync/await構文はPython 3.5でサポートされました。そのため、本記事に記載されているコードを試す場合はPython 3.5の利用をお勧めします。 ジェネレータは値を 生成する 関数です。普通、関数は return で値を返したあと、その下層のスコープは破棄します。関数を再度呼び出す場合、その関数はゼロから起動されることになります。つまり1回限りの実行となります。しかしジェネレータ関数は値を yield で返し、関数の実行を一時停止します。その後、関数を呼び出したスコープにコントロールが移ります。関数を再び呼び出して次の値を(存在すれば)得たい時は、実行を再開することができます。では

私は、多数の大容量のデータをあちこちに移動させなければならない(クライアント端末をHTTP APIに接続してデータを取得します)ような特殊な使用事例を扱っています。なぜだか ^(1) 、転送形式にはJSONが使われていました。ある時、その大容量のデータが、さらに巨大になったのです。数百メガバイトどころではありません。JSONのデコード処理を実行すると大量のRAMが使用されることが分かりました。たった240MBのJSONペイロードで4.4GBですよ。信じられません。 ^(2) 組み込みのJSONライブラリを使っていて、まず「もっと性能の良いJSONパーサがあるはずだ」と思いました。そんなわけで、計測を始めたのです。 さて、メモリ使用量の計測はやっかいです。 ps コマンドを使ったり、 /proc/<pid> を見たりすることはできますが、断片的なスナップショットが得られるだけで、実際の最大使

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

AWS Lambda を開発する際には コードを書く Zip で固めてアップロードする サンプルイベントをインプットに Lambda 関数をテスト実行する CloudWatch Logs でログを確認してデバッグ というフローが発生します。 コード修正のたびにこのフローをたどるのはなかなか手間です。 そこで今回は python-lambda-local を使ってローカル環境で AWS Lambda Python の実行環境をエミュレートし、Lambda 関数を実行する方法について解説します。 以下のようにライブラリーパス(-l)、ハンドラー(-f)、タイムアウト(-t)、プログラム、(test.py)、入力イベント(events.json) を指定すると、Lambda 関数をローカル環境で実行できます。 $ python-lambda-local -l lib/ -f handler -t

Pythonの高速化技法について一歩踏み込んだプロユースの解説書。ボトルネックの測定方法から、最適なデータ構造の使い分け、CythonやPyPyなどのコンパイラの比較、numpyなどのパッケージの使い方、マルチコアCPUの活用法、メモリ効率を劇的に改善するトライ構造や近似計算まで、シンプルな実例プログラムを用いながらわかりやすく説明します。高性能なプログラムの書き方だけでなく、高性能なシステムの作り方を総合的に学ぶことができるPythonエキスパート必携の一冊です。 翻訳者の相川氏のブログには、本書の追加情報や関連する技術情報が掲載されています。 訳者まえがき まえがき 1章　高性能なPythonを理解する 1.1　コンピュータシステムの基礎 1.1.1　演算装置 1.1.2　記憶装置 1.1.3　接続レイヤ 1.2　基本要素を統合する 1.2.1　理想計算とPython仮想マシン 1.3

Unverified details These details have not been verified by PyPI Project links Changelog Documentation Issue Tracker Sources Meta License Expression: BSD-2-Clause SPDX License Expression Author: Ionel Cristian Mărieș Tags pytest , benchmark Requires: Python >=3.9 Provides-Extra: aspect , histogram , elasticsearch A pytest fixture for benchmarking code. It will group the tests into rounds that are c

Pythonユーザーが集まり、情報交換し、交流するためのカンファレンス「PyCon APAC 2013」が9月13日、14日に都内で開催されました。PyCon APACはこれまでシンガポールで開催されており、今回初めて日本で開催されました。 （本記事は「Dropboxは全部Pythonで信頼性の高いソフトウェアを作った（前編）～PyCon APAC 2013」の続きです） Pythonは遅いのか？ でもたぶん、あなたのアプリはCPUによって制約されているわけではないでしょう。ごく限られた分野、例えばゲームとか科学計算ではないのならば、多くの制約はハードディスクやネットワーク、もしくはメモリから来ているのではないでしょうか。 それにもしも本当にCPUによって制約されているのであれば、そういうアプリはだいたいCやC++で書かれているとは思うけれど、Pythonにも選択肢はあって、それはCyth

An open source load testing tool. Define user behaviour with Python code, and swarm your system with millions of simultaneous users. Define user behaviour in code No need for clunky UIs or bloated XML. Just plain code. Distributed & Scalable Locust supports running load tests distributed over multiple machines, and can therefore be used to simulate millions of simultaneous users Proven & Battle-te

ども、cloudpack の かっぱ (@inokara) です。 はじめに 負荷試験ツールで個人的に好きなのは Siege ですが、負荷試験ツールの代名詞 JMeter の影に隠れてイマイチ存在感が薄いようです。やっぱり JMeter 一択なのかなと思っていた矢先に Locust という Python 製の負荷試験ツールがあることを以下のような記事で知りました。 Python製負荷試験ツールLocustで、分散負荷試験環境を準備する Docker + Google Container Engine でドカドカ負荷テスト 自分も百番煎じ位ですが boot2docker を使ってドカドカ Docker で Locust を試してみたいと思います。尚、オフィシャルサイトやドキュメントは下記の通りです。 locust.io Locust Documentation ちなみに Locust とはワ

これらのアノテーションは実行時に普通の __annotations__ 属性として参照できる一方で、 実行時には型チェックを行いません 。その代わり、この提案は独立したオフライン型チェッカーの存在を仮定しています。ユーザーはそのような型チェッカーを使って自主的にソースコードを検査できます。基本的にこういった型チェッカーは非常に強力なリンター (linter) として機能します。(もちろん似たようなチェッカーを使って個々のユーザー向けに契約による設計 (Design By Contract) の強制や JIT 最適化を実行時に行うこともできるはずですが、そういったツールはまだ実用レベルにはなっていません。) この提案は mypy [mypy] に強く触発されています。例えば、"整数型のシーケンス" の型は Sequence[int] のように記述します。角括弧を使うことで言語に新しい構文を追