蛇行区間にはレールの内側に脱線防止ガードが設置される（本文とは関係ありません）。 こんにちは、エムスリー・エンジニアリングG・基盤開発チーム小本です。 pytest は Python のユニットテストのデファクトスタンダードです。エムスリーでも顧客向けレポートや機械学習でPython＆pytest をヘビー🐍1に使っています。 ですが、実は pytest は、意外と入門のハードルが高い。と言うのも、pytest の公式ドキュメント が、fixtureのような新概念も登場する上、詳細で分量が多いからです（しかも英語）。初心者にいきなり読ませると挫折する可能性大です 2。 そこで、とりあえず使い始めるのに必要そうな情報を日本語でまとめました。 pytest ってどんなライブラリ？ unittest や nose から簡単に移行できる 書き方がシンプル fixture モックもできる プラグイ

Python のコマンドラインパーサといえば、標準ライブラリに組み込まれている argparse が基本。 蛇足になるけど、バージョン 2.7 以前で使われていた optparse は将来的に廃止予定なので新たに使うことは避けた方が良い。 そして、今回紹介する Python のサードパーティ製コマンドラインパーサ Click は、既存のパッケージと比較すると最小限のコードで美しくコマンドラインインターフェースを実装できるように作られている。 どれくらい楽になるかといえば、もう argparse を使っている場合じゃないな、と思えるレベル。 Welcome to Click — Click Documentation (8.0.x) もくじ もくじ Click をインストールする 基本的な使い方 コマンドを定義する オプションを追加する 引数を追加する サブコマンドを作る オプションについて

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Pythonのasyncio、またasync/awaitについてはあまり実践的な例が出回っていなかったため、収集した情報をもとに用例ベースの逆引きリファレンスを作ってみました。 ただ、この辺はほんとに情報がなくて何が真実なのか謎に包まれている点があるので、情報をお持ちの方はぜひご連絡をいただければと思います。 今回紹介する例は、以下のgistにまとめてあります。実装時の参考にしていただければと思います。 icoxfog417/asyncio_examples.py はじめに Pythonにはthreading、multiprocessing、asyncioとどれも並列処理に使えそうなパッケージが3つあります。これらの違いをまず押さえておきます。 これらのパッケージの違いは、そのまま「マルチスレッド」、「マルチプロセス」、「ノンブロッキング」の違いに相当します。まず、マルチスレッドとマルチプ

Pythonのプロジェクトでドキュメントを書く、といったらSphinx、というくらいSphinxはメジャーなツールになっています。そのため、ここではPythonのプロジェクトドキュメントをSphinxで作成する手順について解説します。 Sphinxのインストール Sphinxについては、日本ユーザー会のサイトで詳しく解説されています。当然、インストールの手順も記載されています。 Sphinx-Users.jp 上記の解説ではeasy_installを使用していますが、pip install Sphinxや、Anaconda/Minicondaを使っていればconda install Sphinxでも導入可能です。 ※2015/8/2現在、Sphinxが依存するBabelの最新版2.0ではPython3環境において不具合があります。これを回避するには、一旦pip uninstall babe

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

PyCon JP 2017 の発表資料です。ジャンルは「業務利用事例」となります。 追記1. PyCon JP 2017 ベストトークアワード優秀賞を受賞しました！ 追記2. http://yuzutas0.hatenablog.com/entry/2017/09/12/203000 に補足を掲載しています！

この記事は2年前の以下の記事のアップデートです。 前回はとりあえずデータサイエンティストというかデータ分析職一般としてのスキル要件として、「みどりぼん程度の統計学の知識」「はじパタ程度の機械学習の知識」「RかPythonでコードが組める」「SQLが書ける」という4点を挙げたのでした。 で、2年経ったらいよいよ統計分析メインのデータサイエンティスト（本物：及びその他の統計分析職）vs. 機械学習システム実装メインの機械学習エンジニアというキャリアの分岐が如実になってきた上に、各方面で技術革新・普及が進んで来たので、上記の過去記事のスキル要件のままでは対応できない状況になってきたように見受けられます。 そこで、今回の記事では「データサイエンティスト」*1「機械学習エンジニア」のそれぞれについて、現段階で僕が個人的に考える「最低限のスキル要件」をさっくり書いてみようかと思います。最初にそれらを書

- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05： 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

前回は Python の標準ライブラリに用意されているプロファイラの profile/cProfile モジュールについて書いた。 blog.amedama.jp 今回は、同じ決定論的プロファイリングを採用したプロファイラの中でも、サードパーティ製の line_profiler を使ってみることにする。 line_profiler は profile/cProfile モジュールに比べるとコード単位でプロファイリングが取れるところが魅力的なパッケージ。 また、インターフェースについても profile/cProfile に近いものとなっている。 今回使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.11.6 BuildVersion: 15G31 $ python --version Python 3.5.2 イン

便利なツールを作成したら、ぜひみんなにも使ってもらいたいものです。PythonではPyPIというパッケージを登録するサイトがあり、ここに登録することでpip installなどでインストールすることができるようになります。 本文書では、その手順を紹介したいと思います。 注意: 古い方法について ・・・と思ってGoogleで検索すると、現在では推奨されない古い方法がたくさん引っかかります。以下は古い方法の代表例なので、注意をしてください。 setup.pyでdistutilsを使っている 現在はsetuptoolsを使うのが推奨です .pypircにdistutilsの記載がある 現在は必要ありません python setup.py registerやpython setup.py sdist uploadを使っている これらは平文のHTTP/認証されていないHTTPSの通信を利用するため、

前回の続きです。前回はRaspberry PiとPaSoRiを繋げてSuicaのIDmを取得しました。今回はSuicaの履歴を読み取ります。 Felicaの「ブロック」について FeliCaには暗号化された領域と暗号化されていない領域があります。われわれ一般ピーポーが勝手にアクセスできるのは暗号化されていない領域だけです。 Suicaでは暗号化されていない領域に直近20件の履歴が記録されています。各履歴レコードは「ブロック」と呼ばれ、1ブロック＝1履歴です。この暗号化されていない領域からブロックを読み取る命令を「Read Without Encryption」といいます。（詳細はSonyのFelicaカード ユーザーズマニュアルをご覧ください） Pythonでブロックを読み取る 前回使用したPython用NFCライブラリ「nfcpy」を今回も使用します。まず最初にソースコード全体をお見せし

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 新しい技術を身に付けたい！と思って検索をしても、検索上位に来る記事が「わかりやすい」かというとそうではない、ということはよくあります。 記事のビュー数、またQiitaのいいね数やはてブ数は、この参考にはなりますが体感として高ければいいというものでもない印象です。 そこで、こうした文章の「評判」だけでなく、文章そのものの構成や書き振りなどに注目して、その「わかりやすさ」を評価できないか？ということで実験的に行ってみたものが以下の「Elephant Sense」になります。 chakki-works/elephant_sense (Star

Pythonのモジュールについて復習＆まとめてみました。 基本Pythonでは拡張子が「py,pyc,pyo」のファイルをモジュールとして読み込むことができます。 モジュールはimportによって読み込まれた時点で実行され、モジュールオブジェクトとしてアクセスできるようになります。 Pythonにおけるグローバルスコープはモジュールに限定されており、 意図的に書き換えない限り実行されたコードが他のモジュールの値に影響を及ぼすことはありません。 また、グローバルスコープに宣言されたオブジェクトはモジュールオブジェクトの属性としてアクセスすることができます。 これはグローバル変数やモジュール変数と言ったりします。 このあたりについて詳しく知りたい方は以下をを参照ください。 Pythonのスコープについてhttps://note.crohaco.net/2017/python-scope/ Py

以前、 WSGI準拠のWebサーバ WSGIアプリケーション を自作しました。 これらの自作により、「Webサーバを作りながら学ぶ 基礎からのWebアプリケーション開発入門」の第3章以降もPythonで書く見通しが立ちました。 gihyo.jp 第3章以降では、URLルーティングやクッキー・セッションなどの機能が登場します。 ただ、それらの機能を WSGIアプリケーションを1つ作り、すべてを入れる WSGIフレームワークとWSGIアプリケーションの2つを作り、機能を分担する のどちらの形で実装するか悩みました。 それでも、せっかくなので、後者のWSGIフレームワークを自作してみようと考えました。 そこで今回、URLルーティング機能だけがあるWSGIフレームワークを自作してみました。 なお、学習用途で作ったため、セキュリティ面は考えていませんのであしからず。 目次 環境 復習：単純なWSGI

文：Daniel Sim　分析：Lee Shangqian、Daniel Sim、Clarence Ng ここ数ヶ月、シンガポールのMRT環状線では列車が何度も止まるものの、その原因が分からないため、通勤客の大きな混乱や心配の種となっていました。 私も多くの同僚と同じように環状線を使ってワンノースのオフィスに通っています。そのため、11月5日に列車が止まる原因を調査する依頼がチームに来た時は、ためらうことなく業務に携わることを志願しました。 鉄道運営会社SMRTと陸上交通庁（LTA）による事前調査から、いくつかの電車の信号を消失させる信号の干渉があり、それがインシデントを引き起こすことが既に分かっていました。信号が消失すると列車の安全機能である緊急ブレーキが作動するため、不規則に電車が止まる原因となります。 しかし8月に初めて発生した今回のインシデントは、不規則に起こっているように見えるた

学習方法 ゲームキャプチャ + アクションで報酬(game score)を与えそれを学習させる。 game scoreの取得については、ROMのバイナリ情報を解析する必要があります。 この辺はあまり詳しくありませんが海外にROMの情報が出ているとのことです。 ニューラルネットワークアーキテクチャ 学習関数は定番のReLU。教科学習のアルゴリズムは勾配降下法(Adam)でやってます。 ReLU 勾配降下法 ニューラルネットワークの外観 手順 ⅰ.エミュレータの準備 エミュレータの動作に関しては処理が複雑なのでgitにあげておきます。 https://github.com/tsunaki00/siva_game ※ 他のマシンで試してないので動くかわかりません。 エミュに興味あるかたは海外のgitなどをぐぐってみてください！ ⅱ.ROMの抜き出し 上記にも記載しましたが、ROMの抜き出し方法は