はじめに インストールすればすぐに書けて動かせるのが魅力のPythonですが、 実際に業務などでキチンと書こうと思ったら Pythonのバージョン管理ツール パッケージマネージャー エディター(IDE) リンター フォーマッター 型チェッカー くらいは最低限用意する必要があります。 しかしこの界隈、怒涛の勢いで日々新しいものがリリースされていて一概に「これがベストプラクティス」を提示するのが難しいんですよね。そこで今回は上記それぞれのツールについて「こんなものがあるよ」というのをご紹介したいと思います。 TLDR バージョン/パッケージ管理はpyenv + Pipenvがスタンダードだった時代は終わった VS CodeかVimを使うなら型解析にPyrightを導入するとよい テンプレートを用意しました 1. バージョン/パッケージマネージャー プロジェクトごとに異なるPythonのバージョ

本書は、Pythonによる実装を前提として、ソケットプログラミングに必要な知識をわかりやすく解説する入門書です。TCP/IPやソケットの原理を説明したのち、Pythonでソケットを実装する基礎的方法を示していきます。さらに、Python固有の機能を用いたプログラミング例（モジュールを利用したサーバ実装など）を紹介します。 ダウンロードできるサンプルプログラムが多数掲載されているので、実際に試しながら読み進めて、知識と技術を身につけてください。 【本書の基本環境】 本書は、Windows・Annaconda・Python3の使用を基本としています。 しかし、使用しているモジュールはごく標準的であるため、それ以外の環境でも、本書で使用しているプログラムは問題なく動作すると考えられます。 【本書内で使用するPythonモジュール】 socket sys datetime threading os

はじめに コードは理解しやすくなければいけない。 リーダブルコード ―より良いコードを書くためのシンプルで実践的なテクニック (Theory in practice) 作者:Dustin Boswell,Trevor Foucher発売日: 2012/06/23メディア: 単行本（ソフトカバー） コードの保守性や可読性を高めるために我々エンジニアはどんなことができるでしょうか？ テストを書く 推奨されているコードスタイルに準拠する コメントを書く DRY原則に則る 変更・拡張しやすく設計する ログを出力する・監視する 適切な命名をする etc... まだまだ意識すべきことはあると思いますが、上記の項目はエンジニアであれば恐らく一度は目にしたことがあるような内容であり、暗黙的に了承されたいルールです。 しかし、これらはただの心構えであり、体現するために実際には以下のような項目に落とし込む必要

こんにちは． この前リリースしたPythonで使えるツールのshape_commentatorの評判が良く，最近はCIでPyPIにパッケージをアップロドする設定を書いたりしてCIとわいわい遊んでいます． shiba6v.hatenablog.com tox と bats テストには，doctestに加えてbats を利用しています．これは，シェルスクリプト でテストを書けるツールで，今回のようなファイルを直接出力するなどPythonのコードよりもシェルスクリプトでテストを書きたいようなもののテストに適していると思い，導入しました． shape_commentatorは，過去の数値計算のコードを読み解くツールとして有用になる可能性があるため，様々なPythonのバージョンでテストしておきたいという気持ちがあります．Pythonの様々なバージョンでのテストと言えばtoxですが，これはvirtu

この記事は CAMPHOR- Advent Calendar 2018 20日目の記事です．昨日の記事は @lotz 氏の「“アルゴリズムこうしん”のアルゴリズムをHaskellで実装する」でした． wsgi_lineprof は WSGI ミドルウェアとして実装された Python のラインプロファイラです．この記事では wsgi_lineprof がどのようにして実装されているかを，WSGI や CPython の内部実装の簡単な説明とともに紹介します．プロファイラの実装について興味がある人や，Python 処理系，WSGI の裏側に興味がある人の参考になれば幸いです． wsgi_lineprof とは まず簡単に wsgi_lineprof を紹介します．wsgi_lineprof は上でも述べたように WSGI ミドルウェアとして実装された Python のラインプロファイラです．

この記事は CAMPHOR- Advent Calendar 2018 4日目の記事です． 1. はじめに プログラミング言語 Python は汎用の動的型付き言語で，機械学習や Web 開発を中心に幅広く使われています．特にここ数年の Python 人気は凄まじいものがあり，某大学生協の本屋では，プログラミング系の平積みコーナーが一面Python 関連書籍で埋め尽くされています．所属しているコミュニティの関係でプログラミング初心者の学生にもよく会うのですが，第一言語が Python という方が非常に多く，まさに猫も杓子も Python といった状況です． そんなわけで，人々がこぞって Python でプログラムを書いているわけですが，「Python 自体がプログラムである」という事実に目を向けたことのある人は非常に少ないと思います．みなさんが Python のプログラムを書いて実行する時

非負値行列因子分解（NMF : Non-negative Matrix Factorization）を改めてやり直してみたPythonC++MachineLearningNMF非負値行列因子分解 一年ほど前に理解した非負値行列因子分解（NMF）を再実装して確認してみようとした記事です． Support Vector Machine(SVM)や最近ではDeep Learningなどが流行っていますが，こんな手法もありますよ，といった紹介になればと・・・ C++とPython2.7で久しぶりに実装してみました． 【2020/11/10 更新】 Python3系にアップデートしました。 Python版NMFコードをリファクタリングしました。 【2020/02/05 更新】 NMFを使ったリアルタイム音源分離のモックを作成しました。 こちら 【2018/03/23 更新】 一部本文を修正しました．

Matplotlibでかっこいいプロットにしたい seabornのプロットはかっこいい。毎回インポートするのめんどくさいなと思っていたのですが、seabornをインポートせずにseabornのスタイルを使うことができることに気づいた。（もしかすると当たり前？） もちろん、あらかじめseabornをインストールしておく必要はある。 どんなプロットができるか、メモ。 どんなスタイルがあるか確認 matplotlib/mpl-data/stylelibというフォルダに入っているxxx.mplstyleがスタイルファイル。もちろん自分で作ることもできる。結局、どのスタイルも一長一短なので、自分で作って置いておくのが一番いいかもね。 中身の例：dark_background.mplstyle Set black background default line colors to white. lin

つい先日、OpenAIが主催するOpenAI Retro Contestが終了したようです。このコンテストでは"Sonic The Hedgehog"を題材に、ゲームをプレイするエージェントを作成しその性能を競うものでした。コンテストの結果は実際にプレイ動画とともにleaderboardから見ることができるのですが、上位陣のエージェントのプレイを眺めていると、深層強化学習の進歩をひしひしと感じます。中でも1位の"Dharmaraja"というアリババのチームは途中でオブジェクトの隙間に入り込むバグを発見して大きくスコアを伸ばしていたようです。この先機械がゲームをプレイする未来を考えると、実用的には機械がテストプレイをしたり、非実用的にはTASを自動で作成したりと、色々と夢が広がるものでした。 ソニックのAIコンペ1位の人のやつ、バグっぽい挙動発見してて面白いhttps://t.co/K9xU

確率分布が正規分布に従うか調べたい、 二つの集団が同じ確率分布から得られたものか調べたい、 といった時に使うのが、コロモゴロフスミルノフ検定(Kolmogorov–Smirnov test) コルモゴロフ–スミルノフ検定（コルモゴロフ–スミルノフけんてい、英: Kolmogorov–Smirnov test）は統計学における仮説検定の一種であり、有限個の標本に基づいて、二つの母集団の確率分布が異なるものであるかどうか、あるいは母集団の確率分布が帰無仮説で提示された分布と異なっているかどうかを調べるために用いられる。しばしばKS検定と略される。 1標本KS検定は、経験分布を帰無仮説において示された累積分布関数と比較する。主な応用は、正規分布および一様分布に関する適合度検定である。正規分布に関する検定については、リリフォースによる若干の改良が知られている（リリフォース検定）。正規分布の場合、一

こんにちは。 データチームの後藤です。 A/Bテストはサービス改善のための施策の効果測定に欠かせないツールですが、最近のVASILYでは、運用するサービスが増えてきたことに伴いA/Bテストの内容も多様化してきました。今回はそのA/Bテストにベイズ推論を用いた具体的な例を紹介します。 問題設定 あるサービスのコンバージョン率を上げるため、コンバージョンの前提となる行動Xを増やすための修正を実施しました。ここで、「コンバージョン」は商品の購入などの成約を、「コンバージョン率」は利用数に対して成約に結びついた割合を、「行動X」は買い物カゴに商品を入れるなどコンバージョンの前提となる行動のことを指すことにします。修正がコンバージョン率の上昇に寄与したのかをデータから判断する必要があります。 修正後のページ（パターンA）を表示したグループと、修正前のページ（パターンB）を表示したグループの行動ログを

はじめまして。2018年1月に入社した奥田（@yag_ays）です。 先日、scikit-learn-contribの1つであるCategory Encodersの最適化を実装したPull Requestがマージされたので、そこに至るまでのプロファイルや最適化の過程を紹介したいと思います。 普段、私の仕事は機械学習やデータ分析がメインで、あまりPythonの処理レベルで早いコードを書いたりすることはありません。もちろん最適化なんてことについては、あまり経験を持っていない素人なのですが、この記事が皆さんのプロジェクトを最適化する際の参考になれば幸いです。 tl;dr scikit-learn-contribの中のcategory_encodersの実行速度を最適化した Pythonのプロファイリングにはline_profiler、デバッグにはpdbが便利 Pandasのカラムをfor文で書き

本記事はFOLIO Advend Calendar 22日目のものです． 昨日は yoshiko_pg さんで「git grepでソースコード内検索のあれこれ」でした． はじめに みなさんは PyPy についてご存知ですか？ PyPy とは非常に高速な Python 処理系で，通常の CPython に比べると約８倍の高速化を達成しています1. 何故早くなったのか，それは，Meta-Tracing JIT コンパイラを搭載した特殊な言語によって実装され，PyPy には JIT コンパイラが付属しているからなのです． 以降では JIT の話は省略しますが，一言でいうと「よく実行される部分を機械語にコンパイルして実行する」というもので，プログラムの大幅な速度向上が期待できます． 今回は，その特殊な言語 RPython と Meta-Tracing JIT という技術について触れていこうと思いま

最近cliのコマンドを作る時にやっていることをまとめてみる。ここでのコマンドは特にパッケージとして提供されるシェルなどから実行されるコマンドのことを指している。 何が問題? 特にパッケージの提供者とパッケージのユーザーの望みが全く乖離せず一致している場合は問題がない。ユーザーが必要としている機能をパッケージの作者が提供すれば良い。 問題はところどころカスタマイズしたくなるような場合。このようなケースは自分がパッケージの作者でありユーザーである時によく発生するので面白い。パッケージの機能としては含めたくないものの現在のプロジェクトの範疇では必要となる、ただし新たなサブパッケージの様な何かを作る程汎用性があるとは思えないというような場合など。このような時にどうすれば良いのかということについてある程度回答ができるようになったのでまとめてみる。 おさらい 上の問題についてとりあえずpythonでの

データ分析ガチ勉強アドベントカレンダー 14日目。 時系列データでまず思いつくのは、株価のチャートですよね。 また、最近はやっている仮想通貨。私も最近coincheckに入金しました。 ビットコイン取引所 "coincheck" やっぱ、実際にお金が絡むとちゃんと勉強しようって言う気になる！笑 せっかくチャートを見るわけだし、その見方について勉強しておこうと思いました。 そしてせっかくなので、自分で実装してどういう仕組みなのかまで知っておこうと思いました。 理系だからね、分からないものを使うのは嫌だからね。 というわけで、Python(主にPandasとMatplotlibを用いながら)でテクニカル指標についてやっていきます。扱うデータは三年分の日経平均株価。 指標について知りたい人も、自分で実装してみたいという人もどうぞ。 テクニカル分析とファンダメンタル分析 実装において ローソク足