秋山です。 Python 3.7.0が一昨日リリースされましたね！ What’s New In Python 3.7 — Python 3.7.0 documentation 何が変わったのかしらんということで、いろいろドキュメントを読んだり実際に試したりしてみましたが、ざっくり言うと型ヒント関係のアップデート、速度改善、asyncioの改善などがありました。 今回はPython 3.7.0で気になった新しい機能＆改善点を書いてみます。 ■型ヒント関連 型ヒント等のためにいろいろ整備されたっぽいです。 PEP 560 www.python.org __class_getitem__, __mro_entries__ が追加されました。今までメタクラスでやっていたクラスの添字処理のオーバーヘッドを減らせる(typingのimportが7倍速くなった！)＆メタクラスの競合やバグが危険なときがあ

1.5. Scipy: 高水準の科学技術計算¶ 著者: Adrien Chauve, Andre Espaze, Emmanuelle Gouillart, Gaël Varoquaux, Ralf Gommers Scipy scipy パッケージは科学技術計算での共通の問題のための多様なツールボックスがあります。サブモジュール毎に応用範囲が異なっています。応用範囲は例えば、補完、積分、最適化、画像処理、統計、特殊関数等。 scipy は GSL (GNU Scientific Library for C and C++) や Matlab のツールボックスのような他の標準的な科学技術計算ライブラリと比較されます。 scipy は Python での科学技術計算ルーチンの中核となるパッケージです; これは numpy の配列を効率良く扱っているということで、numpy と scipy は

xkcdとは 世界一で最も人気のあるウェブ漫画の一つです xkcd: Code Quality 3 ランダル・マンローが2005年9月に開設 皮肉や風刺が得意。理系ネタが結構多い。 現在は週3回更新されている キャラやフォントが特徴的 これとか皮肉が効いてていいですね！好きです A : 寝ないの？ B : 寝られないんだ、大事なことがある A : なによ？ B : 誰かがインターネットでボロを出してるんだ xkcd: Duty Calls 実はmatplotlibを使えば、グラフをxkcd風に仕立てられます。しかもたった一行で！今回はその紹介をします xkcdとは matplotlibで、xkcd requirement 使い方 MatplotlibのHPもxkcd風に サンプルを見てみる 3D 円グラフ 最後に matplotlibで、xkcd requirement matplotli

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? pythonの環境構築について "python 環境構築"でググると20万件くらいヒットしますが、割と内容が古いです。 タイトルにはデータサイエンティストと書いてありますが、データサイエンティスト以外にもanacondaはおすすめです。 2.x or 3.x? 3.xは動かないライブラリが多いので2.x推奨 >　3.xで動かないライブラリがある、くらいまで来ました。 easy_installでpipを入れて、setuptoolsも入れて、でもwheelというのもあって... > 古いです。 virtualenv 必須 > そんなこともな

今回は等高線や、疑似カラープロット(？)に挑戦です。 今までと違い、x, yのデータの他にz方向のデータを持っています。 以前のお話はこちら matplotlibでグラフを書く - たこ焼き食べた.net 疑似カラープロット(？) 行列の作り方 これは以下の等高線などでも使う知識なので重要です。 今回挑戦するx, y, zの3軸の情報を持つグラフは、今までと若干行列の与え方が異なります。 例えば、5*5の行列をプロットするとすると以下の行列が必要となります。 このように、x, y, zがそれぞれ、5*5の情報を持つ必要があります。 通常、x, y, zは x = arange(5) y = arange(5) Z = array([[24, 32, 12, 16, 21], [23, 24, 25, 26, 27], [43, 36, 32, 26, 25], [30, 32, 25, 2

なんかぼやぼやしているうちにひさびさの pandas エントリになってしまった。基本的な使い方については網羅したい気持ちはあるので、、、。 今回は データの連結 / 結合まわり。この部分 公式ドキュメント がちょっとわかりにくいので改訂したいなと思っていて、自分の整理もかねて書きたい。 公式の方はもう少し細かい使い方も載っているのだが、特に重要だろうというところだけをまとめる。 連結 / 結合という用語は以下の意味で使っている。まず憶えておいたほうがよい関数、メソッドは以下の 4 つだけ。 連結: データの中身をある方向にそのままつなげる。pd.concat, DataFrame.append 結合: データの中身を何かのキーの値で紐付けてつなげる。pd.merge, DataFrame.join 連結 (concatenate) 柔軟な連結 pd.concat ふたつの DataFram

memoring コンピュータを研究に使うための私的メモ。Python、Fortran、Ubuntu、etc... トップページページ一覧メンバー掲示板編集 matplotlib 最終更新： miyacdoor 2014年03月07日(金) 11:35:22履歴 Tweet 基本 インポート プロット 図を閉じる アクティブなオブジェクトの取得 カレントaxisを変更する。 GUIでの操作 インタラクティブモード 図の大きさ・配置・色 キャンバスのサイズ・解像度を設定する。 図の余白 背景を透明にする。 色の巡回パターンを指定する。 マルチプロット 複数の図を描く サイズの違う図を並べる AxesGrid toolkit マルチプロットをタイル状に配置する 凡例 凡例を表示 オプション 凡例の位置を自由に決める 凡例のフォントサイズを変える 凡例の表示順序を逆にする。 判例を複数列にしたと

数日前、pandas を利用して地理情報をプロットするという非常によいエントリが翻訳されていた。 postd.cc 上のエントリ、前処理が手間に見えるが pd.read_html や .str アクセサを使えばもっと簡単に書けると思う、、、がそれは本題でない。 pandas で地理情報を扱う場合、geopandas という拡張パッケージを利用すると便利なため、その使い方を書きたい。また、処理を Python で完結させるため、QGIS ではなく Bokeh でプロットしたい。 geopandas のインストール pip で。 $ pip install geopandas geopy このエントリでは依存パッケージである shapely、geopy の機能も利用する。shapely は自動的にインストールされるはずだが、geopy については上のように別途インストールが必要。 地理情報の読

matplotlibにBasemapを合わせて使うと、地図上へのプロットができるようになる。 Basemapがけっこう好き。 PythonxyのホームページのAdditionalPluginsの中にも入ってるし、導入もちょろい。 Plotting data on a map (Example Gallery)にある例を参考に、簡単なお絵かきをしてみた。 # -*- coding: utf-8 # 簡単な地図上へのプロット import numpy as np import matplotlib.pyplot as plt from mpl_toolkits.basemap import Basemap # フォントの指定（※それぞれの環境で異なる） import matplotlib.font_manager as fm prop_e = fm.FontProperties(fname='

Python でグラフを描画するのに何が良いかなーと思って、適当にぐぐって出てきた matplotlib を使ってみる。Python にこだわらなければ Google Chart Api を使ったほうが楽かなーという気もする。 インストール numpy が必要。 matplotlib は easy_install から入れようとしたらエラーが出たので apt で入れる。 $ sudo easy_install numpy $ sudo apt-get install python-matplotlib とりあえずチュートリアルを実行してみる。関係ないけど最近は ipython を使う様にしてます。 $ ipython in[1]: import matplotlib.pyplot as plt in[2]: plt.plot([1,2,3]) TclError: no display na

seabornはmatplotlibベースの統計データビジュアライゼーションライブラリ。 Seaborn is a Python visualization library based on matplotlib. seaborn: statistical data visualization — seaborn 0.6.0 documentation statisticalと銘打っているだけあって、統計的なデータをプロットするための機能がたくさん用意されているが、普通の折れ線グラフの見た目を良くするためだけにも使える。 import numpy as np import matplotlib.pyplot as plt import seaborn as sns sns.set() sns.set_style("whitegrid", {'grid.linestyle': '--'})

CentOS 7 には、初期状態で Python 2.7 がインストールされていますが、プロジェクトではもっと新しい Python 3 が必要になる場合があります。 そのような場合に、CentOS 7 に Python 3.x を yum でインストールする手順について解説します。 IUS Community Project の yum リポジトリを利用しよう Python 3.x は CentOS 7 の標準 yum リポジトリでは提供されていませんので、別の yum リポジトリから取得する必要があります。 そこで利用したいのが IUS Community Project の yum リポジトリです。 IUS Community Project は、Red Hat Enterprise Linux (RHEL) や CentOS 向けに、できる限り最新のソフトウェアの RPM を提供する

今日質問されて、以前Twitterで書いたのを思い出して、そして検索性が悪くて見つけ出すのに苦労した。こちらに転載しておく。詳細は気が向いたときに埋める。 オプション引数の評価タイミング Rubyではオプション引数は関数が呼ばれるたびに評価される。 def foo() print "foo!" end def bar(x=foo()) end bar #=> foo! と出力される bar #=> foo! bar #=> foo! Pythonでは関数の定義時に1回だけ評価される。 def foo(): print "foo!" def bar(x=foo()): pass #=> foo!と出力される bar() #=> 何も出力されない bar() 「引数が省略されたら今の日時」みたいな毎回評価したい場合はデフォルト値をNoneにしておいて「Noneだったら＝省略されていたら」のif

概要 無事、homebrew上でpython環境を構築したと思われたが、 pipがうまく動かない事が判明 pythonインストール時のログにて Setuptools and Pip have been installed. To update them pip install --upgrade setuptools pip install --upgrade pip と言われていたので、"pip install --upgrade setuptools" を実行したら失敗、、、 諸々対処して、 Setuptools and Pip have been installed. To update them pip install --upgrade setuptools pip install --upgrade pip が成功したけど、その後、pip install がうまく行かない、、、

周波数とは振動数と同じで、単位時間にどのくらい振動しているかを表す指標です。単位は[Hz]で表されます。電力でよく60Hzとか50Hzとか聞くと思いますが、これは一秒間に信号が60回、50回振動しているという意味です。 上で述べた内容は1次元的な信号の場合ですが、画像のような2次元的な信号でも周波数を考えることができます。1ピクセル動いたときに、どのくらい画素が変化するかによって周波数を考えることができるのです。画素値の変化が大きいところは周波数大で画素値の変化が小さいところは周波数小です。

pandas ではデータを 列 や 表形式のデータ構造として扱うが、これらのデータから順番に値を取得 (イテレーション) して何か操作をしたい / また 何らかの関数を適用したい、ということがよくある。このエントリでは以下の 3 つについて整理したい。 イテレーション 関数適用 pipe (0.16.2 で追加) それぞれ、Series、DataFrame、GroupBy (DataFrame.groupbyしたデータ) で可能な操作が異なるため、順に記載する。 まずは必要なパッケージを import する。 import numpy as np import pandas as pd イテレーション Series Series は以下 2つのイテレーション用メソッドを持つ。各メソッドの挙動は以下のようになる。 __iter__: Series の値 ( values ) のみをイテレーシ

無限大（inf）をチェックする方法 inf = float("inf") if(val == inf): #valが無限大だったときの処理を書く float("inf")で無限大を作ることが出来る。無限大チェックは通常アプリではなかなかやらないかも知れない。 Nanをチェックする方法 if( val != val ): #valがNanだったときの処理を書く PythonではNanとNanを比較するとFalseがかえってくるため。なお、Python2.6以降ではmath.isnal(val）で調べることが出来る。 こちらはとてもよく使う。けど、初めてこのコードを見たら、何やってんだコレ？となってしまいそうなので、# Nan Check　とでもコメントを添えておくことにしよう。

システムの構築、新しい技術の習得、PythonやDevOpsなどに情熱を注ぐソフトウェア開発者です。現在はチューリッヒを拠点とするビッグデータのスタートアップで働いており、データ分析およびデータ管理ソリューションのためのPythonの技術を磨いています。 1 はじめに Python は開発時間を短縮できるという点で一般的に評価の高い言語です。しかし、Pythonを使って効率よくデータ分析をするには、思わぬ落とし穴があります。動的かつオープンソースのシステムであるという特徴は、初めは開発を容易にしてくれますが、大規模システムの破綻の原因になり得ます。ライブラリが複雑で実行時間が遅く、データの完全性を考慮した設計になっていないので、開発時間の短縮どころか、すぐに時間を使い果たしてしまう可能性があるのです。 この記事ではPythonやビッグデータで作業をする時に、最も時間を無駄にしがちな事柄につ