こんにちは、モリカトロンでプログラマおじさんをやってる岡島です。 pip install で導入した NumPy と conda install で導入した NumPy とでは内部で使われているライブラリが違い、後者の方が高速だという記事を見つけました。 orizuru.io minus9d.hatenablog.com 要約すると Anaconda と pip では NumPy に使われている数値計算ライブラリが違っている pip が提供する Numpy は OpenBLAS を使っている Anaconda が提供する NumPy は Intel MKL (Math Kernel Library) を使っている 両者を比較すると、Anaconda が提供する NumPy のほうが速い という事みたいです。 今まで僕は Python のパッケージ管理を pip で行ってきましたが、Anac

データサイエンス100本ノック（構造化データ加工編）のPythonの問題を解いていきます。この問題群は、模範解答ではpandasを使ってデータ加工を行っていますが、私達は勉強がてらにNumPyの構造化配列を用いて処理していきます。 次回記事（#2） はじめに Pythonでデータサイエンス的なことをする人の多くはpandas大好き人間かもしれませんが、実はpandasを使わなくても、NumPyで同じことができます。そしてNumPyの方がたいてい高速です。 pandas大好き人間だった僕もNumPyの操作には依然として慣れていないので、今回この『データサイエンス100本ノック』をNumPyで操作することでpandasからの卒業を試みて行きたいと思います。 今回は８問目までをやっていきます。 今回使うのはreceipt.csvだけみたいです。初期データは以下のようにして読み込みました（データ型

NumPyは、配列計算が高速に行えるPythonの数値計算用ライブラリです。科学技術分野を中心に人気が高く、数値計算、データ分析、機械学習に欠かせないツールとなっています。本書ではまず配列の仕組みとその演算をていねいに説明します。続いて、機械学習を理解する上で欠かせない線形代数について、NumPyを使った基本的な演算を行います。これらの準備の後で、実データを使ったデータ分析で機械学習の基礎を学びます。さらにNumPyと一緒によく使われるSciPy、pandas、scikit-learnなどのライブラリとの関係を示して、いくつかの例を紹介します。最後に扱うのは効率化の追求です。本書は、NumPyとそれに関連するPythonの配列と演算についての知識とスキルをコンパクトにまとめているので、NumPyの機能と威力が体感できます。 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新さ

Jay Alammar氏の記事「A Visual Intro to NumPy and Data Representation」を共訳しました。「実用的な使い方」より前の部分の訳は私が行い、もう片方は上杉周作が行いました。ちなみに原文はCC BY-NC-SAライセンスで公開されているので自由に翻訳できます。この文章も同じくCC BY-NC-SAで公開しています。 NumPyは、Pythonによるデータ分析、機械学習、 科学技術計算において大活躍するパッケージです。NumPyを使うことで、ベクトルや行列の計算がいとも簡単になります。 また、scikit-learn、SciPy、pandas、tensorflowといった人気のパッケージは、NumPyを基にしてつくられています。つまりNumPyをマスターすれば、データの扱いに強くなるだけでなく、NumPyが基になっているパッケージの扱いにも強く

何回も間違えたので自分用にメモ numpyでのデータの形成で同じミスを何回もしたのでメモ ベクトルとベクトルの結合は問題なくできる v1.shape #(2,) v2.shape #(3,) v = np.hstack(v1,v2) v.shape #(5,0)

本日、フィックスターズは、PythonからNVIDIA GPUを使うためのライブラリCuPyをOpenCLでも使えるようにしたClPyをGitHubにて公開しました！ ClPyを使えば、例えばChainerのようなニューラルネットを用いた機械学習を、OpenCLが動くデバイス（例えばAMD Radeonなど）でも動作させることができるようになります。 詳細 CuPyとは、Python上での数値計算におけるで事実上の標準となっているNumPy互換でCUDAを使ったGPGPUが利用できるようにするためのライブラリです。もともとCuPyは、Preferred Networksさんが作っているChainerというニューラルネット用フレームワークをCUDAで動かすためのバックエンドとして統合されていました。現在では分離・独立して、Preferred Networksさん主体で「NumPy互換で動く」

この記事は，CAMPHOR- Advent Calendar 2018の7日目の記事です． この記事は，NumPyやPyTorchなどの開発に使える「shape_commentator」という便利ツールを使った話です．このツールはpipでインストールできるので，サクッと試してみたい方はGitHubのページに飛んで使ってみてください． 加筆修正(2019/12/12) IPython拡張を追加したことでIPythonやJupyterNotebookでの使い心地が良くなったので，IPythonの例の部分を中心に一部修正しました． はじめに こんにちは．シバニャンです．最近は卒論で画像系の研究をしています． 卒業研究ではNumPyやPyTorchを使ってコーディングしているんですが，今までUnityのコードをC#で書いてVisual Studioのコード補完のぬるま湯に浸かってきた僕とっては，型

機械学習でカーネル法やらクラスタリングをやっていると、何かと「2サンプル（点）間の距離」を計算することが多いです。ここではより一般的に「Pythonで2点間の距離をforループを使わずに行列（テンソル）計算として求める方法」を見ていきます。 動機 カーネル法やクラスタリングをしていると、ニューラルネットワークの出力層（潜在空間）に対して、サンプル間の距離を求めるということがよく目にします。ディープラーニングになると損失関数の中で計算しないといけないので、forループが使うのが厳しい、行列（テンソル）計算でなんとかできればめっちゃ嬉しいというシチュエーションがあります。 実はKaggleのとあるカーネルを見ていたら、TensorFlowの場合ですが、行列計算であっさり求めていたので目からうろこでした。今回はTensorFlowではなくNumpyの問題として一般化します。 問題：日本の都市間の

なお、便宜上「変換」という言葉を使っているが、実際は元のオブジェクトはそのままで新たな型のオブジェクトが生成される。 本記事のサンプルコードのNumPyのバージョンは以下の通り。バージョンによって仕様が異なる可能性があるので注意。

Pythonで数値計算を行なうためのライブラリであるNumPyでは、多次元配列を基本的なデータ構造として操作します。この独自のデータ構造を「ndarray」といい、知っておくことでデータ処理の際に高速化や省メモリ化したコードを書けるようになります。今回は『現場で使える！NumPyデータ処理入門』（翔泳社）からndarrayの基礎を紹介します。 本記事は『現場で使える！NumPyデータ処理入門 機械学習・データサイエンスで役立つ高速処理手法』の一部を抜粋し、掲載にあたって編集したものです。 NumPyとは NumPyは、Numerical Pythonの略称で、Pythonの数値計算のためのライブラリです。高速に数値計算ができることが特徴です。 NumPyで使われる主なクラスはnp.ndarrayと呼ばれる多次元を扱う配列です。NumPy配列は、公式ドキュメントでは単に配列と称されることが多

Python Advent Calendar 2017 の 18日目 の記事です。 画像のData Augmentationの手法をNumpy(とSciPy)で実装し、まとめてみました。 使うデータ Data Augmentation Horizontal Flip Vertical Flip Random Crop Scale Augmentation Random Rotation Cutout Random Erasing さいごに DeepLearningで画像分類など画像系の問題に取り組むとき、画像の枚数が精度に大きく影響を与えます。そこで、画像を数を増やすために、画像をちょっと傾けたり、反転させたりと画像を加工したりします。加工して数を増やすことを一般にData Augmentationと呼びます。 Data Augmentationは前処理で使うだけでなく、推論時にも使うこと

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

今日覚えたNumPyのテクニックを紹介します。 numpy.stack で2次元配列を繋げて3次元配列を作る 1次元配列を繋げて2次元配列を作りたいような場合には numpy.vstack や numpy.hstack という関数があります。 a = numpy.array([1, 2, 3, 4]) b = numpy.array([2, 4, 6, 8]) c = numpy.array([3, 6, 9, 12]) numpy.vstack([a, b, c]) # array([[ 1, 2, 3, 4], # [ 2, 4, 6, 8], # [ 3, 6, 9, 12]]) 2次元配列を繋げて3次元配列を作りたいような場合にはどのようにすればよいか知らなかったのですが，numpy.stack という関数があることを知りました。 a = numpy.array([[1, 2, 3

NumPyのユニバーサル関数の使い方のメモです。 NumPy NumPyは数学関数ライブラリです。 インストール方法は下記を参照。 pppurple.hatenablog.com IPythonで使ってみます。 In [1]: import numpy as np ユニバーサル関数(ufunc) ユニバーサル関数(ufunc)はndarrayの各要素に対して演算した結果を戻します。 数学演算 abs 各要素の絶対値を返す。 In [10]: arr2 Out[10]: array([ 0, -1, -2, -3, -4, -5, -6, -7, -8, -9]) In [11]: np.abs(arr2) Out[11]: array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) sqrt 各要素の平方根を返す。 In [3]: arr Out[3]: array([0,

年末年始にテンソル積と格闘しわけがわからなくなったのでメモ。 numpyのいわゆる積と呼ばれるAPIには、 numpy.multiply, numpy.dot, numpy.vdot, numpy.inner, numpy.cross, numpy.outer, numpy.matmul, numpy.tensordot, numpy.einsumとまあ結構たくさんあります。 特にnumpyについてまとめますが、chainerやtensorflowで同名のAPIが存在する場合、numpyと同じインターフェイスで設計されていますのでほぼ同じ計算をします（はずです）。 コンテンツ 要素ごとの積(*,numpy.multiply) ベクトルの積(numpy.dot, numpy.vdot, numpy.inner, numpy.cross, numpy.outer) 行列積(numpy.matm

I have a freshly installed Ubuntu on a freshly built computer. I just installed python-pip using apt-get. Now when I try to pip install Numpy and Pandas, it gives the following error. I've seen this error mentioned in quite a few places on SO and Google, but I haven't been able to find a solution. Some people mention it's a bug, some threads are just dead... What's going on? Traceback (most recent

プログラミング言語「Python」は機械学習の分野で広く使われており、最近の機械学習／Deep Learningの流行により使う人が増えているかと思います。一方で、「機械学習に興味を持ったので自分でも試してみたいけど、どこから手を付けていいのか」という話もよく聞きます。本連載「Pythonで始める機械学習入門」では、そのような人をターゲットに、Pythonを使った機械学習について主要なライブラリ／ツールの使い方を中心に解説していきます。 連載第1回の「Pythonで機械学習／Deep Learningを始めるなら知っておきたいライブラリ／ツール7選」では、ライブラリ／ツール群の概要を説明しました。前回は、その中でもJupyter Notebookの基本操作と設定について説明しました。 前回から連載第1回で紹介した各種ライブラリを使う具体的なコードを例示していますが、Jupyter Note

データサイエンティストの中村です。 ファッションアイテムの画像から抽出した特徴量は検索以外にも利用することができます。 今回はレコメンドにおける画像特徴量の活用について、以下の3トピックを考えてみたいと思います。 画像特徴量を利用したコンテンツベースレコメンド モデルベース協調フィルタリングにおけるコールドスタート問題の軽減 画像特徴量を利用したモデルベース協調フィルタリングの高度化 画像特徴量を利用したコンテンツベースレコメンド あるアイテムを好きなユーザーはとよく似たアイテムも好きであると仮定します。このユーザーへの推薦は、と似ているアイテムを推薦すれば良いわけですが、このとき、アイテムの類似度を評価する尺度として画像特徴量が使えます。 アイテムの画像特徴量をとしたとき、アイテムとアイテムの類似度はとの間の距離を用いて表現できます。類似度（距離）にはコサイン類似度やユークリッド距離がよ