はてなブックマーク

概要 https://github.com/pytorch/pytorch/tree/v0.4.0/torch/csrc/jit PyTorch は NN 定義をコンパイルし Python のユーザーコードを通らずモデルを実行できる機能を開発中。実は開発は普通にオープンに GitHub で行われているし master にじゃんじゃん入っているので試せる。以下の 2 種類の両方が実装されつつある。 実際に実行して作成された計算グラフを IR に変換する torch.jit.compile Python のコードを制御構文も含めて直接 IR に変換する torch.jit.script 以下は PyTorch 0.4.0 で実行。 In [1]: import torch In [2]: torch.__version__ Out[2]: '0.4.0' torch.jit.compile ま

www.oversea-pub.com 書籍に従いつつ手を動かしてみた時のメモ書き。gcc のバージョンの違いに注意して進めて行きます。 $ gcc -dumpversion 4.8 プリプロセス C 言語ソース (.c) → 前処理済み C 言語ソース (.i) $ cat hello.c #include <stdio.h> int main() { printf("Hello world\n"); return 0; } $ cpp hello.c > hello.i $ head hello.i # 1 "hello.c" # 1 "<built-in>" # 1 "<command-line>" # 1 "/usr/include/stdc-predef.h" 1 3 4 # 1 "<command-line>" 2 # 1 "hello.c" # 1 "/usr/include

mypy は Python の型アノテーションを元に静的な型チェックを行うライブラリ。型推論を行い返り値の型などもチェックする。 Pythonではじまる、型のある世界 - Qiita mypyやっていくぞ - Qiita [翻訳] Python の静的型、すごい mypy! - Qiita 起動からアルゴリズム部分に到達するまで mypy コマンドは scripts/mypy が起動される main.py の main mypy.build.build が呼ばれる dispatch メソッドが色々やってそう 全体の流れ build.py の中にアルゴリズムや設計思想がテキストで説明してある dispatch は ① load_graph(source) して ② process_graph(graph) する load_graph Graph とは str->State の dict St

LLVM Tutorial: Table of Contents — LLVM 5 documentation まだ途中までしかやってないです。Kaleidoscopeという言語の処理系を作っていきます。非常にシンプルな言語です。対話環境で入力されたコードをJITして実行します。 LLVM のバージョンで結構コードが動かないので、バージョンに合わせたチュートリアルを見ると良い。 本文のコードは結構間違っている上に、全部の編集箇所を紹介するわけではないので、最終コードと適宜比較しながらやる。 2章末尾で最初にコンパイルするタイミングで 「clang++ -g -O3 toy.cpp でコンパイルしよう！」とか言ってくるけど LLVM のファイルを include してるのでもっとオプションが必要。clang++ toy.cpp `llvm-config --cxxflags --ldflag

BLAS とは ベクトルと行列に関する積や和などの基本的な操作を提供するライブラリのことっぽい。機能はレベルに分類されるらしい。 Level 1：ベクトル演算 Level 2：行列ベクトル演算 Level 3：行列同士の演算 有名な操作として GEMM （ジェム）がある。GEMM とは General Matrix Multiplication のことで、C = αAB + βC を計算する。 精度を頭につけて識別する。例えば SGEMM は 32bit float、DGEMM は 64bit float。 LINPACK, LAPACK とは 線形方程式や固有値問題などを解くための線形代数のライブラリ。BLAS を利用している。LAPACK は LINPACK の後継。両方 Fortran で書かれている。 BLAS と同様の命名規則が採用されているようだ。 DGESV は double

scikit-learn の問題点 scikit-learn 信者としてはとりあえず scikit-learn の実装を使いたくなるが、scikit-learn の実装はおすすめできないらしい。 -https://www.red dit.com/r/MachineLearning/comments/47kf7w/scikitlearn_tsne_implementation/ （はてなブログはred ditのURLを貼るとbad requestになり投稿できない謎仕様） Besides being slower, sklearn's t-SNE implementation is fine once you realize the default learning rate is way too high for most applications. The definitive bh_t

とりあえず ImageNet 系の論文で、目に入ったものから順々にまとめていきます。情報・ツッコミ歓迎。 前処理・Data Augmentation Mean Subtraction 入力画像から平均を引く。[103.939, 116.779, 123.68] を各ピクセルから引く。VGG はこれ。 Per-pixel Mean Subtraction 入力画像から平均を引く。ピクセル・チャンネルごとに計算された平均を引く。即ち、224x224x3 個の値について個別に平均を計算し用いる。AlexNet 論文から使われており、ResNet もこれ。 Random Crop 256x256 ピクセルに画像をリサイズし、そこから 224x224 のパッチをランダムに取り出す。AlexNet 論文で使われていた。ちなみに Chainer の ImageNet サンプルはこれと Horizonta

stackoverflow.com dot と matmul 2 次元では完全に同一。3 次元以上では異なる挙動をする。 dot は a の最後の軸と b の最後から 2 番目の軸を掛け合わせる matmul は行列の配列だとみなして行列積を計算する @ 演算子 Python 3.5 以降では @ 演算子や @= 演算子が存在する。これは __matmul__ を呼ぶが、numpy では matmul に相当するっぽい。

静的ライブラリとは 静的ライブラリ (static library) は ar コマンドで .o をまとめて作った .a ファイル． libhoge.a が有る時，gcc に -lhoge オプションを与えるとリンクされる． データが全て含まれるので .a ファイルはコンパイル時のみ必要 .a ファイルの中身は .o ファイルの連結のようなものであり，連結時に与えた順番通りに読み込まれる 共有ライブラリとは 共有ライブラリ (shared library) は gcc に -shared オプションを与えて得られる .so ファイル． libhoge.so が有る時，gcc に -lhoge オプションを与えるとリンクされる． 共有ライブラリの動的リンクとは 共有ライブラリは通常は動的リンクされる． .so ファイルの内容は実行ファイルに含まれず，.so ファイルが必要であるということが記

はじめに ネットワーク解析やグラフアルゴリズムの研究者がアルゴリズムを実装した際，動作確認のために最初に実行する toy example をどうするかというのは意外と悩ましい．パスグラフやグリッドグラフのような高い対称性を持つグラフや小さすぎるグラフではいまいち動作に確証が持てない．一方，公開されている実データは最も小規模な Karate Club や Dolphin Social Network 等でも目視には大きすぎる．調度良いサイズの，ある程度非自明な形をしており，アルゴリズムによる出力の意味の解釈がある程度可能であり，できれば愛着が持てるグラフデータが必要とされている． そこで，本研究ではそのような用途に適切なグラフデータとして，「ラブライブ！ School idol project」のキャラクター間のグラフを構築する．データの構築には，pixiv に投稿されている二次創作作品のタ

詳しい資料へのポインタを示しつつ，自分が読んで理解した範囲の簡潔なまとめを書きます． BDD 入門 湊先生の授業が詳しく分かりやすい． http://www-alg.ist.hokudai.ac.jp/~minato/alg2013.html 概念自体 図を一個見れば一発で理解できる DAG で，各中間ノードは変数で，その変数の値に応じて次に進む子を選ぶ．終着点が答え． 構築法 順序付き既約 BDD (ROBDD) を普通作るらしい．重要な性質を持つらしい． 順序付き ＝ 変数が出現してくる順番が全順序 以下の 2 つのルールを適用し続けていれば既約になる（適用順関係なし） 冗長な接点を全て削除 等価な接点を全て共有 実際には，BDD の間の二項論理演算を繰り返して構築する BDD 同士の演算 (Family Algebra) and, or, xor, not, ... みたいな色々な