はてなブックマーク

「入門 機械学習」手習い、6日目。「6章 正則化:テキスト回帰」です。 www.amazon.co.jp 多項式回帰と、過学習を避けるための正則化について学び、最後に正則化を使って書籍の裏表紙の紹介文から人気順を予測します。 # 前準備 > setwd("06-Regularization/") > library('ggplot2') 非線形データの回帰分析 世の中には、直線では関係をうまく表現できないデータがあります。 例えばこんなの。 > set.seed(1) > x <- seq(-10, 10, by = 0.01) > y <- 1 - x ^ 2 + rnorm(length(x), 0, 5) > ggplot(data.frame(X = x, Y = y), aes(x = X, y = Y)) + geom_point() + geom_smooth(method

日本株の日足データをローカルのデータベースに取り込むツールを作ってみました。 github.com Quandl で公開されている日本株の日足データを取得して、ローカルのPostgreSQLに取り込みます。 Tokyo Stock Exchangeデータベースの全データを取り込むので、ETFのデータなども含まれます。 とりあえず、直近500日分のデータを取得するようにしています。 市場が開いている日のデータのみなので、大体2年分です。 未インポートのデータのみ取り込むので、取りこぼしやエラーがあっても再実行すればOK。 毎日cronで実行すれば、最新の日足データが使える状態になるはずです。 DBのテーブル構成は以下。 事前準備 $ git --version git version 1.8.3.1 $ docker -v Docker version 1.10.2, build c3959

Dockerイメージの脆弱性スキャンツール「Clair」 をインストールして、ローカルのイメージをチェックする手順です。微妙にはまったのでメモ。 0.環境 $ cat /etc/redhat-release CentOS Linux release 7.2.1511 (Core) $ docker -v Docker version 1.10.2, build c3959b1 1.PostgreSQLをインストールして起動 $ docker pull postgres:latest $ docker run --name postgres -p 5432:5432 -e POSTGRES_PASSWORD=<パスワード> -d postgres 2.clairをインストールして起動 $ mkdir ./clair_config $ curl -L https://raw.githubuse

Docker Hub の Automated Builds を使うと、GitHub または Bitbucket の Dockerfile の変更を検知して、Docker Image を自動ビルドすることができます。 レポジトリへのコミットを検知して、Docker Hub の Docker Image を自動でビルドします。 タグやブランチの追加を検出して、自動でタグ・ブランチ名をTAGとした Docker Image を作ることも可能。 一通り設定を試してみたので、メモです。 unagenau/docker-jiji2 に配置している Dockerfile を自動ビルドするようにしてみました。 Docker Hub のアカウントがない場合は、こちらから作成してください。 1. Docker Hub のアカウント と GitHubアカウントとを連携させる まず初めに、Docker Hub の

「入門 機械学習」手習い、3日目。「3章 分類:スパムフィルタ」です。 www.amazon.co.jp ナイーブベイズ分類器を作って、メールがスパムかどうかを判定するフィルタを作ります。 分類器の仕組み 1) 以下の単語セットを作成 (a) スパムメッセージに出現しやすい単語とその出現確率 (b) スパムメッセージに出現しにくい単語とその出現確率 2) で作成した単語セットを元に、メール本文を評価し、以下を算出 (a2) メールをスパムと仮定した時の尤もらしさ (b2) メールを非スパムと仮定した時の尤もらしさ 3) a2 > b2 となるメールをスパムと判定する という感じで判定を行います。 必要なモジュールとデータの読み込み > setwd("03-Classification/") > library('tm') > library('ggplot2') # テスト用データ # 分

ReactとCordovaを使って、ブラウザ向けのWebUI + Androidで動くスマホアプリ を提供するサービスを、一人で作ってみた話です。 サマリー 作ったもの 最大の課題:作業量 一人で作りきるために意識したこと 取り組み1: Cordovaを使って、Web UI/スマホアプリのコードを共通化する 取り組み2: レイヤードアーキテクチャを採用し、共有できるコードを最大化する 取り組み3: ユニットテストを書く まとめ 作ったもの jiji2.unageanu.net 自分だけの取引アルゴリズムで、誰でも、いますぐ、かんたんにFX自動取引を開始できる、システムトレードフレームワークです。 アルゴリズムの作成、バックテスト、リアル口座での自動取引まで、これ一つで可能。 取引アルゴリズムはRubyで記述。メール送信や取引タイミングのPush通知も、APIを呼び出すだけで実現できます。

Figaro は Rubyアプリ用のシンプルな設定値管理ライブラリ です。 github.com 設定ファイル(YAML)の値を読み込んで、アプリから参照できるようにします。 設定ファイルは1つ。その中に、環境(development,production,test)ごとの設定も書く形。 アクセス時のインターフェイスに ENV を使うのが特徴。 ENV を 拡張し、設定ファイルから読み込んだ値も ENV['HOGE'] で参照できるようにしてくれます。 なので、環境変数で設定値を管理するやり方と親和性が高い。 Heroku環境では、このやり方が主流になっているようです。 同様の機能を提供するライブラリに、 Dotenv もあります。違いはざっくり以下の3つ。 違い Figaro Dotenv 設定ファイルの形式 YAML 独自のKey-Value形式 環境ごとの設定の切り分け 1つのYAM

Ace とは? Ace は、Webアプリケーション向けのリッチなコードエディタです。 シンタックスハイライトや正規表現検索に対応した高機能なコードエディタを、Webアプリにさくっと組み込めます。 機能一覧: (Aceのサイトより) Java,Ruby等を含む、110言語のシンタックスハイライトに対応 自動インデント マルチカーソル 正規表現での検索/置換 関数やクラスの折り畳み機能(Code folding) 「Ctrl + /」での一括コメント ..etc.. おお、なんかすごい高機能だ。 Reactに組み込んで使う React-Ace を使います。 $ npm install react-ace jsのソースは以下。 import React from 'react' import AceEditor from 'react-ace' // webpackで統合するので、必要なテーマや

HTTPサーバーUnicornを使っていてドはまりしたのでメモ。 主に、Unicornで動かすRackアプリでの変数スコープとpreload_appについて。 サマリ Uncornは、RackアプリケーションのためのHTTPサーバーです。 HTTPリクエストを、メインプロセスからforkした子プロセスで処理するアーキテクチャが特徴。 スレッドとかは使いません。 forkした子プロセスは、それぞれ別のメモリ空間を持つので、 HTTPリクエストの処理間で、状態(変数の値)が共有されません。 ある処理で変数の値を変更しても、別の子プロセスで処理しているHTTPリクエストでは変数値は変わりません。 ただし、子プロセスが同じ場合は、状態が引き継がれます。(処理が終わった子プロセスは、次のHTTPリクエストで使いまわされます) 状態が共有されないので、スレッドセーフティを考慮した実装にする必要もありま

今さらですが、OANDA Japan から FXトレードAPI が提供されているのを発見。 www.oanda.jp レート情報の取得から、取引、建玉情報の取得などのFX 取引に必要なAPI一式が提供されています。 初期費用、月額利用料金は無料。ただし、口座残高が25万円以上必要です。 本物の口座を使うLive環境のほか、デモ口座のアカウントで使える Practice、アカウントなしで試せるSandbox環境も提供。 REST APIの他、Java/FIX版のAPIも有り。 機能もかなり充実してます。本格的なトレードアプリも作れるんじゃないかな。 REST APIだけど、ストリーミングでのレートデータ配信に対応 Transfer-Encoding: chunked で配信する仕組みで、ポーリングなしでリアルタイムなレートデータを取得できます。 OAuth 2.0での認証に対応 サードパーテ

追記(2015-12-01): FXシステムトレードフレームワーク「Jiji」の新バージョンをリリースしました! jiji2.unageanu.net 使ってみて、ご意見など頂けるとうれしいです。 ContainerJSのメンテがひと段落したところで、次は jijiです。 初版をリリースしてから6年近く。いい加減 ruby2.x には対応しないとなー、今作るならこんな風にするかなー、というネタも入れて構想をまとめてみました。 こんな機能も欲しいとかあれば、コメントなどでご意見いただければ嬉しいです。 すでに少し実装しているので、反響があったらGitHubにPushするよ!! スマホ対応と、エージェントとのインタラクション スマホに対応。モバイルファーストに。 外出先でも、スマホから手軽に取引状況をチェックできるようにする。 バックテストの開始やテスト結果の確認もスマホから空き時間にできるよ

JavaScriptのDate型では、タイムゾーンを外部から指定できない JavaScriptのDate型は、タイムゾーンの情報を持ってはいますが、APIで外から変更することはできません。 getTimezoneOffset() はあるけど、setTimezoneOffset(timezone) はありません。 getTimezoneOffset() の値は実行環境のタイムゾーンになります。 getHours()やgetMinutes()はローカルのタイムゾーンにおける時刻表現を返すので、実行環境によって結果が異なり、問題になる場合があります。 Dateを表示用の文字列に変換する処理のテストを書いていたら、CI環境(CircleCI)で動かしたときに結果が違ってエラーに。 変換APIの仕様としては、「実行環境に合わせた時刻表現を返す」のが期待の動作なので、動きとしては間違っていないのですが

Cordova のお試しということで、 Cordova + React.js + Material UI で Material Design な Android アプリのサンプルを作ってみました。 HTML+CSS+JavaScript でネイティブアプリが作れるCordova ですが、やはり遅いという話をよく耳にするので、実際どうなのか確認してみるのが目的。 使えそうなら、フロントはJavaScriptで書いて、せめてモデル層だけでも共通化したい。 UIは Material Designにしたいので、 Material UI フレームワークを使ってみました。 Material UI は、Material Design を実装したフレームワークです。 Navigation Drawer や Action Bar といったUIパーツを、React コンポーネント + LESS で提供していま

npmの基本的な使い方のまとめです。忘れたときに見返す用。 npmのインストールから、モジュールを取ってきて使うところまで。 環境は、CentOS7です。 インストール node.jsをインストールすると、一緒に入ります。 ここを参考にソースからインストールしました。 $ sudo yum groupinstall 'Development tools' $ wget http://nodejs.org/dist/v0.12.0/node-v0.12.0.tar.gz $ tar xvf node-v0.12.0.tar.gz $ cd node-v0.12.0/ $ ./configure --prefix=/usr/local $ make $ sudo make installバージョンを確認。 $ node -v v0.12.0 $ npm -v 2.5.1 モジュールのインストー

おとついの不具合の対応案として挙げた「外部結合を使う案」と「サブクエリを使う案」でどっちが早いか試してみた。 環境/条件等 DBはMySQLではなく実運用で使うDB2を使用。 テーブルは以下。おとついのサンプルからカラムを少し増やしてます。 create table A ( id BIGINT NOT NULL GENERATED AS IDENTITY, a VARCHAR(20) NOT NULL DEFAULT '', b VARCHAR(20) NOT NULL DEFAULT '', c VARCHAR(20) NOT NULL DEFAULT '', PRIMARY KEY(id) ) IN test_32k create table B ( id BIGINT NOT NULL GENERATED AS IDENTITY, a_id BIGINT NOT NULL, a VA

任意の長さの文字列を返す式をさくっと作成したい。 その1 String str = new StringBuilder() {{ for(int i=0;i<100;i++) append("a"); }}.toString(); できそうでできない。finalですか、そうですか。 その2 String str = new String( Arrays.fill( new char[100], 'a' ) ); これもだめ。そこcharの配列返すだろー、常識的に考えて! その3 その1の変形。 String str = new Object(){ StringBuilder s=new StringBuilder();{ for(int i=0;i<100;i++) s.append("a"); } public String toString(){ return s.toString()

諸々の事情により、仕事で使うツールをperlで書くはめになったプログラマの記録です。 その1 my $flag=false; $ perl -w test.pl Unquoted string "false" may clash with future reserved word at test.pl line 1.true/falseはリテラルにあらず。Javaとは違うのだよ、Javaとは。 その2 my $str = "a"; if ( $str == "a") { # .. 略 } $ perl -w test.pl Argument "a" isn't numeric in numeric eq (==) at test.pl line 2.え?まさか「str.equals("a")」?とか一瞬思ったのは秘密だ。 その3 if ( $str =~ /a.*/ ) { # ..略 }

resqueは非同期処理の仕組みを提供するライブラリです。 Webアプリで、画像変換とかメールの一括送信のような重たい処理を行うときに使ったりします。 Railsに組み込んで使うこともできる模様。 複数ノードでの分散処理にも対応。 管理コンソールがついているので、処理ノード(worker)の状態や、積まれた処理の数を簡単に確認できるもポイント。 サンプルのタスクを作って、複数ノードで分散処理するところまで試してみました。 構成 docker上に構築します。用意したコンテナは以下。 redis resqueではバックエンドにredisを使います。 resque-manager resqueの管理コンソール(webアプリ)を動かすコンテナ resque-console resqueで行わせる処理(job)を置くコンテナです。 resqueへの処理の登録もこのコンテナから行います。 resque

Knockout + ContainerJS + Require.js で テスタブル にToDoリストを作るチュートリアルです。 ポイント MVVMアーキテクチャでテスタブルに MVVMアーキテクチャを採用し、View(HTML/CSS)とViewModel,Modelを分離。 ViewModel、Modelは HTMLに非依存となるため、単体テストが可能になります。 オブジェクトの生成と依存関係を、DIコンテナで一元管理 DIコンテナを利用して、ViewModel、Modelの生成と関連付けを自動化。 コンポーネント間の結合を疎にでき、テスト時のモックへの差し替えも簡単にできるようになります。 JavaScriptソースはクラスごとに分割管理 1ファイル200行超えたらメンテナンスとか無理ですよね! ということで、ソースファイルはクラスごとに分割管理します。 ソース間の依存関係解決と読

Power Shellスクリプトの基本的な書き方まとめ。 形式 拡張子は「.ps1」。 スクリプトの中身は、基本的にはPower Shellコマンドの羅列でOK。 「#」 以降がコメント。 例えば、「hello world.」を表示するだけのスクリプト(echo.ps1)であれば、以下のような感じになります。 # これはコメント echo "hello world." 実行 事前に「Set-ExecutionPolicy RemoteSigned」として、ローカルの任意のスクリプトの実行を許可しておくこと。 詳細はWindows PowerShellコマンド＆スクリプティング入門（後編）- PowerShellスクリプティングの第一歩を参照。 後はスクリプトのあるディレクトリに移動し「.\echo.ps1」とかすれば実行できます。 以下は、↑の「echo.ps1」を実行した結果です。 PS

夏休みの宿題ということで、作成してから長らくメンテナンスしていなかった ContaienrJS の新版をリリースしました。変更点は以下です。 新機能 : モジュールの非同期遅延読み込みに対応 require.jsと連携し、コンポーネント(=コンテナ管理下のオブジェクト)が実際に必要とされるまで、そのJavaScriptソースの読み込みと評価を遅延します。 ユーザーがボタンを押したらダイアログを表示するようなシーンで、ボタンが押されたタイミングでダイアログクラスをロードしてインスタンスを作成するといった制御が容易に実現できます。 ↑これに伴い、 コンポーネントの取得が非同期になりました。 Deferredを介してインスタンスを得るようになります。 非同期化のため実現できなくなった一部の機能(Type指定でのコンポーネント取得とか)を整理して削除しました。 ダウンロード ダウンロードは以下より

指定されたコンテキストでのローカル変数の一覧(名前と値のハッシュ)を取得する関数を書きました。戦略は以下です。 「eval( "local_variables", binding )」でbindingでのローカル変数名一覧を取得。 Kernel#local_variablesは現在のスコープで定義されているローカル変数名の配列を取得する組み込み関数です。 名前を元に、「eval( <名前>, binding )」で値を取得して返す。 #bindingのコンテキストでのローカル変数の一覧(名前と値)を取得する。 def get_local_variables( binding ) eval( "local_variables", binding ).inject({}){|h,n| h[n] = eval( n, binding ) h } end サンプル。 def foo a = "a"

シェルスクリプトでパス文字列からファイル名／ディレクトリ名／拡張子を抽出するより。bashの「変数展開」を使うと、ファイルパスからディレクトリパス部分をさくっと取り出せます。具体例は以下。 $ path=aaa/bbb/ccc.bin $ echo ${path%/*} aaa/bbb 変数展開「${<変数名>%<パターン>}」で「変数の末尾がパターンにマッチする場合、マッチした部分を削除」できるので、 パターンで「/*」を指定することで、ファイル名部分を除外したディレクトリパスが取得できる という仕組みです。 なお、Bashシェルスクリプト/特殊な変数展開によると「bash」で追加された機能とのことなので、他のshでは使えないかもです。ローカル環境で↓を試して、 $ sh sh-2.05b# path=aaa/bbb/ccc.bin sh-2.05b# echo ${path%/*} a

ScalaByExample - Example4.2 Parametersを読みました。 引数を受け付ける関数の定義 「def <関数名>(<仮引数:引数型..>) : <戻り値の型> = ...」として、引数を持つ関数を定義できます。 // 「def <名前>(<引数>):<戻り値型> => ...」で引数を受け取る関数を定義できる。 def foo(i:int):int = 3*i println( foo(3) ) // 9 // ↓ちなみにさすがにこんなことはできない // val b(i:int);int = 3*i まぁ、普通ですね。 引数の「値渡し」と「参照渡し」 引数には、「値渡し」と「名前渡し」があります。 値渡し 関数の実行前に引数が評価され、その値が関数に渡される渡し方。Javaなんかはこれしかない。 ○引数の評価が1回だけ行なわれるため、関数内で引数を複数回使って

日付とタイムゾーンのメモ。 Calendarにはタイムゾーンがある。カレンダーを使ってDateを作成するときにタイムゾーンは重要。 Dateにタイムゾーンはない。「1970 年 1 月 1 日 00:00:00 GMT からのミリ秒」がすべて。 // タイムゾーンの違う2つのカレンダーを作成。 Calendar utc = Calendar.getInstance( TimeZone.getTimeZone( "UTC" ) ); Calendar jst = Calendar.getInstance( TimeZone.getTimeZone( "JST" ) ); System.out.println( "\n各カレンダーのタイムゾーン" ); System.out.println( " utc: " + utc.getTimeZone() ); System.out.println(