今日の自然言語処理特論の講義がとても面白かったのでメモ。今日の自然言語処理特論では、最初に言語モデルとしてn-gramのモデルの紹介があって、それの最尤推定の話。次に言語モデルのよさをはかる尺度としてエントロピー*1を元にしたパープレキシティが紹…

wikipedia:en:Rosenbrock_functionという有名らしい関数があるんですが、共役勾配法の動きを見てみるためにこの関数で遊んでみました。結果はこんな感じ。 極端すぎないパラメータだと大域的最適解に行ってくれました。コードも簡単。 f <- function(x) { x1 …

本当は去年みたいなplotをしたいんだけど、面倒(ry。工学基礎 最適化とその応用 (新・工科系の数学)の4.6章で遊んでいる。二次関数の簡単なのをとりあえず。 f <- function(x) { x1 <- x[1]; x2 <- x[2] 3 / 2 * x1^2 + x1 * x2 + x2^2 - 6 * x1 - 7 * x2 } …

誰かが「今日何やったか教えて」と言ってたんだけど、記憶から抜けていきそうになっているのでメモ。Zoutendijkの条件去年はどう役に立つか分かってなかったけど、今年は分かるという。からが得られるんだけど、とが直交しないように選んであげれば、はkを無…

ので、LIBSを指定するとうまくいった。 ./configure --with-charset=utf-8 LIBS='-liconv'

雑誌のファイルから機械学習に投げるための素性作成C++のプログラムを書いているが、時間がかかりまくるのでマルチスレッドにしている。が、ローカル環境ではうまくいくのに、リモートではうまくいかないという困った事態に遭遇。gdb使って死んだところでwhe…

g++ -g hoge.cpp という形で、コンパイルしてからgdbを起動。runしてwhereすると原因に近い場所がつきとめられる、らしい。

自分用メモ。 library(Matrix) setwd("/Users/syou6162/Downloads/data") x <- readMM("k1b.mtx") x[1, 1:10] x <- as(x, "CsparseMatrix")

最近Rを使っていなさすぎて死ぬレベルなので、Rを使うことにした。ただし、C++を通して。RserveというRを叩けるTCP/IPサーバーがあるらしいので、それを使います。主にJavaで使うことを想定されているらしいですが、Javaはもう覚えていないので*1、C++で触り…

DBCLSのバイトでSVM-Light Support Vector Machineを使っていたんだけど、計算が一時間とかでは終わらなくなってきたので、気軽に実験できなくなってきていた。「この素性は効くのかなあ」とか出し入れして実験したい自分としては、気軽に実験できないのは致…

戯れ言。自然言語処理で何かやろうとすると アルゴリズムとデータ構造 IR データ圧縮とか 機械学習 最適化理論 などなど、本当に色々なことを使う。色々勉強するのを大変と感じるか面白いと感じるかで全然違ってくるんだけど、色々工夫のやりようがあってい…