こんにちは。タイトルは次の論文から拝借しました; Taking the Human Out of the Loop: A Review of Bayesian Optimization - IEEE Xplore Document という訳で今話題沸騰中(？？？？？？？？)の Bayesian Optimization(ベイズ最適化)についてまとめたいと思います。 また、日本語で「ベイズ最適化」とググるといくつか良い記事が見つかるのでそちらも合わせて参照してみて下さい。いくつかピックアップして、この記事の下の方に”参考記事”としてまとめておきました。 また、佐藤一誠さんの講演動画も導入としてかなり参考になると思います。20分程度なので是非！ www.youtube.com しっかりと数学的なセッティングについて言及した記事があまりないように思われたので、そこにフォーカスして書きたいと思いま

急に蒸し暑くなってきましたね．でぶちんなのでけっこうこたえます．タイトルはちょっと釣り気味．ビビっと来た方は是非論文に目を通してみてください:) 例によって，仲間内でやっている小さな勉強会で論文紹介をしてきましたので，そのご紹介です．ぼくの専門というか興味の中心は自然言語処理なので，ふだんはそっち方面を追っているのですが，勉強会では機械学習方面を中心にいろいろ読んでみてます． 今回は岡野原さんのこのツイートで興味を持った以下の論文を読ませていただきました．名前もかっこいい．ヴァニッシングコンポーネントアナリシス！ ICML2013のbestpaper。データ中の集合（例えば画像中の8の字など）が0になるような生成多項式を求める（=集合のコンパクトな表現）効率的なアルゴリズムを提案し教師有学習時の特徴生成などに使える。すごい http://t.co/DedSoyLaJR — 岡野原 大輔 (

交差点にあるLED信号機をじっくり眺めてみると、ほとんどすべてのLED信号機で、LEDの配置が「規則正しい格子には沿っていない」ということに気づきます。海外ではどうかわかりませんが、少なくとも日本で見かけるLED信号機は、縦と横に一定間隔で規則正しく並べられているのではなく、中央から放射状に（けれど少し不規則に）並んでいることがわかります。そこで、今日は、LED信号機のLED配置のヒミツについて考えてみることにします。 緑・黄・赤といった「丸い信号灯」をLEDを並べて作ろうとするとき、ひとたび「綺麗に丸く見えること」にこだわってしまうと、「縦と横に一定間隔で規則正しく並べるわけにはいかない」ということに気づきます。 普通、信号灯は２００個くらいのLEDを並べて「一個の丸信号灯」を形作っています。２００個くらいのLEDを縦と横に一定間隔で規則正しく並べようとすると、およそ十数個×十数個という

Researchers from the AI Policy Forum — a global effort convened by researchers from MIT — will present their initial policy recommendations aimed at managing the effects of artificial intelligence and building AI systems that better reflect society’s values.

00:41 11/08/04 計算のきまり (　)を使った式の計算には次のようなきまりがあります。 （□ ＋ ○） × △ ＝ □ × △ ＋ ○ × △ （□ － ○） × △ ＝ □ × △ － ○ × △ ... たし算とかけ算には、次のようなきまりがあります。 □ ＋ ○ ＝ ○ ＋ □ （□ ＋ ○） ＋ △ ＝ □ ＋ （○ ＋ △） □ × ○ ＝ ○ × □ （□ × ○） × △ ＝ □ × （○ × △） この考えを使って、くふうして暗算で計算しよう。 小学校算数 5学年 - Wikibooks 分配法則・交換法則・結合法則。 とても当たり前で、当たり前すぎて、ほとんどの人は、もう特に意識することもない法則かもしれません。 でも、プログラミングを知っている僕らは、立ち止まってこの法則の価値に触れることができる。 末尾再帰化 最近のコンパイラは、こんな最適化をします。 i

2011-03-01 (Tue)#1Excel の罫線で木構造を描いてあるドキュメントを眺めて毒づきつつ、ふと 2次元空間に対する正規表現を思いついた。 正規表現での単一文字のマッチは、「現在の位置」にある文字があることを確認した後、現在位置を「右に」一文字ずらすという動作である。 そして、単一文字のマッチ以外に「現在の位置」をずらす機能はない。 とすると、そこを右だけじゃなくて上下左右にずらせるようにするだけで、2次元に拡張できるのではないか? そうするための拡張方法はとりあえずふたつ考えられる。 単一文字のマッチで位置をずらすのは変えず、ただしエンジン内でずらす方向を保持し、その方向を修正する指示をつくる。 たとえば、1次元正規表現の [:lit, "a"] と同じ意味が 2次元正規表現では [:cat, [:dir, :right], [:lit, "a"]] で表現できるようにする

Kodama's home / tips. Rubyによる 超準解析 クラス.(HyperRael,MathExt) 超実数体とは,(大雑把に云えば) 実数体にライプニッツ的な無限小を添加して出来る体のことだ. 微分等, 通常の実数では limit を使う場面で, 超実数体内部の四則演算として直接求めることが出来る. 超準的な計算では, 無限小や∞の強さもわかるので 無限小/無限小, 無限小*∞, ∞/∞ 等の計算が矛盾無く解釈可能となる. ただし単なる体なので, 真の0(無限小でなく) については, 0*∞＝0 で, 0/0 や 1/0 は定義されない. この点は IEEE754 的な浮動小数点計算で 1.0/0.0 で Infinity を返すような気持の悪さは解消できる. Ruby で 超実数(HyperReal) の計算を実行する クラスを作成. 興味がある方は polynomia

★ [Ruby][開発]確実に再現しないバグの修正確認 今日は午後から現実逃避のプログラミング。本当は人事評価とか事務的作業があるのですが、他人の評価は気が重い。 スレッド間の協調に関する障害等タイミングや他のプロセスとの通信や負荷によって発生したりしなかったりするバグの場合、修正してから動作確認の際に充分な試行回数を取って障害が収まったことを保証しなくてはいけません。 このようなバグによる障害発生が確率過程であると仮定すれば、障害の発生確率(p)が決まれば、ベイズ推定により n回の試行で障害再現しない時にバグが残っている確率(p_bug(n))の収束計算ができます。こんな感じかな。 p_bug(n) = (1 - p)*p_bug(n-1) / (1 - p*p_bug(n-1)) これで求める品質水準(ε)を定めて、 p_bug(n) < ε となる最小の n を求めればよいでしょう。

22:56 10/09/04 階乗を求める 去年聞いた中で、私が一番感動した式の話。 k!　=　limn→∞ nk / nCk kの階乗は、「nのk乗 ÷ n個のものからk個選ぶ組み合わせの数」という式で n を無限に大きくしていったときの収束先、である。 特に難しい証明が要るとかではなくて、nCk = n(n-1)(n-2)...(n-k+1) / k! であることを使うと、 limn→∞ nk / nCk = limn→∞ nk k! / n(n-1)(n-2)...(n-k+1) で、n が k に比べて十分大きければ n も n-k+1 もほとんど同じ値なので、 分子も分母もだいたい n を k 個かけているわけでして、 その部分が相殺して、k! が残るという寸法。 （厳密な表現ではないので、気になる人は厳密に証明してください。） 実装 と、この式自体はそんなに不思議ではないのです

21:54 10/06/30 行列と項書換 "Termination of String Rewriting with Matrix Interpretations" という論文を読みました。 これは何かというとつまり、 ICFPコンテストの元ネタとして 紹介 されていた論文です。 れ い 年、 冗談９割で、主催者の専門分野にちなんだ問題が出るに違いない！と叫んでいるのですが、 本当に来るとは思わなかった…。 さて。項書き換え (term rewriting) と呼ばれる研究分野がありまして、 例えばこんな問題を調べています。 文字列に対して、「以下の操作のどれかを好きに選ぶ ＆ 実行する」を繰り返します。 abc という部分文字列を de に書き換える （abc ⇒ de と書きます） ef ⇒ g fgh ⇒ ij どんな文字列からスタートしても、最後には、どの規則も使えない状態 （つ