Perceptron training prediction and evaluation for Hadoop reference for implementation : http://static.googleusercontent.com/external_content/untrusted_dlcp/research.google.com/en//pubs/archive/36266.pdf =========================================== 1) DOWNLOAD AND COMPILE: $ git clone git://github.com/agesmundo/HadoopPerceptron.git $ cd HadoopPerceptron $ make #optional: #before invoking "$ make" yo

情報処理学会 第217回自然言語処理研究会 http://www.nl-ipsj.or.jp/NL217program.html This document summarizes a research paper on scaling laws for neural language models. Some key findings of the paper include: - Language model performance depends strongly on model scale and weakly on model shape. With enough compute and data, performance scales as a power law of parameters, compute, and data. - Overfitting is univer

1. The document describes Anchor Graph Hashing (AGH), a method for learning binary codes for approximate nearest neighbor search using graphs. 2. AGH constructs an anchor graph from a set of anchor points and learns binary codes by solving a graph partitioning problem on the anchor graph. 3. AGH has time and space complexities that are sublinear in the number of data points for training and effici

入力\(x\)から出力\(y\)への関数を学習する機械学習の中で、出力が構造を有している問題は構造学習（Structured Output Learning）と呼ばれ、自然言語処理をはじめ、検索のランキング学習、画像解析、行動分析など多くの分野でみられます。 今回はその中でも複数の構造情報を組み合わせても効率的に学習・推論ができる双対分解による構造学習について紹介をします。 # 構造学習についてよく知っているという方は双対分解による構造学習のところまで読み飛ばしてください。 構造学習の導入 構造を有した出力の例として、 ラベル列　（品詞、形態素列の推定、時系列におけるアクションの推定、センサ列） 木　　　　（係り受け解析における係り受け木、構文解析木、談話分析、因果分析） グラフ　　（DAG:述語項構造による意味解析　二部グラフマッチング:機械翻訳の単語対応） 順位付集合（検索における順位

大量のデータから、何か有益な情報を求める問題の多くは最適化問題を解くことに帰着されます． 最適化問題とは与えられた関数fの値を最小（最大）にするような変数xを探すといった問題です。 例えば、機械学習（これを利用する自然言語処理、情報検索など）、画像処理、AI(ロボットの経路制御）、 など多くの分野で最適化問題は登場します。 その中でもオンライン最適化（機械学習の文脈でいえばオンライン学習）と呼ばれる最適化手法は 実用性の高さと実装のしやすさから多く利用されるようになってきました。 このオンライン最適化は近年Regret（後悔）最小化というゲーム理論などで使われていた枠組みで 解析されることが多くなってきました。 今回はこのRegret最小化について簡単に解説してみようと思います。 （機械学習が詳しい人向けに補足すると、VC次元など他の機械学習を解析する手法と比べてRegret最適化の面白い

実装する上ではどうでもいい、言葉の定義の問題のところに足を突っ込みつつあるような気もするけれど、CRFについて調べていたらどんどん混乱してきたので、現在のところの理解をまとめてみる。たぶん、突っ込みどころはいっぱいありますので、突っ込んで頂けると幸いです。 CRFは入力Xと出力Yの組をたくさん与えることで、未知のXに対してもP(Y|X)を計算できるようにするモデルである。ただし、Yは構造を持つ（この構造を持つというのがどう言うことかもややこしくて今調べているのだが、こちらはとりあえず棚上げする）ものとする。 CRFはであるということしか規定せず、自然言語処理ではlinear chain CRFとsemi markov CRFの2つ、特にlinear chain CRFがよく使われている。 linear chain CRFは出力Yが一本鎖の構造になっているところが特徴である。linear c

id:nokunoさんが主宰する第2回自然言語処理勉強会＠東京で"Latent Dirichlet Allocation入門"というタイトルで発表してきました。 内容としては機械学習ライブラリMalletに実装されているLDAのマルチスレッド実装クラスのParallelTopicModelで使われているトピックモデルの技術を紹介するという話でした。 Latent Dirichlet Allocation入門View more presentations from tsubosaka. 本当は文章検索への応用とかの話もしたかったのですが準備に時間が足りず断念