はてなブックマーク

この記事は何？ Vespaの準備 Vespaにおけるランキングロジックの実装（rank-profile） ちょっとテクい検索ランキング集 検索結果をランダムに並び替える 検索時の時刻を利用して並び替える 検索リクエスト時にランキングで利用する値を渡す クエリとドキュメントのベクトル表現の内積をランキングに使う 機械学習モデルでランキングする まとめ 参考資料 この記事は何？ 情報検索・検索技術 Advent Calendar 2021 - Adventarの4日目の記事です。 検索システムを開発・運用していると、検索ランキングの精度を改善したくなります。（なりますよね？） ElasticsearchやSolrでは、検索ランキングで使われるデフォルトのスコアとして、検索クエリとドキュメントのフィールドとのマッチ度（BM25）が使われます。 マッチ度だけでなく、ドキュメントの新しさや人気度を考

この記事はランク学習（Learning to Rank） Advent Calendar 2018 - Adventarの1本目の記事です この記事は何？ 「ランク学習」をご存知でしょうか？ランク学習は機械学習の枠組みの１つで、文書の並び順を予測する手法です。 ランク学習について日本語でまとまった資料が少ないので、私の勉強を兼ねてランク学習をざっくりまとめてみたいと思います。 「良い」検索結果と「悪い」検索結果 私たちは日常的に検索サービスに触れていると思います。 例えば、Googleやヤフーといったweb検索を使わない日は無いでしょう。 web検索だけでなく、Amazonを始めとしたECサイトで欲しい商品を探したり、食べログで近場のレストランを探したり…と、検索サービスはありとあらゆるところに存在します。 さて、Googleで「任天堂 switch」と検索してみます。（2018/12/2

この記事はランク学習（Learning to Rank） Advent Calendar 2018 - Adventarの2本目の記事です この記事は何？ 前回の記事でランク学習の導入を紹介しました。 www.szdrblog.info この記事では、実際にランク学習ではどのような学習データを扱うのか、どんな特徴量を使うのか、どんな損失関数を最適化するのかを紹介したいと思います。 ランク学習における学習データ ランク学習における学習データは、よくある分類問題や回帰問題とはちょっとだけ形式が異なります。 前回の記事でチラッと紹介しましたが、ランク学習では「検索キーワード」・「検索キーワードに対応する検索結果リスト」が学習データとして与えられます。 もう少し形式的に言うと、個のサンプルを含んだ訓練データがあり、各サンプルは「検索キーワード」と「検索キーワードに対応する検索結果リスト」のペアです

この記事はランク学習（Learning to Rank） Advent Calendar 2018 - Adventarの15本目の記事です この記事は何？ ランク学習 Advent Calendar 2018 をゴリゴリやってきました。 adventar.org もう書くネタ無い。。。ので、まとめ・ランク学習を勉強するにあたって参考になる文献・資料を挙げて、AdCを締めくくりたいと思います。 ランク学習の気持ち 以下の記事でランク学習の気持ちを紹介してきました。 なんとなくランク学習がどういうものなのか、雰囲気は伝わるんじゃないかなと思います。 szdr.hatenablog.com szdr.hatenablog.com szdr.hatenablog.com szdr.hatenablog.com まずはランク学習触ってみる 私は何か新しいものを学ぶときは、気持ちが分かったらとりあえ

この記事は何？ szdr.hatenablog.com に引き続き、「ベイズ推論による機械学習入門」で紹介されているアルゴリズムを実装・実験していきます。 www.kspub.co.jp 今回は4章の「ポアソン混合モデルにおける推論」で紹介されている、ポアソン混合モデルのためのギブスサンプリング・ポアソン混合モデルのための変分推論を実装・実験しました。 やりたいこと 以下の図で表されるような二峰性の1次元データを考えます。 このデータは、から300個サンプリング、から200個サンプリングした合計500個のサンプルです。 この1次元データをつのクラスタに割り当てる問題をこの記事では考えます。 混合モデルのデータ生成過程を以下のように考えます。 2つのクラスタの混合比率が事前分布から生成される それぞれのクラスタに対する観測モデルのパラメータが事前分布から生成される に関して、に対応するクラス

この記事は何？ 機械学習分野における予測精度の評価指標としてROC-AUCがよく用いられています． ROC-AUCは分類問題で用いられる評価指標ですが，ROC-AUCを直接最適化できるとお得です． 機械学習の一つにランキングを学習するランク学習という枠組みがあり，様々な予測モデルが提案されています． 提案されている予測モデルの一つに，RankSVMというSVMを基にしたランク学習手法があります． O. Chapelleら(2009)によると，関連度が二値で与えられているデータセットに対しRankSVMを適用するとROC-AUCを最適化できると主張しています． そこでこの記事では，RankSVMがROC-AUCをなぜ最適化できるのかを考えてみます． ROC-AUCの求め方 論文中の5.2 Optimization of the AUCにて紹介されている，ROC-AUCの求め方を見てみます．

深層学習を用いた画像認識分野では様々なCNNのネットワーク構造が提案されており，ImageNetデータセット等を用いた予測精度比較が広く行われています． じゃあどのCNNモデルを使うべきなんだろう…と考えていましたが，最近こんなtweetが目に入りました． 代表的なCNNアーキテクチャについて、パラメータ数や実際の演算量・時間、エネルギー消費などを精度との関係とともに検証。純粋に読み物として面白くてさくさく読めるし、肌感覚的にNW構造と計算量の関係を掴んでおくのは今やサバイバル術だしな https://t.co/6ZAEkWXKtu— 水産品 (@sakanazensen) 2017年2月27日 予測精度による比較は広く行われていますが，計算速度やメモリ使用量による比較は見たことが無かったので，tweetで紹介されている論文"An Analysis of Deep Neural Netwo

この記事は何？ 機械学習の応用例としてランキング予測があります． ランキング予測の例としてウェブページランキングがあります．GoogleやYahoo!のような検索エンジンでは，ユーザーが入力したクエリに対して適合度の高い順にウェブページをランキングし，ランキング結果を提示します． ランキング予測結果の評価指標として，Normalized Discounted Cumulative Gain (NDCG) が広く使われています．NDCGは0から1の値を取り，1に近いほど正しいランキング予測結果であることを表します． 実はNDCGには2つの定義があります．この記事ではNDCGの2つの定義を紹介し，それぞれの特徴を比較します． NDCGの定義 NDCGはDiscounted Cumulative Gain (DCG) を正規化した値です． 具体的には，予測ランキングを用いて得られたDCGを，真の

注：この記事の実装は非効率的かもしれません． この記事は何？ マルチタスク学習をニューラルネットワークに適用した研究がいくつか報告されています． 適用例として，Georgeら(2014)の研究では，タンパク質に対する化合物の活性予測にニューラルネットワークを用いたマルチタスク学習を適用しています． また，Xiaodongら(2015)の研究では，自然言語処理のタスクとしてクエリ分類と情報検索の2つのタスクを同時に解くマルチタスク学習を提案しています． 私はDNNを実装する時はChainerを使っているのですが，Chainerでマルチタスク学習を実装した例が見当たらなかったため自分で実装してみました． ネットワーク構造 解くタスクは2つとします．2つのタスクに対応するネットワークが存在し，それぞれのネットワーク間で一部の層を共有するようなネットワーク構造を考えます（下図参照）． 学習の進め方

この記事は何？ 卒論・修論を書き始めるときに知っておくと良い知識を研究室内でまとめていたのですが，恐らく研究室外の方々にも役に立つのではないかと思い公開してみます． 基本的にTeXを使った理系の卒論・修論を想定しています，分野毎に作法が異なる点もあるとは思いますが適宜対応してください． TeXのお作法 このページが分かりやすくまとまっているので，こちらを参照してください． ichiro-maruta.blogspot.jp 半角と全角 句読点 分野によります． 「，」「．」を使う場合はIMEの設定で変更しておくと簡単です． 括弧 日本語文のときは全角括弧を使います． ✕：新しい物質(成分)を発見する． ◯：新しい物質（成分）を発見する．英文のときは半角括弧を使いますが，括弧の外側に半角スペースを置きます． ✕：Support Vector Machine(SVM)is a supervis

(Chainer Advent Calendar 2016 5日目です．この記事はTokyoTechLTで発表したものと同内容のものです．) この記事は何？ 以前Chainer Advent Calendar 2015において，Chainerを用いたRankNet(ランク学習手法の1つ)の実装を紹介しました． 本記事では，RankNetを応用した画像の順序予測を紹介します． やりたいことの概要 RankNetを応用した画像順序予測の概要図を示します． 訓練データとして，既に順序付けされた画像集合を用います． 順序付けの例として，ユーザーの好みによるレイティングが考えられます．クリック率などを使う方法も可能だと思います． 得られた訓練データをCNNに入力し学習します．目的関数は，訓練データ中の画像対の順序が正しく識別できるように設定します(RankNet)． 得られた予測器にレイティング未知