大規模言語モデル (LLM) の学習データに含まれない知識（各社の特有の書類など）を踏まえてLLMに回答させる際に最早必須となってきたRAG (Retrieval-Augumented Generation)。 今回はそんなRAGのSurvey論文を元に、RAGの変遷や構成要素、新たに出てきた技術を俯瞰していきます。 Survey論文へのリンクはこちら arxiv.org RAGとは LLMはそれ単体で回答させると、質問によってはハルシネーションや学習時のデータにはなかった情報を生成時に加味できないといった問題から正しくない回答を生成することが多々あります。例えば世間一般に公開されていない自社の就業規則や業務標準についてをChatGPTに質問しても、正しい回答は得られません。 そのような問題への対応としてRAGが使われます。 「LLM単体で適切な回答を生成できないなら、ユーザーの質問を元に

概要 Sakana AIは進化や集合知などの自然界の原理を応用して基盤モデルを開発することを目指しています。私達の目標は、モデルを自ら訓練し開発することだけではありません。基盤モデルの開発を効率化、高度化、自動化するための新たな手法を生み出すことに挑戦しています。この目標に向けた第一歩として、私たちはプレプリント「Evolutionary Optimization of Model Merging Recipes （モデルマージの進化的最適化）」を公開しました。 このリリースの要点は以下の通りです。 進化的モデルマージという手法を提案します。これは、多様な能力を持つ幅広いオープンソースモデルを融合（マージ）して新たな基盤モデルを構築するための方法を、進化的アルゴリズムを用いて発見する手法です。私たちの手法は、ユーザーが指定した能力に長けた新しい基盤モデルを自動的に作成することができます。既

2023年に東京都立大学で非常勤講師として、学部3年生向けに「機械学習〜推薦システムを題材に〜」というテーマで講義をしました。 90分×3コマ×2日間の計6コマの集中講義で、Streamlitで映画のレコメンドアプリを実際に作ってみるなどの演習も含めたものです。 昨年、大学院生向けに同様の講義を3コマ分していたので、それを拡張する形で、最近話題の生成AIの話も1コマ分用意しました。（昨年の授業資料はこちらにあります。） 推薦システムや生成AI×推薦システムについて興味ある方のご参考になりましたら。 1日目(90分×3コマ) 推薦システムの概要 推薦システム-各推薦アルゴリズム 推薦システムの周辺技術(評価指標について)

はじめにこの記事は「eureka Advent Calendar 2019」24日目の記事です。 こんにちは、Data Analystの @pacocat です！ 私はeurekaには2019年11月に入社したばかりなのですが、毎日楽しく仕事させてもらっています。最近はプロダクト開発のための定性調査の仕組みづくりを手伝ったり、事業分析や組織開発をしていたりと、様々な定量・定性データを活用してどのように事業成長に貢献できるか考える日々です。 前職ではAI PdMとして、ゲームや強化学習領域でのAI活用を推進していました（興味ある方はGDC2019での発表や各種スライド slideshare / speakerdeck をご覧ください）。直近はがっつりAIに関わっているわけではありませんが、趣味で推薦×強化学習分野のサーベイをしていたら面白い話題がたくさんあったので、それらの中からYouTub

What is Raft? Raft is a consensus algorithm that is designed to be easy to understand. It's equivalent to Paxos in fault-tolerance and performance. The difference is that it's decomposed into relatively independent subproblems, and it cleanly addresses all major pieces needed for practical systems. We hope Raft will make consensus available to a wider audience, and that this wider audience will be

1. はじめに Google がChrome/89よりトライアルを開始しているFLoC (Federated Learning of Cohorts)技術に対して、現在多くの批判が集まっています。 批判の内容は様々な観点からのものが多いですが、以前より Privacy Sandbox に対して否定的な見解を示してきたEFFの批判「Google Is Testing Its Controversial New Ad Targeting Tech in Millions of Browsers. Here’s What We Know.」が一番まとまっているものだと思います。 これまで Privacy Sandbox 技術に関わってきた身としては、各種提案の中でFLoCは特にユーザへの注意が最も必要なものだと思っていました。しかし、これまでのド直球なGoogleの進め方によって、FLoCのトラ

はてなアプリケーションエンジニアの id:takuya-a です。 この記事では、Microsoft の検索エンジン Bing で採用された BitFunnel アルゴリズムを紹介します。 昨年のエンジニアアドベントカレンダーでは、文字列検索のアルゴリズム全般について紹介しました（文字列アルゴリズムの学びかた - Hatena Developer Blog）。今年はそのなかでも、インデックス（索引）を使った全文検索アルゴリズムについてのお話になります。 この記事の前半は全文検索の入門にもなっていますので、検索技術になじみがない方にも楽しんでいただけるのではないでしょうか。 逆に、「そんなのもう知ってるよ！」という方は、本題である「BitFunnel アルゴリズムの詳細」から目を通していただければと思います。 この記事は、はてなエンジニア Advent Calendar 2017の21日目の

セッションIDやアクセストークン、はたまた業務上で使う一意の識別子など、いろんなところで一意のIDを生成しなきゃいけないケースが存在します。 そこで世間で使われているIDの生成方法について調べてみました。 選択基準 ID生成における要求として、以下の観点が上げられるかと思います。 生成の速度 大量にデータを短期間で処理し、それらにIDを付与する場合、ID生成そのものがボトルネックとなることがあります。 推測困難性 IDを機密情報と結びつける場合、IDを改ざんされても、機密データが見れないようにできている必要があります。 順序性 採番した順にデータをソートする必要がある場合は、IDがソートキーとして使えないといけません。 それぞれについて各生成手段を評価します。 ID生成の手段 データベースの採番テーブル 採番用のテーブルを作り、そこで番号をUPDATEしながら取得していくやりかたです。古い

去る 7/21(木) に行われた「異常検知と変化検知」輪読会で論文紹介をさせていただきました。 タイトルは「非制約最小二乗密度比推定法 uLSIF を用いた外れ値検出」で、資料は SlideShare に上げています。 非制約最小二乗密度比推定法 uLSIF を用いた外れ値検出 from hoxo_m 本発表で紹介した論文は下記です。 Hido+ (2011) Statistical Outlier Detection Using Direct Density Ratio Estimation 『異常検知と変化検知』「第11章 密度比推定による異常検知」では、密度比推定法として カルバック・ライブラー密度比推定法 KLIEP (Sugiyama+ 2008) 最小2乗密度比推定法 LSIF (Kanamori+ 2009) が紹介されていますが、LSIF を進化させた uLSIF という手

(編注：2020/10/01、2016/07/29、いただいたフィードバックをもとに記事を修正いたしました。) 目次： さまざまな勾配降下法 バッチ勾配降下法 確率的勾配降下法 ミニバッチ勾配降下法 課題 勾配降下法を最適化するアルゴリズム Momentum(慣性) Nesterovの加速勾配降下法 Adagrad Adadelta RMSprop Adam アルゴリズムの可視化 どのオプティマイザを選ぶべき？ SGDの並列化と分散化 Hogwild! Downpour SGD SGDのための遅延耐性アルゴリズム TensorFlow Elastic Averaging SGD 最適化されたSGDに対する更なる戦略 シャッフル学習とカリキュラム学習 バッチ正規化 早期終了 勾配ノイズ 結論 参考文献 勾配降下法は、最適化のための最も知られたアルゴリズムの1つです。これまではニューラルネット

この記事は abicky.net の MeCab ソースコードリーディング私的メモ（形態素解析編） に移行しました

ぼけっと、色々な記事を読んでいたら、 先日AlphaGo（っぽい)レポジトリを紹介していた時に出てきた、 Kerasというモジュールの紹介記事を見かけた。 esu-ko.hatenablog.com aidiary.hatenablog.com 色々なDeepLearningのKeras版レポジトリも元記事位は付いているので、 Chainerで書き直したら勉強になりそ−、とは思うんだけど、 そもそも何かを知っていないとお話にならないので、その調査メモ。 Gaussian-Bernoulli RBM 連続値を処理したいときの制約ボルツマンマシン Chapter 8 ボルツマンマシン - 深層学習本読み会 補助関数法によるGaussian-Bernoulli RBMの 学習アルゴリズムの検討 制約つきボルツマンマシン (RBM; Restricted Boltzmann Machine) の私

id:mamoruk さんより自然言語処理を学ぶ書籍を紹介していただきました。 ありがとうございます。 http://cl.sd.tmu.ac.jp/prospective/readings 自然言語処理 機械学習 ウェブマイニング に分かれており、非常に参考になります。 また、mamorukさんの監修なさっている本が3/5(明日!)発売予定なので、 手にとってみようと思います。 自然言語処理の基本と技術 (仕組みが見えるゼロからわかる) 作者: 奥野陽,グラム・ニュービッグ,萩原正人,小町守,イノウ出版社/メーカー: 翔泳社発売日: 2016/03/05メディア: 単行本（ソフトカバー）この商品を含むブログ (1件) を見る mamorukさん自身の紹介記事はこちら 技術から基本を学ぶコンセプト 以下読んだことある本について感想など。 集合知プログラミング 集合知プログラミング 作者:

Googleの数々の発表から、現在検索順位の決定に使われているアルゴリズムには数百の要素があることが伺えます。 その要素についてGoogleは毎日のように改良を加えており、その中にはパンダアップデートやペンギンアップデートのような大規模なものから、名前のない小さなものまで様々なアルゴリズムが存在します。 今回は独自の調査やGoogle社員の発言から、Googleがアルゴリズムとして検索順位の決定に利用していると考えられる項目を導き出し、発表した記事を翻訳してご紹介します。Google公式のものではなく、あくまで1個人（会社）の調査と考察よるものですが、各要因の信憑性まで書かれており、SEOを実践する上で非常に参考になる内容になっています。 ※なるべく原文の表現を曲げないように翻訳しているため、日本語として読みづらい点等ございますが、ご容赦頂ければと思います。 元記事:Google Rank