はてなブックマーク

はじめに どうもどうも、やまぐちです。 今回はTransformerアーキテクチャの中核をなすAttentionについて重点的に解説したいと思います。 Attentionのイメージ・仕組み・コードの三つの側面から解説することでAttentionの理解につながるかと思います。 記事全体を通して、Attentionの説明にはTransformerの文脈を交えながら解説するように心がけましたのでAttention自体の理解は進むはずです！ 解説はできる限り理解しやすいイメージに落とし込んでいます。できる限り正確に解説することを心掛けていますが、もし不正確な点があればご指摘いただけると幸いです。 Transformerの中のAttention まずはよくあるTransformerの全体図です。 (Referenced by https://arxiv.org/pdf/1706.03762) 上記の

TL;DR ベクトル検索だと、複数のステップを踏まないと答えられない質問の検索がむずい 「TomにEmil Eifrém（Neo4jのCEO）を紹介してくれる人は？」とかを検索むずい ナレッジグラフは構造化データと非構造化データをうまく扱えてベクトル検索の苦手を補える 課題はあるけどナレッジグラフは、Neo４jとLangchainで構築できるよ。 はじめに 今回はベクトル検索の苦手分野をどうしても補ってあげたいとおもっている筆者やまぐちが、ベクトル検索の苦手を補ってあげられるナレッジグラフに関してまとめていこうと思います。 少々長い記事ですが、ベクトル検索を労ってあげたいと思っている方はぜひ読んでください。 ベクトル検索の限界 以前の記事の最後にも少しだけ記載しましたが、ベクトル検索は以下の問題点があります。 必要な情報がTop Kのドキュメントには含まれていない可能性がある。 チャンクの

TL;DR CRAGはRAGの改良版です 指定したドキュメントに関連する内容があったら、知識を洗練する！なかったらWeb検索しに行けばいいんやん、関連してるかわからんやったらどっちもやろ！ 論文によるとSelf-RAGなどと比べると精度は基盤モデルに依存しないのがいい点 CRAGの実装にはLangGraphを使うと実装できる 「知識を洗練するフェーズ」と「質問とドキュメントの関連が曖昧な時のフロー」は実装から抜いています。(拡張可) LangChain全体的に型がちゃんとしてないので、ドキュメントしっかりみた方がいい。 はじめに みなさんは生成AI系のプロダクトを作るときには何を使用していますか？ 私はLangChainを使っています。 かなり機能も豊富で、ドキュメントも充実しています。 そんな生成AI系のプロダクトの機能として最近よく耳にするのがRAGです。 RAGは　Retrieval

TL;DR 無駄な買い物チェッカーを作ったよ！緊急度,重要度,欲求度,代替可能度の４軸から無駄かどうかを判断するよ フロントエンドではRemixで開発、フォームライブラリはConformがよかったよ Cloudflareは最高でした。 はじめに どうも、やまぐちです。 エンジニアの皆さん、技術のキャッチアップってどうやってますか？ とりあえずチュートリアルやってみますか？　技術ブログを読むだけで済ましていますか？ この辺りどうもモチベーションが湧かないんですよね。チュートリアルやっても身についている感覚がないんですよ。 最近Xのタイムラインを眺めていると、React界隈では今はRemixが流行りらしいし、ついでにCloudflareも、安い、速い、便利、で個人開発でめっちゃナウくてイケてるらしいじゃないですか。 んー、モダンでナウい、イケてる技術スタックを使えるようになりたい！！ そんな時