はてなブックマーク

どんな人向けの記事？ 医薬品のような難しい検索ニーズにこたえるためにベクトル検索を利用する知見を見てみたい MySQLの全文検索と、ベクトル検索の精度や速度を比較してみたい ベクトルDBとEmbeddingモデルを利用した簡単なベクトル検索の実装方法を知りたい 医薬品の検索ニーズは多様なので、ベクトル検索で解決できるか試したい 1つの医薬品を指す名称は、複数存在するため医薬品検索は意外と面倒な問題です。 例えば、日本人なら頭痛や生理痛、発熱したときに「ロキソニン」を飲んだことがあるかもしれません。この名称は商品の名称ですが、成分の名称は「ロキソプロフェンナトリウム水和物」です。 さらに、ロキソプロフェンには錠剤以外にもテープやパップといった剤形の違いがあります。 そして最後に、ロキソプロフェンを作っている会社は複数あるので、末尾に「トーワ」や「ファイザー」などの組み合わせが存在します。ロキ

どんな人向けの記事？ これからRAGを作ってみたい DifyやLangChainにこだわらず、自分で開発をハンドリングしたい ベクトルDBや埋め込みモデルの選定の勘所をサッと知りたい ここではRAGとは何かのような話題は扱いません。 RAGが、ほぼAI活用の現実的な最適解になりつつある LLMは高度な知的タスクを実行可能である。 そんな理解が世界に広まっていく中で、企業は自らが蓄えたデータをLLMに組み合わせてどう活用するか躍起になっています。これからはビッグデータだ！という時代を経ているため、情報インフラに投資した企業も多く、AIでデータを活用する流れはもはや確定路線と言えます。 この問題を解決する手法として一番最初に思いつくのは、モデル自体を改変するファインチューニングです。しかし、ファインチューニングにはいくつかの実用上の問題があります。ファインチューニング自体に専門知識が必要である

ECサイト上の商品名は、「送料無料」や「ポイント5倍」、「母の日」といった宣伝文句が付加され、本来の商品名が分かりづらくなっています。 これらの不要なキーワードは、自然言語モデルを作成する際の妨げとなり、精度を上がりづらくしている一つの要因となっています。 そこで、本記事では、これら不要なキーワードを効率的に除去する方法について、具体的な手法と事例を紹介します。 データクレンジングの例、LLMオープンモデルを活用したアプローチ、さらにはGoogle Cloud PlatformのVertex AIやGemini-proを用いた解決策について触れます。 3行まとめ ・商品名から頻出単語のリストを作成し、商品名から不要なキーワードを検索して除去する ・オープンモデルでプロンプトを実行し除去する ・Google Cloud Platform のVertex AI、Gemini-proで除去する

どんな人向けの記事？ レビューによって心理的なダメージを受けやすい方 非エンジニアだが、エンジニアチームがどんな機能を作っているか知りたい方 業務が溜まっていて、レビューに割く時間を捻出するのに苦労している方 コピペできるコードも公開します 初回レビューをAIに任せると、いろんなロールの人の役に立つ レビューは得意ですか？ 優秀なエンジニアしかいないチームであれば、PRは1トピックに絞って小さく明確なコミットによって作成され、適切な要約とともに提供されることでしょう。 しかし、実際にはいろいろな制約から、PRが想定よりずっと大きくなってしまったり、関連トピックと異なるコードが混じってしまうこともあります。 実際のところ、大きなPRを適切にレビューするのは難しいことです。また、自分が詳しくない領域のレビューを行わなければいけない機会もあります。 今回の記事は、レビューを作成してくれるAI C

3秒まとめ GoのパフォーマンスはNestJS（TypeScript）の2倍以上!? GraphQLのエコシステムはGo, TSともに充実 GitHub Copilotで、GoのAcceptance Rateが40%を超える体験をした GraphQL全盛の時代に、どの言語を使って開発すべきか 2015年にFacebookにより公開されたGraphQL。日本でもYahooやメルカリなどバックエンドをマイクロサービス化している多くの企業で採用され、近年はフロントエンド開発者にとって魔法の弾丸のように扱われることも多くなりました。 メルカリShopがGraphQL Client Architecture Recommendation社外版を公開していることからもわかる通り、GraphQLの利用に関する知見はかなり蓄積されてきています。 上記Recommendationによれば、BackendはG

3行まとめ Deviseはソルトとハッシュ値をDBに保存している。 pepper(Secret Salt)値はデフォルトでは使われていない。安全性を上げたければ追加したほうが良い。 Deviseを使っていればとりあえず安全そう。 きっかけ pictBLandとpictSQUAREに対する不正アクセスがあり、パスワードがソルトなしのMD5ハッシュで保存されていたことが話題になっています。 Ruby on Railsで広く使われているDeviseはどのようにパスワードを安全に保管しているのかを確認してみます。 背景 Deviseは、1億6000万以上のダウンロードを誇るRails向けの認証ミドルウェアです。 暗号化操作のほとんどが抽象化されているため裏で何が起こっているかを知らないで使っている場合がほとんどです。 Deviseにおいて、パスワードが保存されているストレージのカラム名は encr

まとめ JavaScript系のベンチマーク、mitataのようなリッチなベンチマークをDartでも取りたい シンプルな記法で、リッチな結果を得られるpackage、Hakariを開発したよ！ x倍や棒グラフで測定結果をリッチに確認できるHakariはGood！ JavaScript系のベンチマーク、mitataに痺れる、憧れるゥ！ HonoというNode, Deno, Bunなどで動くJavaScriptフレームワークを開発している @yusukebeさんがよく mitata というベンチマークソフトを使っているのを見かけます。 mitata は簡単なテストを書くようにシンプルに記載できて、かつ結果が美しく、わかりやすく表示されるのが特徴です。クロスランタイムなベンチマークをとれるのがmitataの大きな特徴ですが、単純な書きやすさと、結果の見やすさは目を見張るものがあります。 Dart

まとめ 相性バツグンといわれる、モバイル x gRPCは思ったよりずっと簡単に実装可能 複数言語間でもProtocol Buffersの恩恵により型変換を意識することなくスムーズに開発が進められる。 メソッド、引数の型、引数の返り値の型が自動生成されるのでとても良い RESTful APIにおけるheaderを、表現力の高いMetaDataとして利用し、認証認可等にも使えそう Streamをうまく使いこなせば、ユーザー体験をめっちゃ高くできそう。チャットやゲームなどの双方向通信が比較的楽に実装できるかも どんな人向きでない記事？ NestJSの詳しい実装を知りたい方 Bidirectional streaming, Client streamの詳細実装を知りたい方 モバイル向け通信技術の本格的な選択肢、gRPCを実際に試してみたい 現在、私の働いているMinediaで開発しているサービス群

まとめ Rust製parserは、Dart製parserの2倍程度の速度が期待できる Rustの呼び出しコストとして、1.2ms程度のボトルネックが存在する n回のRust呼び出しは、場合によってはパフォーマンス低下につながる RustとFlutterのアダプタは自動生成できるので実装は非常にカンタン Rustコンパイル用の設定は1回すればずっと使えるが、プラットフォームごとにしなければいけないので結構面倒。 どんな人向けの記事？ FlutterからRustの関数を呼び出す方法を知りたい方 Rustの関数をわざわざ呼び出すべきか、判断基準のヒントを得たい方 Dart vs Rustのスピードテストの実測値をみたい方 Rustは本当に早いのか。Flutterで実際に呼び出してDart実装と比較する つい先日、Stack Overflow Developer Survey 2023が公開されま