一般社団法人フリーBGM協会は、同協会が展開する「フリーBGMデータベース」について、11月26日（水）より業務利用に限らず全てのクリエイターに対しても同データベースの無償提供を開始することを発表した。 これまで教育機関及び業務においてフリーBGMの利用が予想される放送業界関係者、映像制作会社、ゲーム等の制作者に対してのみ提供されていたフリーBGMデータベース。しかし本発表により、業務利用以外でコンテンツ制作を行う全てのクリエイターも利用することが可能となる。 【プレスリリース】 本日より、全てのクリエイターのみなさまに向け「フリーBGMデータベース」の提供を開始いたします！ 当協会ご賛同作家さまの約1.9万曲の中から、簡単に楽曲を検索することが可能です。ぜひご活用くださいませ！ （ご利用にはユーザー登録が必要です）https://t.co/cl2GImLICl — 一般社団法人フリーBG

大規模言語モデル (LLM) の学習データに含まれない知識（各社の特有の書類など）を踏まえてLLMに回答させる際に最早必須となってきたRAG (Retrieval-Augumented Generation)。 今回はそんなRAGのSurvey論文を元に、RAGの変遷や構成要素、新たに出てきた技術を俯瞰していきます。 Survey論文へのリンクはこちら arxiv.org RAGとは LLMはそれ単体で回答させると、質問によってはハルシネーションや学習時のデータにはなかった情報を生成時に加味できないといった問題から正しくない回答を生成することが多々あります。例えば世間一般に公開されていない自社の就業規則や業務標準についてをChatGPTに質問しても、正しい回答は得られません。 そのような問題への対応としてRAGが使われます。 「LLM単体で適切な回答を生成できないなら、ユーザーの質問を元に

従来の検索エンジン Perplexity.aiの検索 RAGとの関係 perplexity.aiでリサーチするときのプラクティス 英語で検索しよう しっかり調べたい時はPage機能を使う ちょっとした調べ物 今使えるモデル まとめ Perplexity.aiがすごく良かったです。何か知りたいことが出てきたら、Google検索するよりもPerplexity.aiで検索している。 Perplexity.aiは、生成AIを用いた検索エンジンと見なすことができるサービスで、情報収集の効率を劇的に向上させてくれます。ユーザーの質問に対してWebをクローリングし、関連情報を要約し、それらの参照リンクとともに高精度な回答を提供してくれる。 最初にネタバレしておくと、このエントリ自体もかなりの部分をperplexity.aiの要約と回答生成能力に頼りました（Github Copilotにもわずかに頼ってい

World-class neural retriever for maximizing search relevancy.

はじめに みなさんはDBのインデックスを正しく使えていますか？ 私はなんとなく「DBのパフォーマンスを向上するためのもの」という認識はあったのですが、 どのような場面で使うものなのか、逆にどのような場面では使うべきでないのかなど 明確に理解できていませんでした。 今回はそんなインデックスについての理解を深めたいと思います。 インデックスとは インデックスとは、その名の通り「索引」です。 表現の仕方と変えると、(x, a)という形式の配列であるとも言えます。 xというキー値とそれに結びつくaというデータ情報があり、 これを利用することですべてのデータを網羅して見ることなく、 まさに本の索引のように目的のデータにたどり着くことができます。 インデックスはSQLのパフォーマンスを改善するための非常にポピュラーな手段であり、 理由としては下記の3点が挙げられます。 アプリケーションのコードに影響を

それでは以下、簡単なデモを含めながら個別に説明していきます。 1. ハイブリッドサーチ こちらは、性質の異なる複数の検索方式（例えばベクトル検索とキーワード検索）を組み合わせて検索精度を向上させる手法になります。 各検索方式単体の場合に比べ、性質の異なる検索方式を組み合わせ、ある種いいとこ取りをする事で、検索性能の向上が期待できます。 今回はBM25でのキーワードベースの類似度検索と通常のベクトル検索を組み合わせていきます。 BM25について簡単に説明しておくと、文脈や文章構造は完全に無視した上で、文書内の単語を全てバラバラに分割し、文書内の各単語の出現頻度と文書間におけるレア度を加味した特徴量を算出します。 つまり、特定の文書内の各単語の数をカウントしてヒストグラムを作れば、似たような文書には同じような単語がよく出るはずなので(同じようなヒストグラムの形になるので)、類似度が高くなる性質

この記事の主題ではないので簡単に説明しますが、PaaSへのアクセスを閉域化するのがPrivate Endpoint、PaaSからのアクセスを閉域化するのがVNet統合です。 非対応だった以前までの内容 では、登場人物全てが閉域化に対応しているのに、なぜ「Add your data」は閉域化できないのでしょうか。それはAzure OpenAIからCognitive Searchへの通信が執筆時点ではパブリックのみになっているからです。「Add your data」の仕組み図を閉域ネットワーク的に書き換えると以下の図のようになります。 ネットワーク閉域化をしている場合、インターネットからのアクセスを遮断するのでAzure OpenAIからのインターネット経由のアクセスができなくなります。そのため、執筆時点では「Add your data」は閉域化できないということになります。Azure Ope

映画『Winny』の公開に伴い、記憶から消えかけている20年前の諸々の思い出話をする「Winnyとは何だったのか v2.0b7.1」。ここでAki@めもおきば氏が登壇。P2Pの基礎知識とWinnyの特徴について話します。 本セッションの構成Aki@めもおきば氏（以下、Aki@めもおきば）：では「Winnyのネットワークのおもしろさ」ということで話をしたいと思います。ふだん、技術系同人誌を「めもおきば」というサークルで出してるAkiと申します。15分ほどお時間いただきます。よろしくお願いします。 さて、今回の構成ですが、前半でWinnyのネットワークがどういうものだったかをおさらいをしながら、後半ではWinnyがたくさんのバージョンアップを重ねて最終的なかたちに至ったわけですが、そのバージョンアップのダイジェストみたいなものを振り返りながら、Winnyの開発史みたいな感じで振り返っていこうか

画像生成AIで出力したイラストの投稿サービス「MajinAI(まじない)」は、好みの画像を検索ワードやモデル名で絞り込んで検索できるサービスです。イラストを生成する際のプロンプトやモデルデータの参考になりそうだったので、実際に使ってみました。 MajinAI https://majinai.art/ja/index.php 上記のリンクからMajinAIにアクセスすると、画面上部に検索欄、下部にイラスト一覧が表示されます。 検索欄では、イラストのタイトルやプロンプトに含まれる語句を入力して、イラストを検索できます。今回は「christmas(クリスマス)」と入力してから「Search(検索)」をクリックしてみました。 すると、画面下部にクリスマス関連の画像がズラリと表示されます。気になる画像を見つけたら、クリックして詳細画面を表示します。 イラスト詳細画面には、イラストのタイトルやプロンプ

ふくさん @fukusanity 修士の頃「ググったけど出てきませんでした」って助教に相談したら「うそつけ」って言いながら彼もググり始めて「これとかそうなんじゃない？」と見せられたWebページがドンピシャな内容、みたいなことはよくあった。どんな単語でググったか見せてもらうと、やっぱり俺の頭にはない検索用語だった ふくさん @fukusanity なんかその時に「絶望的に違う」とは思わなかったんだけど、やっぱり少し知ってないとその単語は出ないよな〜というような差分だったような気がする。調べながら知識を深めて検索単語をアップデートしながら探す、みたいな動作が必要やね

はてブについて、情報検索したりクエリを投げたりして調べてまとめてみた。自分用メモとして書いたもので、極少数の人しか興味を持たない内容かと思うが、読んでいただければ幸い。 公式等[1・2（参照したページURLを最後に記載。以下同様）]で詳細を確かめられず素人の憶測で説明した箇所がいくつもあり、簡潔明瞭でも網羅的でもない解説だがご容赦を。 トップページホットエントリと新着エントリの一覧への導線がある。 URL1. https://b.hatena.ne.jp/ 1a. https://b.hatena.ne.jp/hotentry/{1}（引数に"all"を入力した場合、1のエイリアス） 1b. https://b.hatena.ne.jp/ctop/{1}（カテゴリトップ[3]が過去に存在していた場合、1aにリダイレクト） 1c. https://b.hatena.ne.jp/hotentr

DuckDuckGo（https://duckduckgo.com）はプライバシーの保護に重きを置いている検索エンジンのひとつである。 特筆すべきは、Bangという機能があって、探しものがとてもはかどる。 たとえば「!a 図書館」（ビックリマーク＋アルファベットのa＋スペース＋検索語）と入力するとAmazonを検索してくれる。 こんな風に「!＋何か」 で特定のサイトのみの検索ができる機能がBangである。 検索エンジンが使えなくなった（クズみたいなサイトが上位に来て、欲しい情報が見つからない等）と言われて久しいが、探すべきサイトにダイレクトで検索することで、この問題のかなりの部分が解決する。 よく使いそうなのは ! （キーワード）　最初の検索結果へ直接ジャンプ !i　イメージ検索 !m　地図検索 !n　ニュース検索 !v　動画検索 !w　ウィキペディア検索 !pdf PDFファイルだけを検

SEO会社・SEO業者の評判は、変わらず最悪です。 私はSEOの専門家として仕事をしていますがまっとうなサービスを提供しているつもりです。独立後7年になりますがお客さまから解約を希望された事は2度しかありません。しかし初対面の方にSEOとして自己紹介すると悪質業者のように扱われることも多いです。それは悲しいとは思いますが「当然」とも感じています。 「当然」といいますか、望ましい事というのが正しいでしょう。いまのSEO会社は悪質な会社の比率が高いままです。SEO会社ガチャを引いても良い会社をひく確率はSSRを引くような確率。SEO会社とみたらまずは疑ってかかるのが正解です。この状況はもう十年以上続いていますし、これからも続くでしょう。 このような状況にどう向き合うべきでしょうか？ 少しでも被害者を減らせればと思いまして、この記事では微妙なSEO会社の事例をご紹介します。 (注:弊社では現在十

ネットで何かの情報を検索しようとすると、多くの場合“まとめサイト”や“Q&Aサイト”が検索結果に表示されてしまいますが、それらのサイトに引っかからない検索サイト「Nyafoo!」が登場しました。 【訂正：2018年2月13日　サイトURLが移転したため、リンク先を移転後URLに変更しました】 Nyafoo! かわいい馴染みのある語感の「Nyafoo!」は、いわゆる「まとめ」と呼ばれるWeb上の情報を集めたキュレーションサイトや、利用ユーザーによる質問と回答が公開された「Q&Aサイト」などが表示されない仕様になっています。 開発したのはNyafooJapan（@nyafoo_japan）さん。開発理由については「Googleがアテにならないときが出てきたため」ということで、自分にとって使える検索サイトを作った結果、上記の「三次情報」サイト群を省くこととなったようです。 例として「猫」で検索し

気になる記事をスクラップできます。保存した記事は、マイページでスマホ、タブレットからでもご確認頂けます。※会員限定 無料会員登録 詳細 ｜ ログイン 月間ユニークユーザー数、884万人、月間ページビュー数、4億6000万（2010年3月）を誇る国内ナンバーワンの料理レシピの投稿・検索サイト「クックパッド」。 日常的に料理をする人はもちろんのこと、たまにしか包丁を握らない人でもクックパッドのウェブサイトを一度は訪れたことがあるのではないか。 2ちゃんねるやTwitterを凌駕する それくらい、クックパッドはレシピの投稿・検索サイトとして不動の地位を築いているように思える。なにしろ、母の日とカミサンの誕生日くらいしか、料理をしない筆者でさえも、クックパッドは何度かのぞき、お世話になったことがあるくらいだ。 ページビュー数の比較でいえば、この4億6000万という数字は、2ちゃんねるや今流行りのT