ChatGPTに調査エージェント機能　o3でWeb検索する「Deep Research」　人が数時間かける調査作業を数十分で 米OpenAIは2月3日、ChatGPTに調査エージェント機能「Deep Research」を追加したと発表した。搭載するのは、現在同社のフラグシップモデルであるo3をWebブラウジングとデータ分析に最適化したモデル。人間が数時間かけて調査する作業を数十分で完了できるとしている。まずは月額200ドルの「Pro」プランユーザー向けに同日から開放。続けて、「Plus」と「Team」のユーザーにも開放する。

こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） RAG（検索拡張生成：Retrieval-Augmented Generation）で正しい情報をユーザーに提供する際に特に重要になるのが検索精度です。 そして、検索精度を上げる方法のひとつが「リランク」です。 リランクを行い、検索で取得した結果を関連度で並び替えなおすことで、ユーザーの求めている情報を回答しやすくなります。 そんなリランクを行うモデルがAmazon Bedrockに追加され、 Bedrock Knowledge Baseと組み合わせて使用できるようになりました。 従来は自前でモデルをホストする、など手間がかかりましたが、Knowledge Baseへ

AppleはiOS 18とmacOS Sequoiaで、写真に写った建物やランドマークを自動認識する「拡張ビジュアル検索」を導入しています。この拡張ビジュアル検索はユーザーに知らされることなくデフォルトで有効化されており、データをAppleのサーバーと照合する機能であることから、ソフトウェアエンジニアのジェフ・ジョンソン氏が警鐘を鳴らしています。 Apple Photos phones home on iOS 18 and macOS 15 https://lapcatsoftware.com/articles/2024/12/3.html The internet is full of experts https://lapcatsoftware.com/articles/2024/12/4.html Is your iPhone sharing photos data with App

大手検索エンジンのGoogleはオンライン上の著作権侵害に取り組んでおり、デジタルミレニアム著作権法(DMCA)に基づく権利者からの削除リクエストに従って、違法なコンテンツをGoogle検索の結果から削除しています。著作権や海賊版に関するウェブメディアのTorrentFreakは、「2024年の夏以降にGoogleが受け取った削除リクエストの半数以上が、たった1つの企業から送信されたものだった」と報じました。 More Than Half of All Google Search Takedowns Now Come from Link-Busters * TorrentFreak https://torrentfreak.com/more-than-half-of-all-google-search-takedowns-now-come-from-link-busters-241230/

皆さんこんにちは Acroquestのデータサイエンスチーム「YAMALEX」のチームリーダ、@tereka114です。 YAMALEXチームでは、コンペティションへの参加や自社製品開発、技術研究などに日々取り組んでいます。 今年も、アドベントカレンダーとして、9つの記事を本ブログで投稿しました。 本記事では、今年の記事の傾向や、私個人が特に面白いと感じた記事を紹介します。 本ブログの今年のアドベントカレンダー記事投稿傾向 特に読んで欲しい記事3選 ElasticsearchでLIKE検索のような部分一致検索を高速に実現する方法 PDFドキュメントを画像のまま検索できるColQwen2でマルチモーダル検索を試す vLLMを利用したLLM推論高速化テクニック 最後に 本ブログの今年のアドベントカレンダー記事投稿傾向 今年は生成AI関係（主にBedrock）とElasticsearchの記事を

こんにちは。 Acroquestのデータサイエンスチーム「YAMALEX」に所属する@shin0higuchiです😊 YAMALEXチームでは、コンペティションへの参加や自社製品開発、技術研究などに日々取り組んでいます。 はじめに 近年、生成AIの発展により、RAG（Retrieval-Augmented Generation）が注目を集めています。RAGは既存の知識ベースから関連情報を検索し、それを基に生成AIが回答を生成する手法です。本記事では、多くの企業ですでに利用されているElasticsearchを使って、シンプルなRAGシステムを構築する方法をご紹介します。 RAGの基本概念 RAGはおおまかに以下の3つのステップで構成されています： 1. 知識ベースの構築（Indexing） 2. 関連情報の検索（Retrieval） 3. LLMによる回答の生成（Generation）

こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） この記事は Amazon Bedrock Advent Calendar 2024 17日目の投稿です。 re:Invent2024 ではたくさんの新機能が発表されて、あんなこともできるようになった、こんなことも……と興奮が止まらない日々です。 今回はそんなre:Inventで発表されたAmazon Bedrock Knowledge Baseの新機能の一つである、クエリフィルター自動生成を試してみました。 aws.amazon.com 今回試した構成 1. はじめに 1.1. Amazon Bedrock Knowledge Baseとは 1.2. ベクトル検索の欠

この記事は Elastic Stack (Elasticsearch) - Qiita Advent Calendar 2024 - Qiitaの11日目の記事です。 はじめまして。テクニカルコンサルタントの江見と申します。 普段はElasticsearchに関するコンサルティング業務に携わっております。 業務の中で、RDB（MySQLやPostgreSQLなど）の検索機能に関する課題として、「LIKE検索の速度が遅い」という声を多くいただきます。 特に、大量のデータを扱うシステムでは、LIKE検索が原因でパフォーマンスが低下し、検索レスポンスの遅延が問題となることが少なくありません。その解決策として、RDBからElasticsearchへの移行を検討されるケースが増えています。 Elasticsearchは、高速で柔軟な全文検索が可能な強力な検索エンジンです。ただし、その性能を十分に引き

こんにちは。テニスしすぎて日焼けがすごいSsk1029Takashiです。 私は普段、生成AIを活用したRAGソリューションの開発をしているのですが、RAGでは特に検索部分の調整が重要になります。 今回はその検索の中で出てくるリランクに焦点を当てて、ベクトル検索と比較してどのような特徴があるのかというところを、検証を交えて解説していきます。 概要 RAGの検索部分では、よくベクトル検索が利用されます。 理由としては、入力が基本的に質問形式になりキーワードで入力されることが多い通常の検索よりも適している、などいくつか考えられます。 ただし、実際にRAGを試してみるとわかりますが、RAGシステムではベクトル検索だけでは検索精度の面で苦労することも多いです。 そこで解決方法の一つとして考えられているのが、ベクトル検索とリランクとの併用になります。 今回は、なぜRAGはベクトル検索だけだと苦労が多

こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 皆さんは、「前のプレゼン資料に使った、犬の画像はどこいったかな？あの画像が欲しいので、探してくれないかな？」と無茶振りされたことはありませんか？ そんな時でも、「舌を出して喜んでいる」と検索すれば画像がヒットし、こんな無茶振りにも応えることができるシステムを Amazon Kendra （以下、 Kendra ）で構築しました。 舌を出して喜んでいる犬 ちょっと待って Kendra は機械学習を利用した検索サービスで、ウェブサイトや S3 に保存したドキュメントなどをもとに、適切な検索結果を返します。 しかし、 Kendra で検索できるのはテキストだけで、画像を S

こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 皆さんは、飼っている猫が寂しそうだから兄弟みたいな犬を連れてきてあげようかな、と思ったことはありませんか？ 私は猫も犬も飼ったことがないので何とも言えませんし、なぜ犬かはさておき、マルチモーダル検索を使えばそんな要望にも応えることができます。 茶トラにはレトリーバーがお似合い 概要 マルチモーダル検索 Titan Multimodal Embeddings Pinecone 構成 Titan Multimodal Embeddings でベクトル化する Pinecone で類似画像を検索する できること テキストでの検索 画像での検索 カテゴリを指定した検索 処理時間