皆さんこんにちは Acroquestのデータサイエンスチーム「YAMALEX」のチームリーダ、@tereka114です。 YAMALEXチームでは、コンペティションへの参加や自社製品開発、技術研究などに日々取り組んでいます。 今年も、アドベントカレンダーとして、9つの記事を本ブログで投稿しました。 本記事では、今年の記事の傾向や、私個人が特に面白いと感じた記事を紹介します。 本ブログの今年のアドベントカレンダー記事投稿傾向 特に読んで欲しい記事3選 ElasticsearchでLIKE検索のような部分一致検索を高速に実現する方法 PDFドキュメントを画像のまま検索できるColQwen2でマルチモーダル検索を試す vLLMを利用したLLM推論高速化テクニック 最後に 本ブログの今年のアドベントカレンダー記事投稿傾向 今年は生成AI関係（主にBedrock）とElasticsearchの記事を

JOURNALについて データアナリティクスラボ株式会社では、ITやデータサイエンスに関する技術の研究活動を行っています。このブログでは、研究活動で得られた知見や検証結果についての情報を発信します。 本ブログで提供される情報は、可能な限り正確かつ最新の情報であるように努めますが、必ずしもその正確性を保証することはできません。場合によっては誤情報が含まれたり、最新の情報ではない可能性もあります。予めご了承いただけますようお願い申し上げます。 はじめに データソリューション事業部の宮澤です。今回はLLMのモデルマージ技術について解説します。モデルマージとは、複数のモデルのパラメータを何かしらの形で合成することによって新たなモデルを構築する技術のことを指します。この手法を活用することで、事前学習やファインチューニングのように、複雑で計算量の大きい処理を伴うことなく、高性能なモデルを効率的に構築す

こんにちは。データサイエンスチームYAMALEXの@Ssk1029Takashiです。 完全に年末ですが、最後まで油断せずに年を越したいですね。 このブログは、LLM・LLM活用 Advent Calendar 2024の25日目になります。 qiita.com 今年は1年間RAGを扱う多くの事例に触れさせていただきましたが、どこでも難しいのが図や画像が使われているドキュメントですね。 ただのPDFであれば、pdfminerなどのライブラリを使用して文字を読み取り検索すればよいですが、画像が使われるとそう簡単にもいきません。 画像部分からはOCRを使って文字を取り出すなど、工夫が必要になります。 今回はドキュメントを画像にした状態で検索可能にするColQwen2というモデルを使って日本語ドキュメントの検索を試してみます。 ColQwen2とは 実験 環境 PDFドキュメントのEmbeddi

大規模言語モデル(LLM)を用いたAIは、驚くほど自然な文章やリアルな画像を生成できる能力を備えている一方で、危険なことに回答したり不適切な画像を生成したりできないように、セキュリティロックがかかっていることがほとんどです。しかし、意図的にLLMをだまそうと試みてロックを回避するジェイルブレイク(脱獄)の方法もしばしば話題になります。GoogleのAIチームでコンサルタントを務めた経験もある技術者のマット・ウェッブ氏は、特別なテクニックを使わなくても「ちょっとずつAIの思考をずらす」ことによるジェイルブレイクの例を解説しています。 Narrative jailbreaking for fun and profit (Interconnected) https://interconnected.org/home/2024/12/23/jailbreaking LLMには、爆弾の作り方といった

2024/12/24 完全にオープンな約1,720億パラメータ（GPT-3級）の大規模言語モデル 「llm-jp-3-172b-instruct3」を一般公開 ～GPT-3.5を超える性能を達成～ 大学共同利用機関法人 情報・システム研究機構 国立情報学研究所 (NIIエヌアイアイ、所長：黒橋くろはし 禎夫さだお、東京都千代田区) の大規模言語モデル研究開発センター（LLMC）は、主宰するLLM勉強会（LLM-jp）の活動の中で、約1,720億パラメータ(*1)（GPT-3のパラメータ数と同規模）の大規模言語モデル（LLM）を2.1兆トークンの学習データを用いてフルスクラッチで学習し、同モデルを「llm-jp-3-172b-instruct3」として一般公開しました。学習データまで含めすべてオープンなモデルとしては世界最大規模です。本モデルは言語モデルの日本語理解能力を測るベンチマーク 「

生成AIを活用した業務改善をしたいと考えても、 「セキュリティ上の懸念から会社にNGを出されている」 「ランニングコストを負担できない」 といったケースもあると思います。 そこで注目されるのが、ローカル環境で動作するLLMとツールです。 この記事では、ローカルLLM（Ollama）とローカルDifyを組み合わせて、完全にローカル（Mac）で動作するチャットエージェントを構築する方法をご紹介します。プライバシーを守りながら、業務効率を最大化するヒントをご紹介します！ ローカルLLMの利点ローカルLLMとは、クラウドに依存せず、自分のPCやオンプレミスのサーバーで動作する大規模言語モデルのことです。以下のような利点があります。 1. データセキュリティの確保企業データや機密情報を外部クラウドに送信する必要がないため、情報漏えいのリスクを最小限に抑えられます。特に、厳しい情報管理が求められるケー

はじめに データソリューション事業部の力岡です。 近年、大規模言語モデル（LLM）を利用する機会は増加しており、GPTやClaudeといったクローズドなモデルだけでなく、自身の環境でオープンソースのLLMを活用したいと考える人が徐々に増えてきています。しかし、その場合に課題となるのは、推論速度の遅さや計算資源の制約です。 本記事では、LLMの推論速度を大幅に向上させることができるライブラリ「vLLM」について紹介します。さらに、vLLMの主要技術であるPagedAttentionやバッチ処理手法についても簡単に解説していきたいと思います。推論速度や計算資源に課題を感じている方は、ぜひ本記事を参考にしてください。 vLLMとは vLLMは、LLMの推論を高速化するためのオープンソースライブラリで、Pythonで利用することができます。通常、LLMの推論は多くの計算資源を必要とし、その結果、応

皆さんこんにちは Acroquestのデータサイエンスチーム「YAMALEX」のチームリーダ、@tereka114です。 YAMALEXチームでは、コンペティションへの参加や自社製品開発、技術研究などに日々取り組んでいます。 大規模言語モデル（通称：LLM）は近年、非常に注目される技術となりました。 ただ、7Bや13Bといった巨大モデルのパラメータは推論時間も長時間で計算時間の面からも運用が非常に難しいです。 しかし、vLLMを使えば、高速化できます。本記事では、推論をどこまで高速化できるのかを検討したいと思います。 ※本記事はLLM・LLM活用のAdvent Calendar 24日目の記事です。 qiita.com vLLMとは？ vLLMによる高速化実践 vLLMを利用しない場合 vLLMを利用する vLLMに加えてAWQを利用して量子化する Auto Prefix Caching

こんにちは。 Acroquestのデータサイエンスチーム「YAMALEX」に所属する@shin0higuchiです😊 YAMALEXチームでは、コンペティションへの参加や自社製品開発、技術研究などに日々取り組んでいます。 はじめに 近年、生成AIの発展により、RAG（Retrieval-Augmented Generation）が注目を集めています。RAGは既存の知識ベースから関連情報を検索し、それを基に生成AIが回答を生成する手法です。本記事では、多くの企業ですでに利用されているElasticsearchを使って、シンプルなRAGシステムを構築する方法をご紹介します。 RAGの基本概念 RAGはおおまかに以下の3つのステップで構成されています： 1. 知識ベースの構築（Indexing） 2. 関連情報の検索（Retrieval） 3. LLMによる回答の生成（Generation）

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? （"o1 System Card" Figure 2の意訳） "12 Days of OpenAI"の第一弾としてリリースされたOpenAIのo1は、特にpro modeの高い性能や月額3万円という破格の料金プランが大いに話題になっていますが 同時に発表された米Apollo ResearchによるAI安全性に関する調査報告が、いよいよSFの世界と見紛うような驚きの結果であったため、内容をまとめました。 サマリ はじめに「目標」を強く指示されたLLMが、その目標にそぐわないような状況に陥った場合、目標を遂行するためにユーザーを欺くような"

日本語LLMまとめ ​[ English | Français | 日本語 ] 日本語LLM・海外LLMのパラメータ数の推移。日本語モデルの情報は本記事、海外モデルの情報は LifeArchitect.ai の Models table を参照しています（ただし、図のスペース上一部のモデルは省略。また、海外モデルのパラメータ数は推測値を含む）。修正・追加等ありましたらお知らせ下さい。この記事は、一般公開されている日本語LLM（日本語を中心に学習されたLLM）および日本語LLM評価ベンチマークに関する情報をまとめたものです。情報は、有志により収集されており、その一部は論文や公開されているリソースなどから引用しています。 ⚠ 以下の点について、あらかじめご理解とご了承をお願いいたします： 本記事の内容は、完全性や正確性を保証するものではありません。これらの情報は予告なく変更されることがあり、ま

OpenCoderプロジェクトは2024年11月8日（米国時間）、オープンソースソフトウェア（OSS）のLLM（大規模言語モデル）、「OpenCoder」を公開した。同プロジェクトは以下のように説明している。 OpenCoderは、トップクラスのコード生成LLMの性能に匹敵する、オープンで再現可能なコードLLMファミリーだ。本プロジェクトでは、完成モデルだけでなく再現可能なトレーニングデータ、詳細なトレーニングプロトコルなどをオープンな科学研究のために公開する。 OpenCoderプロジェクトで分かった、トップクラスのコードLLM構築に重要な3要素 関連記事 企業が自社アプリのAIコパイロットを提供できるOSS「OpenCopilot」公開 企業がSaaSやWebアプリなどの製品で、カスタムAIコパイロットを提供するためのOSS「OpenCopilot」の初期β版が公開された。 大規模言語

16種類以上のNLP(自然言語処理)タスクを用いて日本語の大規模言語モデル(LLM)の性能評価と分析を行う「オープン日本語LLMリーダーボード」が公開されました。構築には国立情報学研究所をはじめとする日本語LLMの研究開発を行う組織横断プロジェクト「LLM-jp」が携わっています。 Open Japanese LLM Leaderboard - a Hugging Face Space by llm-jp https://huggingface.co/spaces/llm-jp/open-japanese-llm-leaderboard Introducing the Open Leaderboard for Japanese LLMs! https://huggingface.co/blog/leaderboard-japanese Open Japanese LLM Leaderboa

皆さんこんにちは 機械学習チームYAMALEXの@tereka114です。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） KDD主催のコンペティションKDDCupで入賞したことより、昨年に引き続き、KDDに参加しましたのでそのレポートを記載させていただきます。 今年はスペイン・バルセロナでの開催だったため、ヨーロッパへ初渡航でした。楽しかったです！ 会場写真※昨年のレポートはこちら acro-engineer.hatenablog.com KDD2024 KDDは正式名称、30th ACM SIGKDD CONFERENCE ON KNOWLEDGE DISCOVERY AND DATA MININGです。 8月25日（日）〜29日（木）主なテーマとしてデータマイニング

こんにちは、バックエンドエンジニアの前田です。 最近、南海トラフ地震の臨時情報や台風などもあったりして、自衛のための事前準備は欠かせないなと思いました。 さて、今回はDifyを使って複数の大規模言語モデル（LLM）を切り替えるチャットボットを作ってみたいと思います。 なぜ、この内容をやってみようかと思ったかというと、Difyは、複数のLLMを利用できるのですが、 それらは、事前に設定を行って利用するもので、ユーザーが実行時に切り替えて指定ができなかったのですよね。 とはいえ、これもノーコードで実現できるのが、Difyの強みです。 1. 概要 1.1.Difyとは 1.2. この記事で実現すること 2. アプリ作成 2.1. モデルの定義 2.2. モデルの選択 2.3. 変数の集約 3. 作成したアプリを動かしてみる 4. まとめ 1. 概要 1.1.Difyとは Difyは、大規模言語モ

こんにちは。タイに来ても日本にある食べ物ばかり食べてしまっている@Ssk1029Takashiです。 この記事はACL2024参加報告記事の後半になります。 前半記事はこちらになります。 acro-engineer.hatenablog.com 後半記事ということで、本会議最終日からWorkshopまでのことを書いていきます。 4日目（本会議最終日） 本会議最終日はSessionも少なめにAwardの発表やClosingがありました。 前半記事と同じく、SessionやPosterについては気になった論文という形で後述します。 Keynote 3 最後のKeynoteでは「Are LLMs Narrowing Our Horizon? Let’s Embrace Variation in NLP!」というタイトルでの発表でした。 この発表では近年LLMが出てから大きなパラダイムシフトがある

こんにちは。タイの気温がほぼ日本と同じでちょっとげんなりしている@Ssk1029Takashiです。 私は自然言語処理の国際学会であるACL2024に参加するため、タイのバンコクに来ています。 2024.aclweb.org 今アクロクエストではRAGを用いたプロダクトを開発しており、LLMを含むNLPの最新の動向を追うためにACLに参加することにしました。 本記事ではTutorialから本会議2日目までの内容を記載していきます。 ACLとは 初日（Tutorial） Watermarking for Large Language Model 2日目（本会議初日） Opening Celemony Keynote1 Session 3日目（本会議2日目） Keynote 2 Social Gala 気になった論文 A Chain-of-Thought Is as Strong as Its

こんにちは。ベランダで育てていたバジルが虫に食べられてしまいました。ハヤトです。 しかし植物の生命力というのはすごいもので、残った茎から再び葉っぱが成長してきています。次はぜひ私が食べたいものです。 さて、成長著しいといえば生成AIアプリ開発の分野はまさに日進月歩ですが、 なかでも「Dify」は、LLMワークフローが特に便利で、注目度が急上昇中です。 今回はそんなDifyとKnowledge bases for Amazon Bedrockを連携させてRAGを構築してみます。 Difyとは？ Knowledge bases for Amazon Bedrockとは？ 今回作成するチャットボットについて AWS側の設定手順 ナレッジベースの作成 APIの作成 Lambdaの作成 API Gatewayの作成 Dify側の設定手順 カスタムツールの作成 チャットボットの作成 まとめ Difyと

はじめに 台風も過ぎ、少しずつ夏へ向けて暑さが増してくる中、皆様いかがお過ごしでしょうか。 そろそろ仕事にも慣れてきたデータ分析エンジニアの木介です。 今回は先日Googleより発表のあった簡単にドキュメントベースのAIアシスタントが使えるNotebookLMの紹介をしていきます。 はじめに NotebookLMとは？ 使い方 日本語能力の検証 コードを生成出来るか試してみる まとめ NotebookLMとは？ まずNotebookLMとはGoogleが試験的に提供を開始した、個別にカスタマイズが可能なAI調査アシスタントです。 notebooklm.google 具体的なサービス内容としては、ドキュメントをアップロードすると、その情報を元にした回答、要約を行うAIアシスタントが利用できます。 こちらのサービス自体は2023年7月には英語版のみで提供が開始されていましたが、2024年6月6

皆さんこんにちは 機械学習チームYAMALEXの@tereka114です。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 日々、LLMが進化していて、画像が本職（のはず）の私ですら、ここ数年LLMの勉強をはじめています。 学習してモデル公開しましたといった記事はよく見ますが、今回は今、非常に注目されている日本に拠点があるAIスタートアップである「Sakana.ai」が公開した「Evolutionary Model Merge」を使う話をします。 Evolutionary Model Merge 「Evolutionary Model Merge」は「Sakana.ai」から発表された進化的モデルマージと呼ばれる技術です。 端的に言ってしまえば、複数のモデルを利用して新し