当ニュースレターは2023年を「SaaSがオワコン化した年」と位置づけたが、2024年は早くもAIが終わった一年であった。少なくとも大規模言語モデル（LLM）そのものの発展を、物珍しそうに追いかける時期は過ぎた。生成AIが今後どこまで賢くなるかはもちろん未知数である。しかし、既に業務で十分に役立つレベルにある現行モデルのコストが今後も下がっていくことは確実だ。 The cost of GPT-4 APIs at launch in Mar 2023 was roughly ~$30 per 1m tokens. Seeing Deepseek V-3 APIs at ~$1 per 1m tokens today. For AI application companies, cost of "intelligence" is falling significantly faster tha

今日もいつものようにシラスでデイリーAIニュースを配信していると、とんでもないものにでくわした。 もうタイトルに書いてあるけど、AIが勝手にブラウザを操作して色々やってくれてしまう、その名もBrowserUseだ。 インストールは超簡単。 macなら以下の二行だけだ。 $ pip install browser-use $ playwright install使うのも超簡単だが、コマンドラインに落ちるのが怖い人々には簡単に見えないかもしれない。環境変数のOPENAI_API_KEYとかにAPIキーを入れておくこと。 $ python >>> from langchain_openai import ChatOpenAI >>> from browser_use import Agent INFO [browser_use] BrowserUse logging setup complete

Google Cloud Champion Innovators Advent Calendar 2024 の 12 日目の記事です。 はじめに LLM が広く普及し、活用範囲が急速に拡大してきたことで、ツール連携機能を活用した AI エージェントを構築する機会も増えてきています。このような LLM とツールの連携により、チャットインターフェースから様々なシステムやサービスを制御・自動化できるようになりました。 しかし、AI エージェントの開発には2つの困りごとがあると感じています。1つ目は、複雑な指示を処理するために必要な高性能モデルの応答速度が遅い点、2つ目は複数のプロジェクトでツールを再利用する際の実装効率の問題です。 本記事では、これらに対する解決策の一例を紹介します。LLM から BigQuery を操作するユースケースにおいて、応答速度が遅い点については Gemini 2.0

LLMOps基盤のシステムアーキテクチャ目次− 目次 − 対象読者 − TL;DR − 背景：LLMアプリケーション運用の課題 − LLMOps基盤のシステムアーキテクチャ −− 主なコンポーネントと役割 −− Langfuseを採用した理由 − 評価ドリブンなリリースライフサイクルの全体像 − オンライン評価プロセス −− 1. ログ・トレースデータの保存 −− 2. 評価とアノテーション − オフライン評価プロセス −− プロンプト実験 −− LLMアプリケーション統合実験 − 今後の展望 − 終わりに − 参考文献 こんにちは！Eureka AI Teamで、Pairs（ペアーズ）のMLOps Engineerをしているnariです。 こちらは、Eureka（Pairs） Advent Calendar 2024 の10日目の記事です。 本日は、私たちが構築した「LLMOps基盤」と

デジタル変革を加速させましょう お客様がデジタル トランスフォーメーションに乗り出したばかりでも、あるいはすでに進めている場合でも、Google Cloud は困難な課題の解決を支援します。

何が起きたのか 生成AIが好きな個人がなんでも出展できる、 「なんでも生成AI展示会」 というイベントがありまして、 11/16(土) 12:30 ~ 18:00にて「#生成AIなんでも展示会」を開催します🎉 個人の方が生成AIで作っているものを見ることができる・体験することができるイベントになっています！ 申し込みURLは以下⬇️https://t.co/aNIQ6myJ4q 以下の方との共同主催です@sald_ra @GianMattya @miketako3 @Yanagi_1112 — ようさん (@ayousanz) September 28, 2024 人づてに出展しないか誘われたので、ストレス解消がてら９月頃から「マルチエージェントLLM(大規模言語モデル)オーケストレーション」というコンセプトで競馬予想をするシステムをシコシコと土日に作っておりました。 （ふだんは仕事でウ

LangChain公式エキスパートによるLLMアプリケーション開発研修プログラムの提供を開始1日でカリキュラムを終える基礎コースから3日間に渡る実践コースまで、ニーズに応じた開発者育成プログラムを提供。大手IT企業への導入実績も公開。 LangChain公式エキスパートとして認定された株式会社ジェネラティブエージェンツ（本社：東京都港区、代表取締役CEO：西見公宏、以下「当社」）は、LLMアプリケーション開発フレームワーク「LangChain」を活用した法人向け研修プログラム「LLMアプリケーション開発者養成講座」の提供を開始いたしました。すでに大手IT企業での導入実績があり、実践的な開発者育成プログラムとして高い評価を得ています。 ▼研修プログラム提供の背景 LLM（大規模言語モデル）の急速な発展により、プロアクティブにLLMを活用するためにも、企業におけるLLMを組み込んだアプリケーシ

Generative AI for Everyoneについてこちらの講義は機械学習やAI教育についての第一人者と言っても過言ではない、Andrew Ng先生のLLMの応用についての講義になります。 タイトルにはGenerative AIとありますが、画像生成AIなどはほぼほぼ登場せず、基本的にはLLMをどう使うのかについての講義となっています。また、Everyoneとあるように機械学習の専門家やエンジニア以外でも分かる内容になっているかと思います。Andrew Ngは言語化が非常に上手いので、機械学習の専門家が見ても知識を整理する上で有用なんじゃないかと思います。 古のNLPエンジニア？自分がNLPを始めたのは2013～2014年くらいのちょうど深層学習がNLP業界に本格的に入ってきた時期です。10年程度で古のNLPエンジニアを名乗って良いのかは諸説あると思うのですが、その辺は温かい目で見

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。 今回は、ドキュメントを活用して専門分野に強いRAGを構築できるSimRAGについて紹介します。 サマリー SimRAGは、専門分野に関するドキュメントを用いてファインチューニングを行うことで、専門分野の質問に高精度で回答するRAGを作成できます。RAGに特化するためのファインチューニングと、専門分野に特化するためのファインチューニングを組み合わせることで高い精度を実現しています。 問題意識 RAGにLLMをそのまま使用することの問題点 多くのRAGのシステムでは、検索を工夫することはありますが、LLMになにか手を加えることはありません。その理由は、LLM自体がある程度万能にドキュメントを理解し回答に用いる

1. はじめに こんにちは、クラウドエース データソリューション部所属の泉澤です。 クラウドエースの IT エンジニアリングを担うシステム統括部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータソリューション部です。 データソリューション部では活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは、Vertex AI に AutoSxS (automatic side-by-side) という 大規模言語モデル (LLM: Large Lanuage Model) の自動評価ツールが追加された、という内容のものです。 このリリースは 2024/01/08 にあり

Azure Machine Learning / Azure AI Studio に Prompt flow が搭載され、パブリックプレビューが開始されました。Prompt flow は大規模言語モデル (LLM) を利用した AI アプリケーションの開発サイクル全体を合理化するように設計された新時代の開発ツールです。 Prompt flow には作成したフローのパフォーマンスを評価する機能が搭載されており、現在は 9 つの評価フローをギャラリーテンプレートから選択可能です。 本内容は「LLM in Production Meetup #1 LLMOps -LLMの評価・品質担保-」イベントで登壇した内容の詳細解説です。 自動評価メトリクス 自然言語モデルの評価をする際、人間の手作業に代わり自動的に評価するためのメトリクスがこれまで多数提案されてきました。昔ながらの n-gram ベースの

LLMOpsをより効率的に効果的にDifyのv0.6.12でLangSmithとの連携ができるようになりました（今はv0.6.15なので今更感）。 LangSmithは、LLM(大規模言語モデル)アプリケーションの開発と運用を支援するプラットフォームで主に以下の機能を提供しています（by Perplexity） ・LLMの実行ログ収集（モニタリング、デバッグ） ・LLMの出力結果のデータセット化 ・登録したデータセットによるモデルの評価 LangSmithDifyでは既にLLMOpsの機能を提供していますが、より生成AIアプリの監視が強化できるのは嬉しいですね。 ということで、今回はLangSmithと連携する手順をご紹介します。 LangSmithの準備をしよう！LangSmithのアカウント作成まずはLangSmithのアカウントを作成します。LangSmithのHPにアクセスし、「S

ホーム » サービス » LLM活用支援サービス » LLM＋RAGでできること、RAGを導入するには？｜自社データ活用による大規模言語モデルの拡張（RAG）

24GBしかVRAMのない星飛雄馬のようなご家庭のPCでも動いちゃう おもいこんだら、なので、LongWriterを星飛雄馬のようなご家庭のPC「RTX 4090(24GB)」で試してみます。 使用するPCはドスパラさんの「GALLERIA UL9C-R49」。スペックは ・CPU: Intel® Core™ i9-13900HX Processor ・Mem: 64 GB ・GPU: NVIDIA® GeForce RTX™ 4090 Laptop GPU(16GB) ・GPU: NVIDIA® GeForce RTX™ 4090 (24GB) ・OS: Ubuntu22.04 on WSL2（Windows 11） です。 1. 準備環境構築python3 -m venv longwriter cd $_ source bin/activateパッケージのインストール。 pip ins

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 一言で言うと？ この記事を一言で言うと、kaggleのあらゆる情報をマークダウン形式にしてまとめて(約50万トークン)、Geminiのプロンプトに入れたらいい感じだった！という内容です。 はじめに こんにちは！yukky_maruです。先日、KaggleのLLM 20 Questionsのwinner callが無事終わって賞金もいただき、一段落ついたので、今回自分が使った方法をシェアしたいと思います。 なお、この金メダルは半分くらいはGeminiのおかげです！ Gemini を活用しまくりました。ChatGPTやClaudeではない理

はじめに こんにちは、Google Cloud Partner Top Engineer 2024 を受賞いたしました、クラウドエース データソリューション部の松本です。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 弊社では、新たに仲間に加わってくださる方を募集しています。もし、ご興味があれば エントリー をお待ちしております！ 今回は、BigQuery で Vertex AI の LLM を使用して SQL のみで RAG を構築する方法についてご紹介します。 この記事はこんな人にオススメ BigQuery の SQL のみで LLM を使った問合せシステムを構築したい BigQue

Move seamlessly to Groq from other providers like OpenAI by changing three lines of code. With our OpenAI endpoint compatibility, simply set OPENAI_API_KEY to your Groq API Key. Set the base URL. Choose your model and run!

LLM Gateway to manage authentication, loadbalancing, and spend tracking across 100+ LLMs. All in the OpenAI format.