この記事は、『生成AIで世界はこう変わる』（今井翔太著、SBクリエイティブ）に掲載された内容に、編集を加えて転載したものです（無断転載禁止）。 ソフトウェア開発における生成AIは、私自身が積極的に利用していることもあり、定量的な研究成果に加え、当事者の生の声もお伝えしたいと思います。この部分に関しては主観的な記述も多くなりますが、その点はご留意ください。 「ChatGPT以前のソフトウェア開発は石器時代だった」とは、ある開発者の言葉です。言語生成AIが持つプログラミングコードの生成能力は驚異的なものです。ChatGPT登場当日、私が最も驚き、「これは本当にすごい」と確信したきっかけは、このプログラミングコードの生成能力を目の当たりにしたことでした。

W&B AI Solution Engineerの鎌田 (X: olachinkei) です。2023年以降注目を集める「AIエージェント」ですが、その可能性が広く議論されている一方で、具体的な開発プロセスや評価方法についての情報はまだ整理されていないのが現状です。そこで、本ブログではAIエージェントに関する評価体系について、現時点での知見をまとめていきます。専門的な内容も交えながらも、できる限りわかりやすくお届けしますので、ぜひ最後までお付き合いください。 Compound AI システムの登場とAIエージェントへの発展生成AIの進化により、特に大規模言語モデルは簡単なプロンプト入力だけでさまざまなタスクを解決できるようになりました。しかし、AIの活用が広がる中で、私たちは単一のモデルに依存するアプローチから複数のコンポーネントを統合する新しいアプローチへと移行しています。このアプローチ

こんにちは。PharmaXの上野です。 今回はLLMアプリケーションを評価する上で知っておくべき評価の基本をきちんと整理したいと思います。 これまで何度かLLMアプリケーションの評価について語ってきました。 運用についても記事や発表の形でシェアを行ってきました。 ですが、まだまだ「評価とはなにか？」という基本的なところで躓いてしまっている方も多い印象なので、今回は前提から丁寧に評価の全体像をまとめていきたいと思います。 LLMアプリケーションを運用している方の参考になれば嬉しいです！ なぜLLMアプリケーションを評価する必要があるのか LLMをアプリケーションに組み込んでいると、LLMの出力を評価する必要が出てきます。 LLMの「出力は確率的である（毎回異なる）」ためです。 また、LLMの出力はハルシネーションを含む可能性がありますし、間違いではないにしてもサービス提供者の意図とは違った出

Tebiki株式会社 取締役CTO 渋谷 和暁 神戸大学法学部卒業後、SIerを経てWebシステムの開発会社に入社。ECなどの受託開発やゲームアプリ開発のリードとして従事した後、コーチ・ユナイテッドに転職。クックパッドによる吸収合併のタイミングでCEO貴山氏とともにTebiki社を起業し、取締役CTOを務める。 GitHub Medium アジャイルなプロダクト開発において、コード品質・学習効率・チームワークの向上に効果があるとされる「ペアプロ」。1人でプログラミングすること（＝ソロプログラミング、以下ソロプロ）が主流の中で、ペアプロをどうやって組織に浸透させるべきか、困っている組織は少なくないのではないでしょうか。 かつてのTebiki社も、同じ悩みを抱えていた組織の一つでした。2018年3月に創業し、小売、製造、サービス、物流などの現場マニュアルのDXを目的としたSaaSを開発する同社

本記事では、最近流行りの「生成AIエージェント」に替わる「Agentless」（エージェントレス）という手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 この記事は、ソフトウェア開発自体を自動化する際の新しい手法「Agentless」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもAIエージェントとは？」については、知っている前提で進みます。確認する場合は、こちらの記事などをご参考下さい。 本題 ざっくりサマリー 最近、ソフトウェア開発で生成AIを使うことは当たり前になっています。（GitHub Copilot、Cursor、Devinなど、様々なツールがリリースされています。） 「AGENTLESS」は、ソフトウェア開発を自動化する、という文脈でLLMを使う際の、新しい手法

本記事では、現在流行している「RAG」技術について、2024年トレンドの振り返りと、2025年の予想をします。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 2024年は、RAGが大流行した年でした。この記事では、2024年の技術トレンドを振り返りつつ、2025年のRAGの進展を予想したいと思います。技術的トレンドはもちろん、普段、企業向けにRAGを提供している会社としての、僕の肌感覚も合わせて、お伝えできればと思います。 本題 ざっくりサマリー 結論として、RAGは、来年も変わらず流行し続けると予想します。 まず来年は、これまで以上に回答精度が向上するのは間違いないです。その理由は、LLMの価格低下トレンドと入力できるコンテキスト増大トレンドが、まだ続くためです。加えて、LLMが「視覚・音声」の入力手段を獲得したこと、ベクトルD

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。 今回は、リアルタイムRAGを使用して長大な文章から正しい解答を高速で取り出す手法MixPRについて解説します。 サマリー LLMの性能は向上を続けていますが、依然として長大なコンテキストには適切に対応できないケースが多いです。この問題に対応するためにRAGが提案されていますが、準備時間やQAタスク以外での性能に疑問が残ります。 この問題に対してMixPRはPageRankと質問をベースとした処理の最適化を組み合わせて、高速に重要なテキストを抜き出せるようになり、高速化と精度の向上に成功しています。 問題意識 高速に検証することの重要性 RAGは、関連ドキュメントさえアップロードしてしまえば、以降簡単にLL

Google Workspaceで多くのことが完結するようになった結果、フルリモートへの移行は肩透かしなほど簡単に進みました。ツールの導入も参画数日で全て終わるようにタスクがまとまっているためスムーズでした。 ミーティングがリモートになったことでホワイトボードが使用できなくなってしまいました。 ペンタブで再現することも考えましたが、ホワイトボードの利便性はペンで描くこと自体にはないなとすぐに気がつきました。 そこで私はホワイトボードの役割を「思考の整理」と「思考の共有」に切り分けてカバーしてます。 「思考の整理」は手元で紙に書き殴るようにしました。考えをまとめるにあたってはホワイトボードと全く遜色ありません。 「思考の共有」はdraw.ioを画面共有するようにしました。アイデアを図式で共有するにあたってむしろホワイトボードより優れています。 「思考を整理しながら共有したい場合」だけは完全に

2024年11月23日のFullstack AI Dev & Raycast Summit（#FullstackAIDev2024 ）の登壇資料です Agentic Design Patternを中心に、AI/LLMエージェントのデザインパターンについて触れています https://devx.j…

以下の記事が面白かったので、簡単にまとめました。 ・Agent Protocol: Interoperability for LLM agents 1. Agent Protocol「LangGraph」はエージェントを構築する最良の方法ですが、他にも多くの方法があります。「LangGraph」を使用していない人の多くは独自の実装していますが、AutoGen、OpenAI の Assistant API、CrewAI、LlamaIndex などの他のフレームワークを使用している人もいます。 これは、多くのエージェントが異なるAPIを公開することを意味します。マルチエージェントの世界に移行すると、この統一性の欠如が問題を引き起こします。必要なのは通信だけですが、さまざまなAPIにより標準的な通信が困難になります。 これを変えるために、 エージェント通信の標準インターフェース「Agent Pr

改めて考える、「Gitのコミットメッセージを能動態や命令調で書く意味」：命令調のGitコミットメッセージの問題点とは TechTargetは「Gitコミットメッセージの能動態または命令調の書き方」に関する記事を公開した。「開発者はGitのコミットメッセージを命令形で書くべきだ」という意見があるが、本当にそうだろうか。言語的背景やオープンソースプロジェクトでの採用傾向などを踏まえて著者が問題提起する。

GitHub Copilot Workspaceで開発環境を再定義します – どんな開発者でも自然言語でアイディアからコード、ソフトウェアまで作成できます。登録はこちら。 この2年間で、生成AIは開発環境の中に組み込まれたツールとして、開発者の状況を大きく変えました。2022年、私たちはエディタ内のオートコンプリートAIペアプログラマーとしてGitHub Copilotを発表し、開発者の生産性を最大55%向上させました。GitHub Copilotは現在、最も広く採用されているAI開発者ツールです。2023年、GitHub Copilot Chatをリリース、コーディング、デバッグ、テストにおける自然言語の力を引き出し、開発者がリアルタイムでコードと会話できるようになりました。 昨年GitHub Universeでその一端をお見せした後、本日GitHub Copilotネイティブの開発環境

こんにちはChoimirai Companyのサンミンです。 0  はじめにDifyがLangChainと決別し、独自の「Model Runtime」を採用したのが2024年の1月。 LangFlowやFlowiseなど複合AIシステムではLangChainに依存した設計が多い。DifyもLangChainベースの設計だったけど今年の1月に独自の「Model Runtime」を発表👏↓。当時は難しい判断だったと思う。が、変化のスピードとDifyが描いてる世界観を考えると正解だった。Difyを勧めるもう一つの理由、です。 https://t.co/AybwXRXkJ9 pic.twitter.com/n7d9aae76N — sangmin.eth | Dify Ambassador (@gijigae) April 24, 2024 LangChainの導入を慎重に考えるべきだとする声は

1つのIssueが大きくなると1 Pull Requestで大量の差分が発生します。 そうなるとレビュワーに負担がかかり、コンフリクトの可能性も高まり、コードレビューを効率よく進めることができません。 このINVEST原則を守ることでチームはより効果的に作業を進め、柔軟に対応して開発を進めることができます。 Git Flow Git Flowは5種類(main, hotfix, release, develop, feature)のブランチを運用するブランチ戦略です。 2010年に提唱された有名なブランチ戦略です。 オンラインサービスのように継続的デリバリーするコードを想定して作られた戦略ではないです。 main ブランチ 常にリリースできる状態を保つ hotfix, develop へ切り出す このブランチへの直pushはNG hotfix ブランチ バグ修正など緊急時に対応するためのブ