こんにちは。株式会社ブレインパッド アナリティクスコンサルティングユニットの小澤、久津見、小牧です。 前回までの記事では、 ・「生成AIをビジネス活用するための鍵」となるドメイン特化 ・「LLMの信頼性評価で押さえておくべき8つの評価観点」 ・「生成AIの評価指標とベンチマーク」 ついて、それぞれ課題とともに詳しくご紹介しました。 LLMをビジネス活用する上では、多様な評価観点、KPIに基づく評価基準設定、専門家によるフィードバック、そしてそれらを繰り返し行う環境整備といった複雑かつコストがかかる評価アプローチが負担となっていました。また、ベンチマークは数多く提案されているものの、過学習や日本語に対する性能の低さなども問題となっています。 そこで本記事では、生成AI（特にLLM）の評価方法として最近非常に注目を集めている、LLMによる自動評価技術 (LLM-as-a-Judge) について

生成AI・LLM評価指標 評価指標は人間の介入有無で大別され、Li et al. (2024) によると人間を介さない評価方法は、さらにマッチングベースと生成ベースに分類しています。 マッチングベース (matching-based) マッチングベースの評価には、語順や文法を無視してGround Truthと生成テキストの一致度を測定するF1スコア、ROUGE、BLEUなどの古典的アプローチや、Word2Vecなど単語埋め込みとニューラルネットワークを利用してベクトルの類似性で評価するBERTScoreなどが含まれます。これらの手法は、低コストながら評価の再現性が高いという利点があります。一方で、”I go go go go to the hospital.” のような文法的に不適切な繰り返しでスコアが高くなったり、微妙なニュアンスや複雑な文脈の意図をくみ取ることが難しかったりする問題があ

LLM（大規模言語モデル）は、自然言語処理（NLP）の分野で使用される深層学習モデルの一種であり、その主な目的は、膨大な量のテキストデータを学習し、人間のような自然な言語生成や理解を実現することです。 技術的な側面からもう少しお話すると、LLMは深層学習の技術を用いた複雑なモデルで、その基盤となるのはニューラルネットワークと呼ばれる人間の脳のニューロンの働きを模倣する計算モデルです。 このニューラルネットワークは、複数の層からなる構造で入力データを受け取り、パターンを学習して予測や分類を行うことができます。特に、LLMは巨大なテキストデータを入力とし、大量のパラメータを調整しながら言語構造を学習させています。 代表的なLLMの例として Googleの「PaLM」 OpenAIの「ChatGPT」 オープンソースなモデルとしてMetaが開発した「Llama」、Databricksが開発した「

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 この記事では、「copilotとしての生成AI」という視点で概況を捉え、LLM/Generative AIの可能性と実用段階における諸問題について考察していきます。 はじめに 生成AIを活用したサービス/プロダクトの分類 分類方針 入出力による分類結果を俯瞰する 入出力による分類とトレンド Text to Text (Text or Image) to Image Text (and Speech) to Speech, Speech to Speech copilo

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 この記事では、生成AIの中でも、テキスト、画像、動画、3Dデータ、オーディオデータ、モーションなど多岐にわたるマルチモーダル系のタスクについて、全2回の連載でご紹介します。【第1回目の記事はこちら。】 こんにちは、アナリティクスサービス部の八登です。 昨今話題をさらっている生成AIですが、その中でマルチモーダル系のタスクに大きな関心が集まっています。 ここでマルチモーダル系とは、AIが同時に複数の形式を扱うことができる、ということを表しています。 モーダルの例としては

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 ChatGPTなど高性能な会話型AIの学習プロセスとして採用されているRLHFとは、一体何者なのかをご紹介します！ こんにちは。アナリティクスサービス部の橋本です。 今回は、ChatGPTなど高性能な会話型AIの学習プロセスとして採用されているRLHF（Reinforcement Learning from Human Feedback、人間からのフィードバックを用いた強化学習）とは一体何者なのかをご紹介させていただきます。 ChatGPTなどの会話型AIが、どんな学

いったい、どれがDX？ 「DX（デジタルトランスフォーメーション）」が色んなところで使われるたびにモヤモヤしたり、「そもそも、DXってなんなんだろう？」と思う方、多いのではないでしょうか。話題、流行っている言葉ほど、色んな意味合いで使われることが多いですよね。 さて、では皆さんは、「DX」と聞いて何を思い浮かべるでしょうか？下記に、思いつくものをざっくりと挙げてみました。 このように、DXに該当する言葉は多々ありますが、企業で共通理解がなされないまま「DXをしよう」や「DXを進めよう」というと、「既存業務のデジタル化」なのか、「新しいビジネスモデルによる経営改革なのか」で現場が迷い、「何から始めるべきか」を議論して終わらない状況になってしまうことが往々にして起こり得ます。 だからこそ、DXとは何かをしっかり整理し、本質を理解することが重要です。

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 「レコメンドつれづれ」は、レコメンド手法の概念や実装方法を中心に、レコメンドに関する基礎的な内容から最近流行りの技術まで幅広くご紹介する連載です。第3回は、レコメンドの評価方法について、代表的な評価方法・指標をピックアップしてご紹介します。 こんにちは。アナリティクスサービス本部の小田です。レコメンドについて考察していく連載の第3回です。 第1回 協調フィルタリングのコンセプトを知る 第2回 協調フィルタリングの実装 第2回では、協調フィルタリングの実装を行いました。本連載では今後各種手法を実装しながら比較していく予定ですが、その前にレコメンドの評価について確認したいと思います。といっても、レコメンド全体の評価となるとシステムやユーザビリティの評価など広範にわたりますので、今回はアルゴリズ