OpenAIが提唱する「AIエージェントの管理法」

本記事では、高度な自律性を持つシステムの安全性と説明責任に関する研究を紹介します。

近年、研究者や企業は、限定的な監督下でも複雑な目標を柔軟に追求できるシステムの開発を進めており、ユーザーの能力を大きく向上させる可能性が期待されています。

一方で、潜在的なリスクや責任の所在といった新たな課題も浮上しており、OpenAIの研究者らは開発者、運用者、ユーザーが従うべきベストプラクティスの確立に向けて取り組んでいます。

■AIDBからのお知らせ
AIの知識を仕事で活かしたいですか？マッチング機能が新登場。
人材として登録すると、企業からAI関連の仕事のオファーが届きます。

発表者情報

研究者：Yonadav Shavit et al.

研究機関：OpenAI

本研究は約１年前の発表ですが、今まさに重要となる内容と思われます。また、同社が直近で社会実装した技術を1年前に研究レベルで考察していたと推察されます。

背景

LLMを活用したシステムの開発が進展を見せ、アプリケーション開発者らによって実用化が進められています。

人工知能システムは従来、画像生成や質問応答など、限定された機能のみを実行することができました。しかし、最新の開発によって、より複雑な目標を自律的に追求できるシステムが登場しています。たとえば、利用者が「美味しいチョコレートケーキを今夜作りたい」と伝えると、材料を選び、販売店を探し、配送を手配し、レシピを印刷するといった一連の作業を自動的に実行できるようになってきました。

言語モデルを中心に据えたシステムは、複雑な推論を行い、目標を追求する能力を持つようになりました。利用者の意図を理解し、適切なツールを選択して行動を実行できる点で、従来のシステムとは一線を画しています。

一方で、このような自律性を持つシステムは、誤作動やセキュリティの脆弱性、悪用のリスクも併せ持っています。たとえば、日本在住でない利用者がケーキ作りの材料を購入しようとした際に、現地での購入ではなく高額な航空券を購入してしまうといった事態も想定されます。

このような状況において、モデル開発者、システム提供者、利用者それぞれが適切な役割を果たし、責任を分担することが重要になってきました。そこで研究者らはシステムの安全性と信頼性を確保するための実践的なガイドラインの策定に取り組んでいます。