制約下の医療LLM Observability 〜セキュアなデータ活用と専門家による改善サイクルの実現〜

Transcript

1. 制約下の医療LLMオブザーバビリティ 〜セキュアなデータ活用と 　専門家による改善サイクルの実現〜 Observability Conference 2025 2025.10.27 株式会社カケハシ 保坂 桂佑

2. 自己紹介 保坂 桂佑 (@free_skier) 株式会社カケハシ データサイエンティスト データ分析コンサル → リクルートでDS/MLエンジニア/EM →

   カケハシ 著書『Kaggleで勝つデータ分析の技術』 （共著） LLMを活用した機能開発において、AIワークフロー の品質担保や改善を担当しています 2 / 21

3. 3 / 21

4. 4 / 21

5. 5 / 21

6. カケハシの生成AI活用における取り組み領域 6 / 21

7. なぜ医療LLMのオブザーバビリティが難しいのか？ 相反する2つの要求を同時に満たす必要があるため 厳格なデータ保護 個人情報保護法、医療情報ガイドラインへの準拠 マルチモーダルなデータ（音声・画像等）の保護は更に高難度 高い出力品質の要求 医療においては患者さんの健康に影響がないよう、何よりも正確性が重視される ハルシネーション（誤った回答）のリスクを低減する必要がある 継続的な監視と改善活動が不可欠 7

   / 21

8. 本日の内容 開発運用中の医療LLMシステムにおいて、どのようにオブザーバビリティを確保したか、どのよう にドメインエキスパートとともに改善サイクルを回せるようにしたかをご紹介します。 実現したいこと どのように実現したか ドメインエキスパートによる改善サイクル 8 / 21

9. システム構成 本番環境 LLMアプリケーションが稼働 調査環境(セキュア) セキュアブラウザー+VPN経由でアク セス Databricksは調査分析に必要な機能 がオールインワン 秘匿性の高いデータが必要な場面で使 用

   モニタリング環境(Datadog) 定期モニタリング、分析を実施 プロトタイピング環境(Dify) 隔離環境外にあるため、本番データは 直接扱えない 9 / 21

10. 実現したいこと 医療LLMシステムにおいて、以下の3つを両立させたい データ保護 機密情報は高セキュリティ環境から出さない セキュアブラウザー経由でのみデータにアクセス LLMの挙動監視 機密性の低い情報: トレース情報として取得し、モニタリング環境で監視 機密性の高い情報: LLM出力やマルチモーダルデータを調査環境で確認

    本番相当の環境での検証 本番相当の環境でプロンプト検証、ワークフロー検証ができる ドメインエキスパートが自律的に改善サイクルを回せる 10 / 21

11. 実現方法 以下の３つの機能を通じて実現 トレース情報の取得、連携 セキュア環境へのデータ連携 本番相当の環境でのワークフロー検証 11 / 21

12. トレース情報の取得、連携 LLMフレームワークに依存しない、自前の トレース情報収集 自前でトレース情報を構築して出力する仕 組みを実装 機密性の低い情報（レスポンスタイム、ト ークン数等）を収集 12 / 21

13. トレース情報の取得、連携(詳細) 13 / 21

14. セキュア環境へのデータ連 携 本番DBに影響を与えず、セキュアにデータ を連携 注意すべき点 本番DBに影響が出ない形でデータ連携 コストを意識 14 / 21

15. セキュア環境へのデータ連 携(詳細) DatabricksのLakehouse Federationを 使用 Databricksの権限管理の元で本番環境のDB にアクセスできる仕組み ホットスタンバイの利用により本番影響を 回避 夜間バッチで前日までのデータを同期

    15 / 21

16. 本番相当の環境でのワーク フロー検証 Difyはグラフィカルな画面でプロンプト・ ワークフローを構築できる しかし、Difyは隔離環境の外にあるた め、データを入れられない 本番環境とは挙動を厳密に一致させるこ とができない 最終的には本番環境相当のワークフロー で検証を行いたい

    16 / 21

17. 本番相当の環境でのワーク フロー検証(詳細) Databricksから本番環境のワークフロ ー実行APIをコールできるように AWS VPC Endpoint + Private Linkに

    より実現 スループット制限をかけて本番環境に影 響が出ないように 17 / 21

18. ドメインエキスパートによる改善サイクル セキュリティを確保しつつ、生成AIサービス提供において必要な情報が参照できるように Dify, Databricks環境を使い分けつつ、エンジニア・ドメインエキスパートが協力して改善を実 施 18 / 21

19. 課題と今後の展望 精度劣化の自動検知・アラート プロトタイピング環境と本番Workflowの乖離を減らしたい 19 / 21

20. まとめ 医療LLMのオブザーバビリティは難しい 厳格なデータ保護 高い出力品質の要求 データを保護しつつ、LLMの挙動監視と本番相当の環境での検証を実現したい 以下の３つの機能を通じて実現 トレース情報の取得、連携 セキュア環境へのデータ連携 本番相当の環境でのワークフロー検証 エンジニア・ドメインエキスパートが協力して改善を実施できるようになった

    20 / 21

21. 21 / 21