「AWSコミュニティHEROと学ぶ!Amazon Bedrock勉強会&事例共有会」に参加してきました

Bedrock入門

みのるんさん(KDDIアジャイル開発センター) https://speakerdeck.com/minorun365/awsnosheng-cheng-aisabisu-amazon-bedrockru-men-2025nian-1yue-ban

  • クラウド各社生成AIのサービス出してる
    • AWSはBedrock
  • AmazonBedrock
    • サーバーレスで叩いた分だけの課金
    • AWSの他のサービスと組み合わせやすい
    • いろいろなAI企業のモデルを取り入れてる
      • 7社40種類
    • セキュリティ、ガバナンス
      • CloudWatchで監視
      • CloudTrailでトレース
  • モデル
    • テキストはClaude
      • 日本語対応
    • 埋め込みはEmbed
    • 画像生成はStableDiffusion
  • AWSのマネージドコントロール上から簡単に試せる
  • Amazon Bedrockナレッジベース
    • RAGを作れる
    • 画面上からの操作でできる
  • Amazon Bedrockエージェント
    • 自立型AIエージェントを画面上から作れる
    • 目的を持って計画を立てて実行していくということをしてくれる
  • Amazon Bedrockフロー
    • ローコードでLLMアプリを作れる
  • 海外リージョンを活用するといい
    • 東京だと新しい機能が来るのが遅い
    • 東京だと需要が高くてRateLimitにかかることもある
    • クロスリージョン推論で全世界に勝手に分散して空いてるところを使える

re:Invent現地レポート

みのるんさん(KDDIアジャイル開発センター) あわっちさん(KINTOテクノロジーズ)

  • AWS Heroになると費用全部出してくれる
  • オンラインでもあるので現地行くならそれ以上のことを
    • ハンズオンとかジャムとか
  • 参加者60000人のうち2000人が日本から
    • ブースにも日本人がいたり

re:Invent Bedrock Recap

みのるんさん(KDDIアジャイル開発センター) https://speakerdeck.com/minorun365/aws-re-invent-2024-amazon-bedrock-atupudetozong-matome

モデルのアップデート

  • RerankAPI
    • RAGの検索結果を関連度順に並べてくれる
  • Amazon Nove
    • Amazon製の新しいモデル
  • モデルの蒸留機能
    • パラメータ数の多いモデルを教師にする
    • それを使って小さいモデルを微調整させる
  • poolside
    • コード生成
  • LumaAPI

推論のアップデート

  • レイテンシー最適化オプション
    • 速度が上がる
  • プロンプトキャッシュ
    • トークンを5分まで再利用できる
  • プロンプトルーティング
    • 複数のモデルをプロンプトの複雑さに応じて振り分ける

RAGのアップデート

  • ナレッジベースの応答ストリーミング出力
    • 応答が少しずつ返ってくる
  • カスタムコネクタと埋め込み差分操作
    • データソースが変わった時に差分だけ取り込める
  • メタデータの自動フィルター
  • データオートメーション(BDA)
    • 非構造化データをテキストに変換してくれる
  • ナレッジベースのマルチモーダルのデータ取り込み対応
  • ナレッジベースの構造化データのクエリ対応
  • ナレッジベースがGraphRAGに対応
  • Amazon KendraにGenAIインデックス
    • 従来のKendraより大幅に安い
  • AuroraServerkessがナレッジベースのクイック作成に対応
    • 使ってない時はスリープしてくれる

エージェントのアップデート

  • マルチエージェント
    • 複数のエージェントを共同させることができるようになった
    • 監督役と協力者

ガードレールのアップデート

  • 自動推論のチェック
  • マルチモーダル毒性検出

評価のアップデート

  • モデルの評価をLLMにやらせる
  • ナレッジベースで生成した応答の品質の評価

Bedrockを使い始める際にやっておいたほうがいいことまとめ

社内ツールcirroの紹介

AWS上でGraphRAGやってみた

Slack + Agents for BedrockでAWSリソースを操作する

生成 AI アプリケーション開発に評価の仕組みを導入して精度向上を実現した話:DB 設計レビュー自動化の取り組み