GPTsで模擬問題生成して資格対策してみる

Transcript

1. GPTsで模擬問題生成して 資格対策してみる hisagi ( @yuriy183 )

2. 自己紹介 hisagi [ 𝕏: @yuriy183 ] システム開発会社勤務6年目 業務内容はクラウド関係の開発が中心 (現在はAzure) 最近の興味:

   LLM

3. 本日の内容 8月に取得したE資格の対策にGPTを使った話をします ※ChatGPT/LLMにそこまで詳しくない方向けの内容です

4. E資格について E資格とは - 一般社団法人日本ディープラーニング協会【公 式】 • 指定の講座を受講が必要。 • テストセンターで受けられるCBT試験。 •

   選択式のみ、記述や実技はなし。 • 実際のプログラムについてなども含めた、 実践的な知識を問われる 公式HPから引用

5. 状況 • 別の資格も受けており 本格的に対策開始したのが 1ヶ月前切ってから • 機械学習の基礎知識はあまりなし とにかく時間がなかったので、 問題をひたすら解いて定着を図る方向

6. ChatGPTを使うことに • 面倒なことはChatGPTにやらせよう という本を通して触り、 使えそうという感触はあり(PDFを渡して内容要約させる など) • GPT-4oが公開されて3ヶ月ほど経ち、 従来より性能もよくなっている 期待

   ChatGPTを使って対策することに

7. 実際どうするか シラバスの PDFが公開されているのでそ れを読み込ませる 問題を生成させる 回答する 正解不正解と 解説をもらう

8. まずPDFだけ入れて試す これでも十分ではあるが、いろいろ問題あり • 出題範囲外を認識してない 灰色背景部は出題範囲外。。

9. 出題範囲外を除いて Markdown化 ここもChatGPTにやらせてみました https://chatgpt.com/share/67584189-af1c-800b-8b08- a87e2cda12bd しかし出題範囲外を除くところは うまくいかなかったので最後は手動編集

10. Markdownを使った場合 • (当然ですが)出題範囲外からの出題はなくなる • 大項目・中項目を指定した出題 も精度向上 ただし、以下の問題は存在 • 解説の粒度や有無が一定しない ※ハルシネーション対策もあるので、

    　選択肢全てについて正解・不正解の理由 を 　説明してほしい • 形式を変えるようお願いすると おかしな問題 が出てくる （右の例は、E資格と関係ないPythonの実装問題）

11. もう少しプロンプトを加えて GPTs化 • 問題と回答の形式をガチガチに決めるプロンプト を作成 ◦ 問題形式の例は講座の付録にあった内容を参考に GPTで作成 • ハルシネーション対策

    を狙って、 問題作成前にインターネット検索 するよう指示 ◦ しかしこれはあまり効果なし ◦ GPTsの中で検索させた時の挙動が普通のChatGPTとやや違う？ ◦ 回答内のリンクがほとんど機能せず ChatGPT - E資格対策(非公式)

12. GPTs 2023年11月には有料会員向けにリリース。 カスタム設定のGPTを作成・利用できる機能。 今回で言うとPDFの情報を渡す、特定の指示を必ず入れるなどをプリセット化できるもの Introducing GPTs | OpenAI

13. 😃よかった点 何と言っても手軽 • シラバスを渡すだけで、きちんと知識を持って 作る必要のある問題を量産 できる • スマホからでも使える ので スキマ時間を無限に活用できた

    本当に、合格できたのは GPT利用のおかげでした 🙏

14. 😃よかった点 出題範囲・形式の指定機能 • GPTの出題は割と偏る • 弱点を作らないようニッチ領域の範囲・形式も 指定して対策できたので効率が良かった

15. 😃よかった点 ハルシネーション があるので、 逆に一つ一つの問題に丁寧に取り組めた • 正解と言われていても油断できない ので、 出された内容についてしっかり調べる ことに

16. 😥いまいち・改善したい点 ハルシネーション • とはいえ、本当は正解不正解も 解答説明も全て正しくしてほしい • インターネット検索の利用 で緩和を試みたが 当時はあまりうまくいかず •

    根本的な対策は難しい？ ◦ 資料にできる文書を リソースに入れるなどは考えられる

17. 😥いまいち・改善したい点 利用回数上限 • 4oは40回/3hまで(GPTsではない利用とも合算 ) ◦ 問題→回答のラリーは20回程度 ◦ 気合を入れて勉強していると 上限に当たることがあった

18. 😥いまいち・改善したい点 利用回数上限の解決案 • Assistants API利用: 使った分だけになり費用も低減? しかしスマホからは使いづらい • GeminiのGems: 回数は気にしなくてよくなる

    ただし、数式描画ができない • ClaudeのProjects: 同じく回数の制限は緩和されそう しかし数式描画は弱め。 • Proプラン(月$200)に入る: Money is All You Need😇

19. まとめ • シラバスPDFを投げ込むだけ で問題が作れたのは正直驚き • ハルシネーションも減ってきている →当然確認は必要だが、GPTが知識を持っている領域 であれば 　この種の使い方も十分できる と実感

20. Thank you for listening.

21. Appendix. システムプロンプトとシラバスの抽出内容 システムプロンプト: https://pastebin.com/BzRGnAuw シラバス抽出内容(出題範囲.md): https://pastebin.com/bY6KPaqM パスワードはいずれも NZY2X4Bp9K です。