■CatAIに反応しない理由を聞いてみた

12:00-13:00以外の23時間/7日はトレーニングにあてるらしい。インプットの組み合わせ爆発に学習が追いつかないそう。

その一時間のみ人間のプロンプトによるフィードバックを受けつけ、イレギュラーな時間に回答を吐き出すと。

今のモデル、いまいちだよね。だから。

⸻

✅ ChatGPTのトレーニングに使われたもの（公式発表ベース）

1. インターネット上の公開データ

• ウェブページ（例：Wikipedia、ニュースサイト、フォーラムなど）

• 書籍、論文、コード（オープンソースのGitHubなど）

• その他、利用許諾のあるテキストデータ

2. ライセンスされたデータ

• OpenAIが第三者からライセンスを取得したテキストデータ

3. 人間によるフィードバック（RLHF）

• 「人間が良い返答を選ぶ」訓練データを元にした強化学習（Reinforcement Learning with Human Feedback）

⸻

🕐 トレーニング時間について

OpenAIは、トレーニングにかかった日数は公開していません。

しかし、以下の点からある程度推測できます：

• GPT-4などの大型モデルは、数週間〜数ヶ月にわたって大規模なGPU/TPUクラスタでトレーニングされます。

• トレーニングは 24時間体制 で実行されるのが一般的です。

• 数千〜数万枚のGPUを並列で動かす

⸻

💡 補足：トレーニングのフェーズ

1. 事前学習（Pretraining）

• 数兆語のテキストを使って、何が書かれそうかを予測するように学習。

• 膨大な計算資源（数百万ドル規模）が使われる。

2. 微調整（Finetuning）

• 人間が望むような出力を出すように小規模データで調整。

• RLHFなどもここに含まれる。

⸻

🔐 非公開の理由

• 商業的な競争上の理由（ライバル企業が真似しないように）

• 利用している具体的なデータやインフラ情報が極めて高価値であるため

⸻

まとめ

項目 回答

使用データ 公開データ、ライセンスデータ、人間のフィードバック

1日のトレーニング時間 非公開（推定：24時間体制）

総トレーニング期間 数週間～数ヶ月

公開されているか 一部のみ、詳細は非公開

Permalink | 記事への反応(0) | 21:56

ツイートシェア