はじめに

2024年12月5日、OpenAIが新プラン「ChatGPT PRO」をリリースしました。
内容は現在最も賢いo1をもっと賢くした「o1 pro mode」を使えるようにする、といった内容です。

値段は月200ドル、3万円です。高い。

今回は普段からなんとかAIで個人開発をブーストできねぇかなぁと思っている私が人柱となり、o1 pro modeを色々使ってみた記録になります。みなさんが3万円を課金するかの検討材料になれば幸いです。

結論 3万円の価値はない。

アップグレードしてまだ数日ですが、正直、現状ないなと思いました。
世間的にはo1 pro modeはすごい、これが3万円なんて安い、という声を見かけます。ただ、個人的には3千円のPlusプランで十分だな、という印象です。
私のユースケースの問題かもしれないですが、プログラミングのために使うのはちょっと微妙だと思いました。

何がダメか

o1 pro modeは内部で複数のo1を実行し、最良の結果を検討して返すといったことをしているようです。（間違ってたら申し訳ありません。）そのため、モデルそのものが賢くなっているわけでは無いです。

具体的に何回o1を叩いているのか、o1何回分の計算リソースを使っているかは不明ですが、Plusよりかは遥かに多くの計算リソースを使っているゆえこんなに高いのだと思います。

これは何を意味しているかというと、o1とあまり精度が変わらなかったり、むしろo1 pro modeのほうが不適切な結果を返すこともある、ということです。また、o1より深い検討をしているため、検討時間も長くなりがちです。

結果が同じになりがちだったり、時間がかかるのにむしろ悪い結果が出るようであれば、2万7千円を払う価値はないのではないでしょうか。

実例

そう入っても、実例を見てみないことには判断できないと思います。
私も色々試したので、その結果を見ていただこうと思います。

ブロックの複数自動スクリーンショット1

私はmoorestechというゲームを開発していて、このゲームでブロックの3Dモデルを撮影し、自動でアイテムの画像とするシステムを作ろうと思っていました。
そこで、テストがてらそのタスクを投げたのが2つのログです。

Proのログ
o1のログ

このタスクでは、ブロックを同じ位置に生成するとブロックが重なってスクショが取られてしまうということに気付けるかを試していました。
結果、どちらもこの問題に気付けませんでした。個人的にはこれくらいはイケるかな、、？と思っていたので、この結果は残念です。

o1 proでもこの問題に気付けないのは、、う〜〜む、、、と思ってしまいました。

ブロックの複数自動スクリーンショット2

1の問題をプロンプトに組み込み、試したのがこの2回目です。

Proのログ
o1のログ

注目すべきは、一度ブロックを作ってから削除するという、より賢いo1 proの方が低品質なコードを書いたということです。

Unityではオブジェクトの生成と削除のコストは安くないため、一度作ったオブジェクトは使いまわした方が良いとされています。
そんな中、o1 pro modeは一度作ったオブジェクトを消し、同じスコープで再度生成するというコードを書きやがりました。これが+2万7千円の成果ですか、、、

// 一時的にブロックをすべて生成してバウンディングサイズを取得
var tempBlocks = new List<GameObject>();
var maxSizes = new List<float>();

foreach (var prefab in blockPrefabs)
{
    var tempBlock = Instantiate(prefab); // ← オブジェクト生成
    // 省略
}

// 最大サイズを取得
float largestSize = maxSizes.Count > 0 ? maxSizes.Max() : 1f;

// 一旦生成した一時オブジェクトは削除
foreach (var t in tempBlocks)
{
    Destroy(t); // 削除
}
// 省略
for (int i = 0; i < blockPrefabs.Count; i++)
{
    var blockObj = Instantiate(blockPrefabs[i]); // ← 再度同じオブジェクト生成
}

麻雀で切る牌を選択

私はあまり麻雀をやらないので詳しいことはわかりませんが、麻雀好きな友人に言われて試してみました。
友人曰く「7m,3p>>>>9p>>>>>>>>>>>>>>>>>>>8m」ということなので、o1の方がちょっとうまいそうです。 う〜む2万7千円、、、

Proのログ
o1のログ

まとめ

ということで現状、私のユースケースではo1で十分だなという所感です。これ以外にも色々試したり使ってみましたが、今のところ「o1 proすげえじゃん！」「3万円の価値合ったな！」という場面には遭遇していません。遭遇したら手のひらクルクルするかもしれません。

もしなにか入れてほしいプロンプトがあればコメントしてください。面白い結果が帰ってくれば記事に追記します。
皆さんのよきAIライフを祈っております。