GPTの仕組みをちゃんと勉強したい本

やっぱGPTを仕組みから勉強したい、という本をいくつか見つけたのでまとめておきます。

まず理論的な概要。 機械学習からニューラルネットワーク、CNNでの画像処理、トランスフォーマーでの自然言語処理、音声認識・合成、そしてそれらを組み合わせたマルチモーダルと章が進むので、理論的な概観を得るのにいいと思います。
最初は数式が多いのだけど、Σをfor文だと思いつつ、定義が説明文中に埋まってるPerlよりたちが悪い記号主体言語だと思えば読めるけどめんどくさいので飛ばしても問題ないと思います。

深層学習からマルチモーダル情報処理へ (AI/データサイエンスライブラリ“基礎から応用へ” 3)

で、もういきなり作る。 トークナイザーから全部つくっていきます。TensorFlowでBERTをつくってGPT2をつくるという流れ。
まだやってないけど、これ写経していけば、だいたい理解できる気がする。

作ってわかる! 自然言語処理AI〜BERT・GPT2・NLPプログラミング入門

ここからは補足的なものを。

PyTorchとかTensorFlowとかよくわからんなーと思ったら、このあたりでいろいろ練習するとよさそう。 GAN(敵対的生成ネットワーク)で画像生成なんかをPyTorchとTensorFlowで作っていきます。

物体検出とGAN、オートエンコーダー、画像処理入門 PyTorch/TensorFlow2による発展的・実装ディープラーニング

あと、トランスフォーマーをもっと知りたいという場合にはこの本いいです。
txt2imgは概要でコードはないですが、トランスフォーマーによる画像認識をいろいろ試せるコードが載ってます。感覚的につかむなら画像処理のほうがよさそう。

Vision Transformer入門 (Computer Vision Library)

それと、いろいろモデルを触るとtransformersというライブラリを使うので、馴染んでおくとよさげ。ドキュメントも割としっかりしているのでそれを読んだりChatGPTに聞いたりでもいいんだけど、本がほしい人むけ。
あと割と、sのつかないtransformerは技術の名前でsがつくtransformersはライブラリの名前みたいになっているので、慣れておくとよさそう。

機械学習エンジニアのためのTransformers ―最先端の自然言語処理ライブラリによるモデル開発

連休に読もう。