PCIe をチップ間接続用途していたが、そろそろ限界？

はじめに

AI Chip の中には、PCIe をチップ間接続用途として使っているものがあります。

• Graphcore : IPU (PCIe Gen4相当)
• SambaNova Systems : SN10/SN20/SN30、SN40は明記していないがたぶんそうだと妄想
• AWS : Inferentia 2/Trainium

とか

AWS Trainium 2 の NeuronLink v3 は、PCIe Gen5ベース？

下記のSemiAnalysysの記事によると、AWS Trainium 2 の NeuronLink v3 は、PCIe Gen5ベースとなっています。

semianalysis.com

今後は、どうなる？

Graphcoreは、Softbankに買収され、今までのIPU開発からSoftbankの主導で違うものを開発していると思うので無くなったと認識

SambaNova Systems に関しては、今年の2月の下記のブログで、Ethernetを利用感じになっているのかな？と思います。

vengineer.hatenablog.com

そして、AWSですが、下記のプレスによると、

This agreement covers a broad range of data center semiconductors from Marvell, including the supply of custom AI products, optical digital signal processors (DSPs), active electrical cable (AEC) DSPs, PCIe retimers, data center interconnect (DCI) optical modules and Ethernet switching silicon solutions.

とあります。

AWSは、パートナーが Alchip から Marvell に変わるというのではと思っています。Marvellの技術を Trainium 3 に取り込むのかな。。

www.marvell.com

おわりに

Cerebras Systemsは、Ethernet(100GbE) を 12本、CS-1/CS-2/CS-3から出ていますが、この100GbEは FPGAと繋がっていると妄想します。

下記のブログにも書きましたが、FPGAからASICに移行するような感じです。

vengineer.hatenablog.com

LLMになり、チップ/システム間の接続が重要になってきているので、そうなりますよね。