北森瓦版

　
“Spring Hill”―Nervana Nerual Network Processor for Inference (NNP-I) 1000は、軽量な推論ワークロードをデータセンターで行うためのチップである。ゆえに十分小型である必要があり、標準的なM.2デバイスに収められ、マザーボードのM.2スロットに搭載できるものとなる。そしてXeonサーバーを推論重視のワークロードから解放し、より大がかりな一般的な演算タスクに（Xeonを）集中させることができる。IntelはNeural Network Processor fot Training (NNP-T) も学習ワークロード向けのNervanaソリューションとして提唱するが、これとは異なるアーキテクチャである。

“Spring Hill”は10nmの“Ice Lake”をベースに変更を加えたものである。まず4-coreのうち2-core分の“Sunny Cove” CPUコアとiGPUを取り除き、代わりに12基のInference Compute Engine (ICE) を搭載する。ICEはハードウェアベースでユニット間で同期し、coherent fabricと24MBの共有L3 cacheを有する（L3 cacheは2つの“Sunny Cove”IA CPUコアとも共有する）。

“Sunny Cove”は元々AVX-512とVNNI命令セットを有しており、Convolutional Neural Networksの速度向上に寄与する。またFIVRはオンダイユニットに効率よく電力を配分する。さらに、2基のLPDDR4Xメモリコントローラを有しており、オンパッケージのLPDDR4Xに接続される。

だいぶ長くなるので残りはIntelのスライドを見ながらかいつまんで。

◇Spring Hill NNP-I
このスライドに“Spring Hill”の構成が描かれている。2基の“Sunny Cove”IA coreと12基のInference Compute Enigne (ICE) を搭載しており、これらはCach Coherency fabricで接続されるとともに24MBのL3 cacheを共有する。I/OとしてLPDDR4Xメモリコントローラを2基、PCI-Express 3.0 x4ないしはx8を備えている。
電力レンジは10～50Wとなるが、M.2インターフェースの上限が15Wであるため、M.2規格で提供されるものは15W以下になるだろうと推測される。それよりも高い電力帯のものはPCI-Expressカードの形で提供されるだろうと推定されている。

◇ICE-Inference Compute Engine
（どうしよう、さっぱりわからなくなってきたぞ）
最近はやりの推論を担うユニットである。
ブロック図にはDeep Leraning Compute Grid (DL Compute Unit) とVP6 DSP、4MB SRAMが中央に並んでおり、これらはData & Ctrl fabricに接続されている。またVP6 DSPとDR Compute Gridは256KB TCMにも繋がっている。
まずDeep Learning Compute Gridであるが、FP16, INT8, INT 4/2/1をサポートするという記載があり、1 cycleあたり4K MAC (int 8)を処理できるとある。またICE全体を有する4MBのSRAMとは別に、ローカルのSRAMを内蔵し、電力効率を高めている。
Programable Vector ProcessorはVP6 DSPと記されているユニットのことであろうか。5 VLIW 512bという記載があり、FP16/16b/8bのサポートを行うとある。

さらにこれらDL Compute UnitとVP6 DSPについてより詳しく記載したスライドもあるのだが、もう「全然わからん！」状態なので興味のある方は是非とも実際にそのスライドを見て欲しい。

At Hot Chips, Intel Pushes ‘AI Everywhere’（Intel）

Hot Chips 31でIntelが行ったAI Everywhere関連のニュースリリースはここにまとまっている。より大型のチップであるNerveana NNP-Tについても記載されている。NNP-Tは“Spring Crest”という名前がついているが、NNP-Iよりも遙かに規模の大きなチップで、24基のTensor Processorを搭載し、メモリにはHBMを4 stack、これらを“Fiji”や“Vega”同様のシリコンインタポーザを用いた2.5次元実装を行うと見られる。
雑な表現を用いてしまえばTensor Coreをガン積みして推論性能に思い切り舵を振り切ったTeslaのようなものである。製造プロセスはTSMC CLN16FF+、ダイサイズは680mm2となっており、なかなかの大型チップである（Interposerに至っては1200mm2とかいう数字が出てきている）。インターフェースはPCI-Express 4.0 x16、空冷を想定しており150～250W程度の動作電力を見込んでいる模様である。

NNP-Tはともかく、NNP-IのM.2規格のものは小さなチップであり、道楽で自作PCに載せる 怖い人 趣味人もいるかもしれない。とはいえ、載せても決して艦これで新規実装艦が出やすくなるとかそういう効果はないだろう（当たり前だ）。

（追記：2019年9月2日20時33分）
Intelの深層学習チップ「Spring Crest」と「Spring Hill」の大きく異なるアーキテクチャ（Impress PC Watch / 後藤弘茂のWeekly海外ニュース）

後藤氏のコラムで“Spring Hill”および“Sprinc Crest”の解説が行われている。こちらも是非ご参照いただきたい。

関連記事

• 4-coreの“Amber Lake-Y”がひっそりと追加された模様 (2019/08/21)
• “Spring Hill”―Hot Chips 31で明らかにされたNNP-Iの中身 (2019/08/21)
• 18-coreの“Cascade Lake-X”のES品と推測されるCPUが姿を現す (2019/08/18)

---

○Amazon売れ筋ランキング CPU メモリ　グラフィックカード　マザーボード　SSD　電源

---