NVIDIA H200 Tensor 核心 GPU

此為初步測得的效能，後續可能有更新資訊。
Llama2 13B: ISL 128, OSL 2K | Throughput | H100 SXM 1x GPU BS 64 | H200 SXM 1x GPU BS 128
GPT-3 175B: ISL 80, OSL 200 | x8 H100 SXM GPUs BS 64 | x8 H200 SXM GPUs BS 128
Llama2 70B: ISL 2K, OSL 128 | Throughput | H100 SXM 1x GPU BS 8 | H200 SXM 1x GPU BS 32.

隨著人工智慧不斷演進，企業仰賴 LLM 來因應各種推論需求。龐大的使用者進行大規模部署 AI 推論加速器時，必須運用最低的整體擁有成本 (TCO) 達到最高的傳輸量。

與 H100 GPU 相比，H200 在處理 Llama2 70B 等大型語言模型時，可將推論效能大幅提升到最高 2 倍。

此為初步測得的效能，後續可能有更新資訊。
Llama2 70B: ISL 2K, OSL 128 | Throughput | H100 1x GPU BS 8 | H200 1x GPU BS 32

隨著 H200 的推出，能源效率和整體擁有成本 達到新高。這項尖端技術提供無與倫比的效能，並且與 H100 Tensor Core GPU 使用相同的功耗設定。人工智慧工廠和超級運算系統不僅更快速，也更環保，所具備的經濟優勢可以推動人工智慧和科學界持續進步。