LINEヤフー米国データセンタ技術の最前線：LLM(大規模言語モデル)と水冷技術への挑戦 - JANOG54 Meeting in NARA

LINEヤフー米国データセンタ技術の最前線：LLM(大規模言語モデル)と水冷技術への挑戦 - JANOG54 Meeting in NARA

概要 本発表では、米国での情報収集をもとに、LLM（大規模言語モデル）の普及に伴うインフラの要求変化...概要を表示 概要 本発表では、米国での情報収集をもとに、LLM（大規模言語モデル）の普及に伴うインフラの要求変化に対して、水冷技術がなぜ有効なのかを二部構成で解説します。 一部では、LLMの導入によるサーバワークロードの大幅増加が、データセンタのインフラにどのような影響を与えるかを探求します。特に、これまで十分に活用されていなかったデータセンタのリソースが極限まで使用されるようになり、電力、冷却能力、ネットワークにどのような影響があるかを調査します。この過程で、米国企業から得た情報に基づき、GPUサーバの最大負荷時の風量問題に焦点を当て、水冷技術を用いた場合の風量削減の可能性と限界を検証します。 二部では、GTC（GPU Technology Conference）で発表された新しいGPUサーバであるGB200 NVL72の導入検討に際し、なぜ水冷技術が必須とされているのかを米国企業から得た情報を基に

• network