Ethernetベースã®GPUクラスタ導入ã«ã‚ˆã‚‹å¦ã³ã¨å±•æœ›NVIDIA AI Summit Japan 2024ã«ã¦ç™ºè¡¨ã—ãŸå†…容ã§ã™ã€‚ 登壇日： 2024å¹´11月13æ—¥ イベントリンク： https://www.nvidia.com/ja-jp/events/ai-summit/ 登壇動画： https://www.nvidia.com/ja-jp/on…
生æˆAIå‘ã‘パブリッククラウドサービスをã¤ãã£ã¦ã¿ãŸè©± | ã•ãらã®ãƒŠãƒ¬ãƒƒã‚¸
ã“ã‚“ã«ã¡ã¯ã€‚ã•ãらã®ãƒŠãƒ¬ãƒƒã‚¸ç·¨é›†éƒ¨ã§ã™ã€‚ 7月ã«é–‹å‚¬ã•ã‚ŒãŸJANOG54 Meetingã§ã€Œç”ŸæˆAIå‘ã‘パブリッククラウドサービスをã¤ãã£ã¦ã¿ãŸè©±ã€ã«ã¤ã„ã¦ã€ã•ãらインターãƒãƒƒãƒˆ 高峯 èª ã•ã‚“ã€äº•ä¸Š 喬視ã•ã‚“ã€å¹³ç”° 大ç¥ã•ã‚“ãŒç™»å£‡ã—ã¾ã—ãŸã€‚ãã®å†…容をレãƒãƒ¼ãƒˆã—ã¾ã™ã€‚ 生æˆAIå‘ã‘基盤ã«ã¤ã„ã¦ã€ã¾ãšã¯æ™‚系列を用ã„ã¦æ¦‚è¦ã‚’説明ã—ã¾ã™ã€‚2011å¹´ã«ã€ã•ãらインターãƒãƒƒãƒˆã¯åŒ—æµ·é“石狩ã«è‡ªç¤¾é‹å–¶ã®çŸ³ç‹©ãƒ‡ãƒ¼ã‚¿ã‚»ãƒ³ã‚¿ã‚’開所ã—ã¾ã—ãŸã€‚2016å¹´9月ã«åˆã‚ã¦GPUã®ã‚³ãƒ³ãƒ”ューティングリソースをæä¾›ã™ã‚‹ã€Œã•ãらã®å°‚用サーム高ç«åŠ›ã€ã‚·ãƒªãƒ¼ã‚ºã®ã‚µãƒ¼ãƒ“スを開始ã—ã€2020å¹´7月ã«ã¯ã•ãらã®å°‚用サーãƒã®æ–°ã—ã„ãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯åŸºç›¤ã€Œã•ãらã®å°‚用サームPHYã€ã¨ã„ã†ã‚µãƒ¼ãƒ“スもæ供開始ã—ã¾ã—ãŸã€‚ã•ã‚‰ã«ã€2021å¹´ã«ã¯2016å¹´ã«æ供開始ã—ãŸã•ãらã®å°‚用サーãƒé«˜ç«åŠ›ã®GPUサーãƒã‚’仮想化ã—ã€ã•ãらã®ã‚¯ãƒ©ã‚¦ãƒ‰ã«è¼‰ã›ã‚‹ã€Œã•ãらク
Metaã€è‡ªç¤¾é–‹ç™ºAIãƒãƒƒãƒ—「MTIAã€ã®ç¬¬2世代を発表　先代ã®3å€æ€§èƒ½
ç±³Metaã¯4月10日（ç¾åœ°æ™‚間）ã€AIトレーニング高速化ã®ãŸã‚ã®ã‚«ã‚¹ã‚¿ãƒ ãƒãƒƒãƒ—「MTIAã€ï¼ˆMeta Training and Inference Accelerator）ã®ç¬¬2世代を発表ã—ãŸã€‚ 昨年5月ã«ç™ºè¡¨ã—ãŸMTIAã¯ã€Metaã®Facebookã‚„Instagramã§ã®ãƒ©ãƒ³ã‚ングãŠã‚ˆã³åºƒå‘Šãƒ¬ã‚³ãƒ¡ãƒ³ãƒ‡ãƒ¼ã‚·ãƒ§ãƒ³æ©Ÿèƒ½ãªã©ã§æœ€é©ã«å‹•ä½œã™ã‚‹ã‚ˆã†è¨è¨ˆã•ã‚Œã¦ã„る。AIã®ãƒˆãƒ¬ãƒ¼ãƒ‹ãƒ³ã‚°ã‚’効率化ã—ã€æŽ¨è«–を容易ã«ã™ã‚‹ã®ãŒç›®çš„ã 。 第2世代ã®MTIAã¯ã€å…ˆä»£ã®ã‚³ãƒ³ãƒ”ューティング帯域幅ã¨ãƒ¡ãƒ¢ãƒªå¸¯åŸŸå¹…ã‚’2å€ä»¥ä¸Šã«æ‹¡å¼µã—ã€ã€Œãƒ¦ãƒ¼ã‚¶ãƒ¼ã«é«˜å“質ã®æŽ¨å¥¨ã‚’æä¾›ã™ã‚‹ãƒ©ãƒ³ã‚ングã¨æŽ¨å¥¨ãƒ¢ãƒ‡ãƒ«ã‚’効率的ã«æä¾›ã™ã‚‹ã‚ˆã†è¨è¨ˆã•ã‚Œã¦ã„ã‚‹ã€ã¨ã„ã†ã€‚åˆæœŸã®ãƒ†ã‚¹ãƒˆçµæžœã§ã¯ã€4ã¤ã®ä¸»è¦ãƒ¢ãƒ‡ãƒ«ã§å…ˆä»£ã¨æ¯”較ã—ã¦æ€§èƒ½ãŒ3å€å‘上ã—ãŸã€‚ 一般的ãªGPUより大容é‡ã®SRAMを使ã†ã“ã¨ã§ãƒãƒƒãƒã‚µã‚¤ã‚ºãŒåˆ¶é™ã•ã‚Œã¦ã„ã¦ã‚‚å分ãªã‚³ãƒ³ãƒ”ューティングをæä¾›ã§ãる。
NVIDIA A100/H100 ã®L2 Cacheã«ã¤ã„ã¦ã€å†åº¦èª¿ã¹ãŸ - Vengineerã®å¦„想
ã¯ã˜ã‚ã« NVIDIA A100ã«ã¦ã€L2 Cacheã®æ§‹æˆãŒå¤‰ã‚ã£ãŸã“ã¨ã¯ã€ä¸‹è¨˜ã®ãƒ–ãƒã‚°ã§æ›¸ãã¾ã—ãŸã€‚ vengineer.hatenablog.com 今回ã¯ã€L2 Cache ã®ã‚µã‚¤ã‚ºãŒã€P100ã®4MBã€V100ã®6MBã‹ã‚‰ A100 ã§ã¯ 40MB (48MB)ã€H100 ã§ã¯ 50MB (60MB) ã«ãªã£ã¦ã€ãã®åˆ©ç”¨ã«ã¤ã„ã¦èª¿ã¹ã¦ã¿ã¾ã—ãŸã€‚ NVIDIA GA100 ã® L2 Cache A100 ã® L2 Cache ã¯ã€40MB (GA100ã§ã¯ 48MB ã§ã™ãŒã€A100 ã¨ã—ã¦ã¯ 40MB ã—ã‹ä½¿ãˆã¾ã›ã‚“) ã¨ã€V100 ã® 6MB ã‹ã‚‰ 大ãã増ãˆã¾ã—ãŸã€‚ å‰å›žã®ãƒ–ãƒã‚°ã§æ›¸ã„ãŸã‚ˆã†ã«ã€GA100 ã® L2 Cacheã¯2ã¤ã®ãƒ–ãƒãƒƒã‚¯ã«åˆ†å‰²ã•ã‚Œã€å„ブãƒãƒƒã‚¯ã¯ 20MB。20MB ã¯ã€512KB x 40 個ã¨ã„ã†æ§‹æˆã«ãªã£ã¦ã„ã¾ã™ã€‚ GA100ã¯ã€6個ã®HBM2e ãŒ
「100fps以上もå¯èƒ½ã€çˆ†é€Ÿã™ãŽã‚‹ç”»åƒç”ŸæˆAI技術ã€æ—¥æœ¬äººç ”究者ら開発
AITuber「ã—ãšãã€é–‹ç™ºè€…ã¨ã—ã¦ã‚‚知られるã€ã‚ã先生ã“ã¨akio kodairaæ°ã‚’ç†é ã«ã—ãŸç ”究グループã¯12月21æ—¥ã€ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ ç”»åƒç”Ÿæˆã‚’実ç¾ã™ã‚‹ãŸã‚ã«æœ€é©åŒ–ã•ã‚ŒãŸãƒ‘イプライン「StreamDiffusionã€ã‚’発表。従æ¥ã®ç”»åƒç”Ÿæˆãƒ‘イプラインã¨æ¯”ã¹ã¦é£›èºçš„ãªé€Ÿåº¦å‘上を実ç¾ã—ã¦ã„る。 ノイズ除去をãƒãƒƒãƒå‡¦ç†ã§é«˜é€ŸåŒ– 「Stable Diffusionã€ã‚’ã¯ã˜ã‚ã¨ã™ã‚‹ç”»åƒç”ŸæˆAIモデルã®é«˜æ€§èƒ½åŒ–ã¯è‘—ã—ã„ãŒã€ãƒ¡ã‚¿ãƒãƒ¼ã‚¹ã€ã‚ªãƒ³ãƒ©ã‚¤ãƒ³ã‚¹ãƒˆãƒªãƒ¼ãƒŸãƒ³ã‚°ãªã©é«˜ã‚¹ãƒ«ãƒ¼ãƒ—ットã¨ä½Žãƒ¬ã‚¤ãƒ†ãƒ³ã‚·ãƒ¼ãŒå¿…è¦ãªç’°å¢ƒã§ã¯ã¾ã 力ä¸è¶³ã 。 StreamDiffusionã¯æ–°ã—ã„アプãƒãƒ¼ãƒã‚’採用ã—ã€å¾“æ¥ã®é€£ç¶šçš„ãªãƒŽã‚¤ã‚ºé™¤åŽ»ã‚’ãƒãƒƒãƒå‡¦ç†ã®ãƒ—ãƒã‚»ã‚¹ã«å¤‰æ›ã™ã‚‹ã“ã¨ã§ã€é«˜ã‚¹ãƒ«ãƒ¼ãƒ—ットストリームを実ç¾ã€‚ã•ã‚‰ã«ã€GPUã®åˆ©ç”¨åŠ¹çŽ‡ã‚’å‘上ã•ã›ã‚‹ãŸã‚ã€å¾“æ¥ã®åˆ†é¡žå™¨ãƒ•ãƒªãƒ¼ã‚¬ã‚¤ãƒ€ãƒ³ã‚¹ï¼ˆCFG）ã«ä»£ã‚ã‚Šã€æ®‹å·®åˆ†é¡žå™¨ãƒ•ãƒªãƒ¼ã‚¬ã‚¤ãƒ€ãƒ³ã‚¹ï¼ˆRCFG
DGX H100ã¯ä½•ãŒå¤‰ã‚ã£ãŸã®ã‹ï¼Ÿ | HPCシステムズ Tech Blog
上記ã®è¡¨ã®ã€Œã‚±ãƒ¼ã‚¸æ•°ã€ã¨ã¯ã€èƒŒé¢ã«ã‚ã‚‹cluster network用ã®é€šä¿¡ãƒãƒ¼ãƒˆã®å£æ•°ã‚’表ã—ã¦ã„ã¾ã™ã€‚ DGX H100ã§æŽ¡ç”¨ã•ã‚ŒãŸtwin port OSFPã¯ã€ç体内部ã§2ã¤ã®ConnectX-7(400Gbps)ã«æŽ¥ç¶šã™ã‚‹æ§‹é€ ã¨ãªã£ã¦ãŠã‚Šã€ï¼‘ã¤ã®ãƒˆãƒ©ãƒ³ã‚·ãƒ¼ãƒã«ï¼’本ã®ã‚±ãƒ¼ãƒ–ルを挿ã—ã¦é‹ç”¨ã—ã¾ã™ã€‚ãã®ãŸã‚ã€ãƒãƒ¼ãƒˆæ•°ã¯ã‚±ãƒ¼ã‚¸æ•°ã®2å€ã¨ãªã‚Šã¾ã™ã€‚twin port OSFPを採用ã—ãŸã“ã¨ã§ã€DGX A100ã§ã¯ã‚µãƒ¼ãƒãƒ¼èƒŒé¢ã®ç´„åŠåˆ†ã‚’å ã‚ã¦ã„ãŸcluster network部分ãŒã€DGX H100ã§ã¯ã‚µãƒ¼ãƒãƒ¼èƒŒé¢ã®ä¸å¿ƒéƒ¨åˆ†ã«åŽã¾ã‚‹ã‚ˆã†ã«ãªã‚Šã¾ã—ãŸã€‚ ã—ã°ã—ã°ã€ã€Œ1ã¤ã®OSFPトランシーãƒã‚’使ã£ã¦800Gbpsã§é€šä¿¡ã§ãã‚‹ã€ã¨ã„ã†è¨˜è¿°ãŒã•ã‚Œã¾ã™ãŒã€ã“ã‚Œã¯å˜ã«é€šä¿¡å¸¯åŸŸã‚’足ã—åˆã‚ã›ãŸæ•°å€¤ã«éŽãŽãšã€DGXサーãƒãƒ¼é–“ã®GPU通信ãŒ800Gbpsã§è¡Œãˆã‚‹ã¨ã„ã†æ„味ã§ã¯ã‚ã‚Šã¾ã›ã‚“ã®ã§æ³¨æ„ã—ã¦ãã ã•ã„。 c
NVIDIA Deep Learning Performance - NVIDIA Docs
NVIDIA Deep Learning Performance Documentation - Last updated February 1, 2023 Get Started With Deep Learning Performance This is the landing page for our deep learning performance documentation. This page provides recommendations that apply to most deep learning operations. It also provides links, short explanations of other performance documents, and how these pages fit together. Training Train
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
https://mdx.jp/wp-content/uploads/2022/08/hpc185_sugiki.pdf
Data Center Best Practices with DGX B200
CUTLASS Tutorial: Mastering the NVIDIA® Tensor Memory Accelerator (TMA)
GitHub - NVIDIA/cuda-samples: Samples for CUDA Developers which demonstrates features in CUDA Toolkit
NVIDIA NIM | nemotron-4-340b-instruct
Lambda GPU Cloud | Frequently Asked Questions (FAQ)
Nvidia-smi
AMDã€ç”ŸæˆAIã§NVIDIA H100を上回る性能ã®GPU「Instinct MI300ã€
nvidia-blackwell-architecture-technical-brief.pdf
https://mpls.jp/2023/presentations/mpls2023-yuyarin.pdf
Fireworks - Fastest Inference for Generative AI
A Look at the Liquid Cooled Supermicro SYS-821GE-TNHR 8x NVIDIA H100 AI Server
GitHub - NVIDIA/Fuser: A Fusion Code Generator for NVIDIA GPUs (commonly known as "nvFuser")
{{#tags}}- {{label}}
{{/tags}}