生æˆAIå‘ã‘機械å¦ç¿’クラスタ構築ã®ãƒ¬ã‚·ãƒ” 北海é“石狩編 | ã•ãらã®ãƒŠãƒ¬ãƒƒã‚¸
ã“ã‚“ã«ã¡ã¯ã€‚ã•ãらã®ãƒŠãƒ¬ãƒƒã‚¸ç·¨é›†éƒ¨ã®å®‰æ°¸ã§ã™ã€‚ 2024å¹´6月15日（土）ã€æœå¹Œã‚³ãƒ³ãƒ™ãƒ³ã‚·ãƒ§ãƒ³ã‚»ãƒ³ã‚¿ãƒ¼ã«ã¦ã€ŒCloudNative Days Summer 2024 ã€ãŒé–‹å‚¬ã•ã‚Œã¾ã—ãŸã€‚ã“ã®ã‚¤ãƒ™ãƒ³ãƒˆã§ã€æ ªå¼ä¼šç¤¾Preferred Networks（以下「PFNã€ã¨ç§°ã—ã¾ã™ï¼‰ã®æ¸…æ°´ç¿”ã•ã‚“ã¨ä¸Šé‡Žè£•ä¸€éƒŽã•ã‚“ãŒã€ã•ãらインターãƒãƒƒãƒˆã®ã‚µãƒ¼ãƒ“スを利用ã—ãŸç”ŸæˆAIå‘ã‘機械å¦ç¿’クラスタ構築ã®æ–¹æ³•ã«ã¤ã„ã¦ç™ºè¡¨ã—ã¾ã—ãŸã€‚ãã®ãƒ¬ãƒãƒ¼ãƒˆã‚’ãŠå±Šã‘ã—ã¾ã™ã€‚ 最åˆã«ã€ç”ŸæˆAIã®å¦ç¿’ã¨ã¯ä½•ã‹ã«ã¤ã„ã¦èª¬æ˜Žã—ã¾ã™ã€‚生æˆAIã®å¦ç¿’ã§ã¯ã€éžå¸¸ã«å¤§è¦æ¨¡ãªãƒ‘ラメータをæŒã¤è¨€èªžãƒ¢ãƒ‡ãƒ«ï¼ˆLLM）を使用ã—ã¾ã™ã€‚PFNã‚„æ ªå¼ä¼šç¤¾Preferred Elements（以下「PFEã€ã¨ç§°ã—ã¾ã™ï¼‰ã§ã¯ã€ã€ŒPLaMoã€ã¨ã„ã†å¤§è¦æ¨¡è¨€èªžãƒ¢ãƒ‡ãƒ«ã‚’開発ã—ã¦ã„ã¾ã™ã€‚例ãˆã°ã€100å„„ã®ãƒ‘ラメータをæŒã¤ãƒ¢ãƒ‡ãƒ«ã®å ´åˆã€ãƒ¡ãƒ¢ãƒªä½¿ç”¨é‡ã¯ãƒ‘ラメータã¨ãƒ‘ラメータ更新時
僕ã®å¥½ããªã€ŒLLMã¯çŸ¥è˜ã®ç´¢å¼•ã€ã¨ã„ã†è€ƒãˆæ–¹ã€€Preferred Networks岡野原æ°ãŒè€ƒãˆã‚‹LLMã®é€²åŒ– | ãƒã‚°ãƒŸãƒ¼Business
生æˆAIカンファレンス2024〜徹底解剖「トップランナーã‹ã‚‰è¦‹ãŸæ—¥æœ¬ãŒæŒ‘む生æˆAIã®æœ€å‰ç·šã€ã€œ 2024.05.08 - 2024.05.08 実験ã®ã‚·ãƒŸãƒ¥ãƒ¬ãƒ¼ã‚·ãƒ§ãƒ³ã‚’LLMãŒç”Ÿæˆã™ã‚‹å²¡é‡ŽåŽŸå¤§è¼”æ°ï¼šï¼ˆã‚¹ãƒ©ã‚¤ãƒ‰ã‚’示ã—ã¦ï¼‰ã“ã“ã§ã¯ã€LLMã®å¼Šç¤¾ã®ä¸ã§ã®åˆ©ç”¨äº‹ä¾‹ã‚’ã„ãã¤ã‹ç´¹ä»‹ã—ã¦ã„ããŸã„ã¨æ€ã„ã¾ã™ã€‚1ã¤ç›®ãŒæ料探索ã®ãƒ‡ãƒ¢ã§ã€å¼Šç¤¾ã¯ã€ŒMatlantisã€ã¨å‘¼ã°ã‚Œã‚‹è¨ˆç®—科å¦å‘ã‘ã®ã‚·ãƒŸãƒ¥ãƒ¬ãƒ¼ã‚¿ãƒ¼ã‚’製å“ã¨ã—ã¦å‡ºã—ã¦ã„ã¦ã€ã“ã‚Œã¯éžå¸¸ã«é«˜ç²¾åº¦ã«ã€ã„ã‚ã„ã‚ãªææ–™ã®æ€§è³ªã€ä¾‹ãˆã°é›»æ± ã‚„åŠå°Žä½“や触媒を作る時ã®ææ–™ã®æ€§è³ªã‚’ã€é«˜ç²¾åº¦ã§ã‚·ãƒŸãƒ¥ãƒ¬ãƒ¼ã‚·ãƒ§ãƒ³ã§ãる製å“ã§ã™ãŒã€ã“れを使ã†ãŸã‚ã«ã¯è¨ˆç®—科å¦ã®ãƒ—ãƒã‚°ãƒ©ãƒ ã®çŸ¥è˜ãŒå¿…è¦ã§ã™ã€‚ ãªã®ã§ã€ãªã‹ãªã‹ãã®å®Ÿé¨“ã§ç§‘å¦è€…ãŒä½¿ã†ã“ã¨ãŒé›£ã—ã„ã§ã™ã€‚ãã“ã§äººé–“ã®è¨€è‘‰ã§ã€ã“ã†ã„ã†å®Ÿé¨“ã®ã‚·ãƒŸãƒ¥ãƒ¬ãƒ¼ã‚·ãƒ§ãƒ³ã‚’ã—ãŸã„ã¨æŒ‡ç¤ºã™ã‚‹ã¨ã€ãã‚Œã«åˆã‚ã›ãŸãƒ—ãƒã‚°ãƒ©ãƒ ã‚’ã€ãƒ•ã‚¡ã‚¤ãƒ³ãƒãƒ¥ãƒ¼ãƒ‹ãƒ³ã‚°ã•ã‚ŒãŸLLMãŒç”Ÿæˆã™ã‚‹
Building Meta’s GenAI Infrastructure
Marking a major investment in Meta’s AI future, we are announcing two 24k GPU clusters. We are sharing details on the hardware, network, storage, design, performance, and software that help us extract high throughput and reliability for various AI workloads. We use this cluster design for Llama 3 training. We are strongly committed to open compute and open source. We built these clusters on top of
Meta ãŒ2ã¤ã®æ–°ã—ã„24k GPU AIクラスタを発表 | Data Center Café
AIã®ç ”究開発をサãƒãƒ¼ãƒˆã™ã‚‹ãŸã‚ã«æ§‹ç¯‰Meta ã¯ã€åŒç¤¾ã®å¤§è¦æ¨¡è¨€èªžAIモデル「Llama 3ã€ã®ãƒˆãƒ¬ãƒ¼ãƒ‹ãƒ³ã‚°ã«ä½¿ç”¨ã—ã¦ã„ã‚‹2ã¤ã®æ–°ã—ã„24,000GPUデータセンターè¦æ¨¡ã®ã‚¯ãƒ©ã‚¹ã‚¿ã‚’構æˆã™ã‚‹ãƒãƒ¼ãƒ‰ã‚¦ã‚§ã‚¢ã€ãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯ã€ã‚¹ãƒˆãƒ¬ãƒ¼ã‚¸ã€è¨è¨ˆã€ãƒ‘フォーマンスã€ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ã®è©³ç´°ã‚’公開ã—ã¾ã—ãŸã€‚ æ–°ã—ã„トレーニング・クラスタã¯ã€2022å¹´ã«ç™ºè¡¨ã•ã‚ŒãŸMetaã®AIリサーãƒãƒ»ã‚¹ãƒ¼ãƒ‘ークラスター（ Research SuperCluster：RSC）をベースã«ã—ã¦ã„ã¾ã™ã€‚ 自然言語処ç†ã€éŸ³å£°èªè˜ã€ç”»åƒç”Ÿæˆãªã©ã®åˆ†é‡Žã«ãŠã‘ã‚‹AIã®ç ”究開発をサãƒãƒ¼ãƒˆã™ã‚‹ãŸã‚ã«é–‹ç™ºã•ã‚ŒãŸä»Šå›žç™ºè¡¨ã•ã‚ŒãŸã‚¯ãƒ©ã‚¹ã‚¿ã¯ã€ã„ãšã‚Œã‚‚24,576基ã®Nvidia Tensor Core H100 GPUã‚’æ載ã—ã¦ã„ã¾ã™ã€‚ã“ã‚Œã¯ã€16,000 Nvidia A100 GPUã‚’æ載ã—ã¦ã„ãŸå½“åˆã®ã‚¯ãƒ©ã‚¹ã‚¿ã‚ˆã‚Šã‚‚大幅ã«å¢—åŠ ã—ã¦ã„ã¾ã™ã€‚ Meta
1
ãŠçŸ¥ã‚‰ã›
ランã‚ング
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
Minder: Faulty Machine Detection for Large-scale Distributed Model Training
The impact of LLMs on Datacenter
MPLS Japan 2024: アクセラレータ間通信ã®å®Ÿéš›
Networking @Scale 2024
Exploring GPU-to-GPU Communication: Insights into Supercomputer Interconnects
OFA Virtual Workshop 2024 Day Keynote
http://arxiv.org/pdf/2307.12169
NVIDIA DGX GH200 Technical White Paper
ACM Middleware 2022: Keynote Talk - Hardware-Middleware System co-design for foundation models
Running foundation models on standard Ethernet cables
{{#tags}}- {{label}}
{{/tags}}