An intuitive understanding of the LAMB optimizer
In software engineering, decreasing cycle time has a super-linear effect on progress. In modern deep learning, cycle time is often on the order of hours or days. The easiest way to speed up training, data parallelism, is to distribute copies of the model across GPUs and machines and have each copy compute the loss on a shard of the training data. The gradients from these losses can then be accumul
åŒæ›²ç©ºé–“ã§ã®Machine Learningã®æœ€è¿‘ã®é€²å±• - ABEJA Tech Blog
ABEJAã§Reseacherã‚’ã—ã¦ã„る白å·ã§ã™ã€‚ 以å‰ã€Poincaré Embeddingsã¨ã„ã†åŒæ›²ç©ºé–“ã¸ã®åŸ‹ã‚è¾¼ã¿æ‰‹æ³•ã‚’ã”紹介ã—ã¾ã—ãŸã€‚当時ã€æœ¨æ§‹é€ データを5次元ã®ç©ºé–“ã«ç²¾åº¦è‰¯ã埋ã‚è¾¼ã‚ã‚‹ã¨ã„ã†ã“ã¨ã§è©±é¡Œã«ãªã£ãŸã®ã§ã™ãŒã€ãã®å¾ŒåŒæ›²ç©ºé–“ã§ã®æ©Ÿæ¢°å¦ç¿’手法ãŒå¤šæ•°ç ”究・æ案ã•ã‚Œã€åŒæ›²ç©ºé–“ã§ã®æ©Ÿæ¢°å¦ç¿’ã«ã¤ã„ã¦ã®ç†è§£ã‚’ãƒãƒ¼ã‚¸ãƒ§ãƒ³ã‚¢ãƒƒãƒ—ã™ã‚‹å¿…è¦ãŒã‚ã‚‹ãªã¨æ„Ÿã˜ãŸã®ã§ã€æœ€è¿‘ã®ç ”究ã®é€²å±•ã‚’ä¸å¿ƒã«ç†è«–背景å«ã‚ã¦ã”紹介ã—ãŸã„ã¨æ€ã„ã¾ã™ã€‚ tech-blog.abeja.asia Tl;dr 本記事ã§ä¼ãˆãŸã„ã®ã¯ã€è«–æ–‡ã®å„è«–ã¨ã„ã†ã‚ˆã‚Šã€å„種論文ã§å…±é€š/独自ã«ä¸»å¼µã•ã‚Œã¦ã„る下記ã®ã‚ˆã†ãªå†…容ã§ã™ã€‚ 木ãªã‚‰2次元ã§å分 åŒæ›²ç©ºé–“ã§ã¯æŒ‡æ•°å†™åƒ/対数写åƒãŒæ˜Žç¤ºçš„ã«è¨ˆç®—ã•ã‚Œç©ºé–“全体ã«æ‹¡å¼µã•ã‚Œã‚‹ã®ã§å–扱ãŒå®¹æ˜“ Gyrovector space: åŒæ›²ç©ºé–“ã«ãŠã‘る線形代数ã®ã‚ˆã†ãªä»£æ•°æ§‹é€ Riemann幾何ã¨Gyrove
ランã‚ング
ランã‚ング
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
処ç†ã‚’実行ä¸ã§ã™
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
{{#tags}}- {{label}}
{{/tags}}