PyTorch is dead. Long live JAX. | Neel Gupta
PyTorch is dead. Long live JAX.The future of Deep Learning frameworks July 19, 2024 · 24 min read Assumed audience: ML researchers who frequently work with PyTorch, but are interested in trying out JAX or have yet to be convinced. IntroductionUsually, people start these ‘critiques’ with a disclaimer that they are not trying to trash the framework, and talk about how it’s a tradeoff. However, this
Flaxを使用ã—ãŸRecurrentGemma2Bグリフィンモデルã®ãƒ•ã‚¡ã‚¤ãƒ³ãƒãƒ¥ãƒ¼ãƒ‹ãƒ³ã‚°ãƒãƒ¥ãƒ¼ãƒˆãƒªã‚¢ãƒ«(Kaggleã€GoogleColabノート付) - Sun wood AI labs.2
ã“ã‚“ã«ã¡ã¯ï¼ä»Šå›žã¯ã€Flaxを使用ã—ã¦2Bグリフィンモデルをシンプルãªç¿»è¨³ã‚¿ã‚¹ã‚¯ã«ãƒ•ã‚¡ã‚¤ãƒ³ãƒãƒ¥ãƒ¼ãƒ‹ãƒ³ã‚°ã™ã‚‹æ–¹æ³•ã‚’å¦ã³ã¾ã™ã€‚グリフィンモデルã¯å¼·åŠ›ãªè¨€èªžãƒ¢ãƒ‡ãƒ«ã§ã€ãƒ•ã‚¡ã‚¤ãƒ³ãƒãƒ¥ãƒ¼ãƒ‹ãƒ³ã‚°ã«ã‚ˆã£ã¦ç‰¹å®šã®ã‚¿ã‚¹ã‚¯ã«é©å¿œã•ã›ã‚‹ã“ã¨ãŒã§ãã¾ã™ã€‚ åˆå¿ƒè€…ã®æ–¹ã«ã‚‚分ã‹ã‚Šã‚„ã™ã„よã†ã€ã‚³ãƒ¼ãƒ‰ã®èª¬æ˜Žã‚’ä¸å¯§ã«è¡Œã„ãªãŒã‚‰ã€ã‚¹ãƒ†ãƒƒãƒ—ãƒã‚¤ã‚¹ãƒ†ãƒƒãƒ—ã§ãƒãƒ¥ãƒ¼ãƒˆãƒªã‚¢ãƒ«ã‚’進ã‚ã¦ã„ãã¾ã™ã€‚ãã‚Œã§ã¯ã€æ—©é€Ÿå§‹ã‚ã¦ã„ãã¾ã—ょã†ï¼ セットアップ ã¾ãšã¯å¿…è¦ãªãƒ©ã‚¤ãƒ–ラリをインストールã—ã€ç’°å¢ƒã‚’æ•´ãˆã¦ã„ãã¾ã™ã€‚ !pip list --format=freeze > requirements.kaggle.txt !pip list pip listコマンドã§ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«æ¸ˆã¿ã®ãƒ©ã‚¤ãƒ–ラリを一覧表示ã—ã€requirements.kaggle.txtファイルã«å‡ºåŠ›ã—ã¦ã„ã¾ã™ã€‚ã“ã‚Œã¯ç¾åœ¨ã®ç’°å¢ƒã‚’å†ç¾ã™ã‚‹ãŸã‚ã«å¿…è¦ãªæƒ…å ±ã§ã™ã€‚ 次ã«ã€Recurrent
コサイン類似度ã®ã„ã‚ã‚“ãªæ›¸ãæ–¹ - ã©ã“ã«ã§ã‚‚ã„ã‚‹SEã®å‚™å¿˜éŒ²
å‰ã«ã“ã‚“ãªã“ã¨ã‚„ã£ã¦ã¾ã—ãŸã€‚ www.nogawanogawa.work コサイン類似度ã®è¨ˆç®—を高速化ã—ãŸããªã‚‹ã“ã¨ãŒã¡ã‚‡ãã¡ã‚‡ãã‚ã‚‹ã®ã§ã™ãŒã€ã€Œã¶ã£ã¡ã‚ƒã‘ã©ã‚Œãらã„ã®ã‚¹ãƒ«ãƒ¼ãƒ—ットãŒå‡ºã›ã‚‹ã‚‚ã‚“ãªã®ï¼Ÿã€ã¨ã„ã†ã®ãŒæ°—ã«ãªã£ãŸã®ã§å®Œå…¨ã«èˆˆå‘³æœ¬ä½ã§ã‚„ã£ã¦ã¿ã¾ã™ã€‚ コサイン類似度 定義ã¨ç´ 朴ãªpythonã§ã®å®Ÿè£… コサイン類似度ã®2ã¤ã®è¨ˆç®—パターン 諸æ¡ä»¶ 2ã¤ã®ãƒ™ã‚¯ãƒˆãƒ«ã®é…列間ã§ã™ã¹ã¦ã®çµ„ã¿åˆã‚ã›ã®ã‚³ã‚µã‚¤ãƒ³é¡žä¼¼åº¦ã‚’計算 baseline numpy sklearn xlr8 pytorch jax Numba 実行速度çµæžœ 2ã¤ã®ãƒ™ã‚¯ãƒˆãƒ«ã®é…列間ã§åŒã˜ã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚¹ã®çµ„ã¿åˆã‚ã›ã®ã‚³ã‚µã‚¤ãƒ³é¡žä¼¼åº¦ã‚’計算 baseline numpy jax Numba 実行速度çµæžœ 使用ã—ãŸã‚³ãƒ¼ãƒ‰ å‚考文献 感想 コサイン類似度 定義ã¨ç´ 朴ãªpythonã§ã®å®Ÿè£… コサイン類似度ã¯ä¸‹è¨˜ã®ã‚ˆã†ãªå¼ã«ãªã‚Šã¾ã™ã€‚ ã“ã‚ŒãŒãªã‚“ã®
今ã“ãã¯ã˜ã‚ã‚‹JAX/Flax入門 Part 1
1. ã¯ã˜ã‚ã« 2012å¹´ã‹ã‚‰å§‹ã¾ã£ãŸæ·±å±¤å¦ç¿’ã®ç™ºå±•ã®éŽç¨‹ã§ã€ã•ã¾ã–ã¾ãªå¦ç¿’フレームワークãŒç™»å ´ã—ã¾ã—ãŸã€‚ä¸ã§ã‚‚PyTorchã¨Tensorflowã¯æœ€ã‚‚広ã使ã‚ã‚Œã¦ãŠã‚Šã€ãã‚Œãžã‚Œã®ãƒ•ãƒ¬ãƒ¼ãƒ ワークãŒæ”¯æŒã•ã‚Œã¦ã„る背景ã«ã¯ã€æŸ”軟性ã€æ‹¡å¼µæ€§ã€ãã—ã¦ä½¿ã„ã‚„ã™ã•ãŒã‚ã‚Šã¾ã™ã€‚ 一方ã§ã€ã“れらã®ãƒ•ãƒ¬ãƒ¼ãƒ ワークã¯ãã®æ©Ÿèƒ½ã‚’æ‹¡å¼µã—続ã‘ã¦ããŸçµæžœã¨ã—ã¦ã€å…¨ä½“ã¨ã—ã¦éžå¸¸ã«å·¨å¤§ã§è¤‡é›‘ãªãƒ©ã‚¤ãƒ–ラリã«ãªã£ã¦ã„ã¾ã™ã€‚ãã®ãŸã‚ã€ç‹¬è‡ªã«æ©Ÿèƒ½æ‹¡å¼µã‚’è¡Œã„ãŸã„ユーザーã«ã¨ã£ã¦ã¯æ‰±ã„ã¥ã‚‰ãã€æ€§èƒ½çš„ã«ã‚‚オーãƒãƒ¼ãƒ˜ãƒƒãƒ‰ã‚’æ„Ÿã˜ã•ã›ã‚‹ã“ã¨ãŒã‚ã‚Šã¾ã™ã€‚ ãã“ã§æ–°ãŸã«å‡ºã¦ããŸã®ãŒã€ŒJAXã€ã¨ãã®é–¢é€£ãƒ©ã‚¤ãƒ–ラリã®çµ„ã¿åˆã‚ã›ã«ãªã‚Šã¾ã™ã€‚2019å¹´ã«ç™»å ´ã—ã¦ä»¥é™ã€ç‰¹ã«æµ·å¤–ã®é–‹ç™ºè€…ã«æ”¯æŒã•ã‚Œã¦ãã¾ã—ãŸã€‚近年注目ã•ã‚Œã¦ã„る大è¦æ¨¡è¨€èªžãƒ¢ãƒ‡ãƒ«ï¼ˆLLM）ã®åˆ†é‡Žã«ãŠã„ã¦ã‚‚ã€JAXã«ã‚ˆã‚‹ãƒ¢ãƒ‡ãƒ«ãŒå…¬é–‹ã•ã‚Œã¦ã„ã‚‹ã“ã¨ã¯çã—ããªããªã‚Šã¤ã¤ã‚ã‚Šã¾ã™ã€‚ PyTorch（
Keras: Deep Learning for humans
Introducing Keras Core: Keras for TensorFlow, JAX, and PyTorch. We're excited to share with you a new library called Keras Core, a preview version of the future of Keras. In Fall 2023, this library will become Keras 3.0. Keras Core is a full rewrite of the Keras codebase that rebases it on top of a modular backend architecture. It makes it possible to run Keras workflows on top of arbitrary framew
Googleã¨IntelãŒå…±åŒé–‹ç™ºã€Intel GPUã§JAXモデルを高速化ã™ã‚‹PJRT APIç™»å ´
Googleã¨IntelãŒå…±åŒé–‹ç™ºã€Intel GPUã§JAXモデルを高速化ã™ã‚‹PJRT APIç™»å ´ï¼šAIフレームワークã¸ã®ãƒãƒ¼ãƒ‰ã‚¦ã‚§ã‚¢æœ€é©åŒ–ãŒå®¹æ˜“ã« Googleã¯PJRTã®åˆã®ãƒ—ラグインPJRT APIã‚’Intelã¨å…±åŒé–‹ç™ºã—ãŸã“ã¨ã‚’発表ã—ãŸã€‚PJRT APIを実装ã™ã‚‹ã“ã¨ã§Intel GPU上ã§ã®JAXモデルã®å®Ÿè¡Œã‚„ã€XLAアクセラレーションを使用ã—ãŸTensorFlowãŠã‚ˆã³PyTorchモデルã®åˆæœŸIntel GPUサãƒãƒ¼ãƒˆã‚‚å¯èƒ½ã«ãªã‚‹ã€‚
Jax/Flaxã§Kaggleã‚’ã‚„ã£ã¦ã¿ã‚ˆã†ï¼
ã“ã‚“ã«ã¡ã¯ã€‚ã„ã®ã„ã¡ã§ã™ã€‚ ã“ã®è¨˜äº‹ã¯(ã®18日目ã®è¨˜äº‹ã§ã™ã“ã®è¨˜äº‹ã¯Kaggle Advent Calendr 2022ã®18日目ã®è¨˜äº‹ã§ã™ã€‚ 最近ã¯ã‚¹ãƒ—ラトゥーンã«ã¯ã¾ã£ã¦ã„ã¦æ¯Žæ—¥å¿™ã—ãã¦ã‚ã¾ã‚Šã‚³ãƒ³ãƒšã«å‚åŠ ã§ãã¦ã¾ã›ã‚“ãŒã€2023å¹´ã¯ã©ã‚“ã©ã‚“コンペã«å‚åŠ ã—ã¦ã„ããŸã„ãªã¨æ€ã£ã¦ã„ã¾ã™ã€‚ç§ã¯ã‚³ãƒ³ãƒšã«å‚åŠ ã™ã‚‹ã¨ãã¯ã„ã¤ã‚‚1ã¤ã¯ã“ã‚Œã¾ã§ã‚„ã£ãŸã“ã¨ãªã„ã“ã¨ã‚’ã‚„ã‚‹ã¨æ±ºã‚ã¦ã„ã¾ã™ã€‚ãã“ã§æ–°ã—ã„挑戦ã¨ã—ã¦Jax/Flaxを使ã£ã¦ã¿ã‚ˆã†ã¨æ€ã„至りã¾ã—ãŸã€‚ç§ãŒæ™®æ®µå‚åŠ ã™ã‚‹Computer Visonç³»ã®ã‚³ãƒ³ãƒšã§ã¯ä¸»ã«PytorchãŒä½¿ç”¨ã•ã‚Œã¦ãŠã‚Šã€TPUã‚’ã¶ã‚“回ã™ã‚³ãƒ³ãƒšã§TensorflowãŒä½¿ã‚ã‚Œã¦ã„ãŸã‚Šã—ã¾ã™ã€‚Jax/Flaxã®notebookも時々見ã‹ã‘ã¾ã™ãŒã€ã¾ã ベースラインã¨ãªã‚‹ã‚ˆã†ãªnotebookãŒå…±æœ‰ã•ã‚ŒãŸã‚Šã€ãŒã£ã¤ã‚ŠJax/Flaxã§ã‚³ãƒ³ãƒšã‚’ã‚„ã£ãŸã¨ã„ã†ã®ã¯è¦‹ãŸã“ã¨ãŒã‚ã‚Šã¾ã›ã‚“。ã—ã‹ã—ã€
ivy ãŒé¢ç™½ã„
ivyã¨ã¯ãªã«ã‹ 機械å¦ç¿’ã®çµ±ä¸€ã‚’目指ã™ãƒ•ãƒ¬ãƒ¼ãƒ ワークã§ã™ã€‚ç¾åœ¨ã€JAX, TensorFlow, PyTorch, Numpy をサãƒãƒ¼ãƒˆã—ã¦ã„ã¾ã™ã€‚JAXã¯Numpy互æ›ãªã®ã§ã€å®Ÿè³ªçš„ã« Tensorflow&Pytorch ã®å…±é€šAPIã®ãƒ•ãƒ¬ãƒ¼ãƒ ワーク(ã‹ãªã‚Šä¹±æš´ãªã¾ã¨ã‚æ–¹)ã§ã™ã€‚ ç ”ç©¶ã®ãƒšãƒ¼ãƒ‘ーã§ã‚ˆã見るã®ã¯Pytorchã§ã™ãŒã€ç”£æ¥ã§ã¯TensorflowãŒã‚ˆã使ã‚れるよã†ã§ã™ã€‚ 下ã®è¡¨ã«ã‚‚ã‚ã‚Šã¾ã™ãŒã€é–‹ç™ºè€…ã®è¨è¨ˆæ€æƒ³ã‚’èªã‚€ã¨ã€Œæ›¸ãæ›ãˆã®æ‰‹é–“ã€ãŒæƒ³åƒä»¥ä¸Šã«åŠ´åŠ›ã‚’å¿…è¦ã¨ã™ã‚‹æ–‡é¢ãŒå¤šã見å—ã‘られã¾ã™ã€‚ 余談ã§æ‰‹å…ƒã«Tensorflowã¨Pytorchã®æœ¬ãŒ2冊ã‚ã‚‹ã®ã§ã™ãŒã€å®Ÿè£…ã«äº’æ›æ€§ãŒã‚ã‚Œã°ãã†ã„ã†æ‚©ã¿ãŒæ¸›ã£ã¦æ·±å±¤å¦ç¿’ã®å¦ç¿’ãŒèº«è¿‘ã«ãªã‚‹ã‹ã‚‚ã—ã‚Œãªã„ã§ã™ã。 特ã«åˆå¦è€…ã¯ã€Œæœ€åˆã«ã©ã®å±±ã«ç™»ã‚‹ã®ãŒã„ã„ã®ã‹ã€ã§è¿·ã†ã¨æ€ã†ã®ã§ã€‚ ivyç™»å ´ä»¥å‰ã‹ã‚‰ã€å¦ç¿’済ã¿ãƒ¢ãƒ‡ãƒ«ã‚’ç•°ãªã‚‹ãƒ—ラットフォームã§
JAXã«ã‚ˆã‚‹ã‚¹ã‚±ãƒ¼ãƒ©ãƒ–ルãªæ©Ÿæ¢°å¦ç¿’ - ZOZO TECH BLOG
ã¯ã˜ã‚ã« ã“ã‚“ã«ã¡ã¯ã€ZOZO NEXT ZOZO Researchã®Sai Htaung Khamã§ã™ã€‚ZOZO NEXTã¯ã€ãƒ•ã‚¡ãƒƒã‚·ãƒ§ãƒ³é ˜åŸŸã«ãŠã‘るユーザーã®èª²é¡Œã‚’想åƒã—テクノãƒã‚¸ãƒ¼ã®åŠ›ã§è§£æ±ºã™ã‚‹ã“ã¨ã€ã‚ˆã‚Šå¤šãã®äººãŒãƒ•ã‚¡ãƒƒã‚·ãƒ§ãƒ³ã‚’楽ã—ã‚る世界ã®å‰µé€ を目指ã™ä¼æ¥ã§ã™ã€‚ ZOZO NEXTã§ã¯å¤šãã®ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ ã‚’ç ”ç©¶é–‹ç™ºã—ã¦ãŠã‚Šã€ãã®ä¸ã§JAXã¨ã„ã†ãƒ©ã‚¤ãƒ–ラリを使用ã—ã¦ã„ã¾ã™ã€‚JAXã¯é«˜æ€§èƒ½ãªæ©Ÿæ¢°å¦ç¿’ã®ãŸã‚ã«è¨è¨ˆã•ã‚ŒãŸPythonã®ãƒ©ã‚¤ãƒ–ラリã§ã™ã€‚NumPyã«ä¼¼ã¦ã„ã¾ã™ãŒã€ã‚ˆã‚Šå¼·åŠ›ãªãƒ©ã‚¤ãƒ–ラリã§ã‚ã‚‹ã¨è€ƒãˆã‚‹ã“ã¨ãŒã§ãã¾ã™ã€‚NumPyã¨ã¯ç•°ãªã‚Šã€JAXã¯ãƒžãƒ«ãƒGPUã€ãƒžãƒ«ãƒTPUã€ãã—ã¦æ©Ÿæ¢°å¦ç¿’ã®ç ”究ã«éžå¸¸ã«æœ‰ç”¨ãªè‡ªå‹•å¾®åˆ†ï¼ˆAutograd）をサãƒãƒ¼ãƒˆã—ã¦ã„ã¾ã™ã€‚ JAXã¯NumPyã®APIã®ã»ã¨ã‚“ã©ã‚’ミラーリングã—ã¦ã„ã‚‹ã®ã§ã€NumPyライブラリã«æ…£ã‚Œã¦ã„る人ãªã‚‰éžå¸¸ã«å°Žå…¥ã—ã‚„ã™ã„ã§ã™ã€‚A
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
GitHub - xai-org/grok-1: Grok open release
Keras documentation: Keras Core: Keras for TensorFlow, JAX, and PyTorch
https://twitter.com/fchollet/status/1678777783848419330
Import a JAX model using JAX2TF Â |Â TensorFlow Core
GitHub - NVIDIA-Merlin/dataloader: The merlin dataloader lets you rapidly load tabular data for training deep leaning models with TensorFlow, PyTorch or JAX
GitHub - google-research/multinerf: A Code Release for Mip-NeRF 360, Ref-NeRF, and RawNeRF
Bringing Machine Learning to every developer’s toolbox
https://twitter.com/fchollet/status/1539411346814423041
https://twitter.com/ISID_AI_team/status/1538661505000173568
GitHub - google-research/t5x
functorch — functorch nightly documentation
{{#tags}}- {{label}}
{{/tags}}