Intel CPUã¨NVIDIA GPUã‚’çµ±åˆã—ãŸå¤¢ã®x86 SoC実ç¾ã¸ã€‚NVIDIAãŒIntelã«7,400億円投資
Runpod | The cloud built for AI
Instant AI workloads—no setup, scaling, or idle costs.
CUDA-X
NVIDIA CUDA-X Libraries NVIDIA CUDA-X™ Libraries, built on CUDA®, is a collection of libraries that deliver dramatically higher performance—compared to CPU-only alternatives—across application domains, including AI and high-performance computing. NVIDIA libraries run everywhere from resource-constrained IoT devices to self-driving cars to the largest supercomputers on the planet. As a result, user
RTX3060x2ã®GPUã§æ¿€å®‰ãƒãƒ¼ã‚«ãƒ«LLMマシンを構築。 | blueqat
ã“ã‚“ã«ã¡ã¯ã€å®‰ãLLMを構築ã—ãŸã„ã§ã™ã。ãŠã™ã™ã‚構æˆã‚’ãŠçŸ¥ã‚‰ã›ã—ã¾ã™ã€‚ LLMã¯å¤§è¦æ¨¡è¨€èªžãƒ¢ãƒ‡ãƒ«ã®ã“ã¨ã§ã€AIãŒChatGPTã¿ãŸã„ã«æ–‡ç« を作ã£ã¦ãã‚Œã¾ã™ã€‚ç„¡æ–™ã§ä½¿ãˆã¾ã™ãŒã€æ¥å‹™ã§ä½¿ãŠã†ã¨ã™ã‚‹ã¨çµæ§‹é›£ç‚¹ãŒã‚ã‚‹ã—ã€ãƒ‡ãƒ¼ã‚¿ã®æ¼æ´©ã¨ã‹å«ã‚ã¦å›°ã‚Šã¾ã™ã。手元ã®ãƒãƒ¼ã‚«ãƒ«ã§LLMを作る際ã®ãŠã™ã™ã‚構æˆã‚’ãŠçŸ¥ã‚‰ã›ã—ã¾ã™ã€‚ ã¾ãšã€LLMを作るã«ã¯ã€ãƒžã‚¶ãƒ¼ãƒœãƒ¼ãƒ‰ã€CPUã€ãƒ¡ãƒ¢ãƒªã€SSDã€é›»æºã€ã‚±ãƒ¼ã‚¹ã€ãã—ã¦GPUãŒå¿…è¦ã§ã™ã€‚ソフトウェアやOSã¯ã™ã¹ã¦ç„¡æ–™ã§æ‰‹ã«å…¥ã‚Šã¾ã™ã®ã§ã€å¿ƒé…入りã¾ã›ã‚“。 ã¾ãšã€ã‚±ãƒ¼ã‚¹ã«ãƒžã‚¶ãƒ¼ãƒœãƒ¼ãƒ‰ã€CPUã€ãƒ¡ãƒ¢ãƒªã€SSDã€é›»æºã‚’セットã—ã¾ã™ã€‚ã“ã®è¾ºã‚Šã¯æ¨™æº–çš„ãªæ§‹æˆã‚’ãŠå‹§ã‚ã—ã¾ã™ã€‚ è‚心ãªã®ã¯GPUã§ã€VRAMã®ã‚µã‚¤ã‚ºãŒæ載ã§ãã‚‹LLMã®æ€§èƒ½ã‚’å·¦å³ã—ã¾ã™ã€‚パラメータ数7Bã®ãƒ¢ãƒ‡ãƒ«ãŒæ¨™æº–çš„ã«ä½¿ã‚ã‚Œã¦ã„ã¾ã™ã®ã§ã€ 14GB程度ã®VRAMãŒå¿…è¦ã§ã™ã€‚ ãã“ã§ã€ã‚ˆã使ã‚れるã®ãŒãŠãらã安価ã§VR
[CUDA] NVIDIA GPUã‚„CUDA周りã®äº’æ›æ€§ã‚’ç†è§£ã—ãŸã‹ã£ãŸ
よãã‚ã‹ã‚‰ãªã‹ã£ãŸã®ã§ã€èª¿ã¹ã¦æ•´ç†ã—よã†ã¨ã—ãŸè©¦ã¿ã€‚ Compute Capability GPU ãƒãƒ¼ãƒ‰ã‚¦ã‚§ã‚¢ãŒã‚µãƒãƒ¼ãƒˆã™ã‚‹æ©Ÿèƒ½ã‚’è˜åˆ¥ã™ã‚‹ãŸã‚ã®ã‚‚ã®ã§ã€ä¾‹ãˆã° RTX 3000 å°ã§ã‚れ㰠8.6 ã§ã‚ã‚‹ãªã©ã€ãã®ãƒãƒ¼ãƒ‰ã‚¦ã‚§ã‚¢ã«å¯¾å¿œã—ã¦ä¸€æ„ã«æ±ºã¾ã‚‹ã€‚ アーã‚テクãƒãƒ£ã®ä¸–代ãŒæ–°ã—ããªã‚Šã€æ©Ÿèƒ½ãŒå¢—ãˆã‚‹ã»ã©ã€ã“ã®æ•°å—も上ãŒã£ã¦ã„ã。 以下ã®ãƒªãƒ³ã‚¯å…ˆã«ã€Compute Capability ã¨æ©Ÿèƒ½ã®å¯¾å¿œè¡¨ãŒã‚ã‚‹ãŒã€ã“れを見るã¨ï¼ˆå°‘ãªãã¨ã‚‚執ç†æ™‚点ã§ï¼‰ Compute Capability 7.x 以上ã§ãƒ†ãƒ³ã‚½ãƒ«ã‚³ã‚¢ãŒä½¿ãˆã‚‹ã¨ã„ã£ãŸã“ã¨ãŒã‚ã‹ã‚‹ã€‚ ãã‚Œãžã‚Œã®æ©Ÿç¨®ãŒã©ã®å€¤ã‹ã¯ä»¥ä¸‹ã®ã‚µã‚¤ãƒˆã‹ã‚‰ç¢ºèªã§ãる。 NVIDIA Driver ã®ãƒãƒ¼ã‚¸ãƒ§ãƒ³ Compute Capablity 一般å‘ã‘ã® Compute Capability ã¨ã®é–¢é€£æ€§ã¯è¦‹ã¤ã‹ã‚‰ãªã‹ã£ãŸãŒã€ãƒ‡ãƒ¼ã‚¿ã‚»ãƒ³ã‚¿å‘ã‘ã®è³‡æ–™ã«ã¯ Maxwe
![[CUDA] NVIDIA GPUã‚„CUDA周りã®äº’æ›æ€§ã‚’ç†è§£ã—ãŸã‹ã£ãŸ](https://cdn-ak-scissors.b.st-hatena.com/image/square/85cf8361e193b6c85a85ff11f6be3131360d96e7/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--Zly7bMhc--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BCUDA%25255D%252520NVIDIA%252520GPU%2525E3%252582%252584CUDA%2525E5%252591%2525A8%2525E3%252582%25258A%2525E3%252581%2525AE%2525E4%2525BA%252592%2525E6%25258F%25259B%2525E6%252580%2525A7%2525E3%252582%252592%2525E7%252590%252586%2525E8%2525A7%2525A3%2525E3%252581%252597%2525E3%252581%25259F%2525E3%252581%25258B%2525E3%252581%2525A3%2525E3%252581%25259F%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3Aeduidl%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzJkNDMwMDk1NTYuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
ã€2024】爆速ã§GCPã«ãƒªãƒ¢ãƒ¼ãƒˆAI開発環境を構築ã™ã‚‹æ–¹æ³•ðŸ”¥ - TC3æ ªå¼ä¼šç¤¾ï½œGIG INNOVATED.
ã¯ã˜ã‚ã« ã“ã‚“ã«ã¡ã¯ã€TC3 AIãƒãƒ¼ãƒ ã®@mumeco_mlã§ã™ï¼å¼Šç¤¾ã¯2022/10ã‹ã‚‰GCP Cloud Partnerã¨ãªã£ã¦ãŠã‚Šã¾ã—ã¦ã€ç¾åœ¨GCP(Google Cloud Platform)ã®ãƒ—ãƒã‚¸ã‚§ã‚¯ãƒˆã§ã®æ´»ç”¨ã‚’より促進ã—ã¦ãŠã‚Šã¾ã™ã€‚今回ã¯ã€ã“ã®GCPã®æ©Ÿèƒ½ã®1ã¤ã§ã‚ã‚‹Compute Engineを利用ã—ãŸAI開発環境ã®ä½œã‚Šæ–¹ã‚’ã”紹介ã„ãŸã—ã¾ã™ã€‚GCPã®VMã§é–‹ç™ºç’°å¢ƒã‚’ä½œã‚‹å ´åˆã€å¤§ãã分ã‘ã¦äº‹å‰ã«ML用ã«ç”¨æ„ã•ã‚ŒãŸç’°å¢ƒã‚’利用ã™ã‚‹æ–¹æ³•ã¨ã€Dockerを使ã£ã¦OS環境ç‰ã‚‚å«ã‚ã¦ä½œã‚‹æ–¹æ³•ãŒã‚ã‚‹ã¨æ€ã„ã¾ã™ãŒã€ä»Šå›žã¯å‰è€…を説明ã—ã¾ã™ã€‚需è¦ãŒã‚ã‚Œã°ã€å¾Œè€…ã®è§£èª¬ã‚‚作ã‚ã†ã¨æ€ã„ã¾ã™ã€‚ クラウド開発環境ã®åˆ©ç‚¹ãƒ»æ¬ 点 利点 高é¡ãªGPUをオンデマンドã§åŠ¹çŽ‡çš„ã«æ´»ç”¨ã§ãã‚‹ ãƒãƒ¼ã‚«ãƒ«ãƒžã‚·ãƒ³ã®å‹•ä½œãŒé‡ããªã‚‰ãªã„ ä»»æ„ã®ãƒžã‚·ãƒ³ã‚¹ãƒšãƒƒã‚¯ã‚’利用ã§ãã‚‹ æ¬ ç‚¹ 使用時間ã«å¿œã˜ã¦èª²é‡‘ã•ã‚Œã‚‹ 実際ã«é–‹ç™ºã™ã‚‹ã¾ã§ã«ç’°
NVIDIA製GPUã®PCI Expressã®ãƒªãƒ³ã‚¯é€Ÿåº¦ã‚’調ã¹ã‚‹ï¼ˆLinuxã®å ´åˆï¼‰
ã¯ã˜ã‚㫠昨今ã§ã¯PCI Express 4.0（Gen4）対応ã®CPUã€ãƒžã‚¶ãƒ¼ãƒœãƒ¼ãƒ‰ã€GPUãŒä¸€èˆ¬çš„ã«æµé€šã™ã‚‹ã‚ˆã†ã«ãªã‚Šã¾ã—ãŸã。 ãã‚“ãªä¸ã€GPUをセットアップã—ã¦ã„ã¦ã€ãµã¨æ€ã„ã¾ã—ãŸã€‚「本当ã«PCI Express 4.0ã§å‹•ä½œã—ã¦ã„ã‚‹ã®ã ã‚ã†ã‹ï¼Ÿã€ã¨ã€‚ ãã“ã§ä»Šå›žã¯ã€PCI Expressã®ä¸–代ã€å¸¯åŸŸã€ãƒ¬ãƒ¼ãƒ³æ•°ãªã©ã‚’調ã¹ã‚‹æ–¹æ³•ã‚’æ•´ç†ã—ã¦ã¿ã¾ã—ãŸã€‚ 具体的ã«ã¯ã€ä»¥ä¸‹ã®3ã¤ã®ã‚³ãƒžãƒ³ãƒ‰ã‚’紹介ã—ã¾ã™ã€‚ nvidia-smi -a nvidia-smi --format=csv --query-gpu=index,gpu_bus_id,name,pcie.link.gen.max,pcie.link.gen.current,pcie.link.width.max,pcie.link.width.current sudo lspci -s [ãƒã‚¹ç•ªå·] -vv nvidia-smiコマンドを使
クイックスタート: gcloud CLI を使用ã—㦠Deep Learning VM インスタンスを作æˆã™ã‚‹  | Deep Learning VM Images  | Google Cloud
gcloud CLI を使用ã—㦠Deep Learning VM インスタンスを作æˆã™ã‚‹ ã“ã®ãƒšãƒ¼ã‚¸ã§ã¯ã€Google Cloud CLI を使用ã—㦠Deep Learning VM Images インスタンスを作æˆã™ã‚‹æ–¹æ³•ã«ã¤ã„ã¦èª¬æ˜Žã—ã¾ã™ã€‚ 始ã‚ã‚‹å‰ã« Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads. In the Google Cloud console, on the proj
GitHub - XuehaiPan/nvitop: An interactive NVIDIA-GPU process viewer and beyond, the one-stop solution for GPU process management.
Informative and fancy output: show more information than nvidia-smi with colorized fancy box drawing. Monitor mode: can run as a resource monitor, rather than print the results only once. bar charts and history graphs process sorting process filtering send signals to processes with a keystroke tree-view screen for GPU processes and their parent processes environment variable screen help screen mou
第642回　仮想マシン上ã®microk8sã‹ã‚‰GPUを利用ã™ã‚‹ | gihyo.jp
第641回ã§ã¯ã€ŒLXDã¨microk8sã§ã‚·ãƒ³ã‚°ãƒ«ã‚µãƒ¼ãƒãƒ¼ã‚’Kubernetesクラスターã«ã™ã‚‹ã€ã¨é¡Œã—ã¦ã€ã‚ˆã‚Šé«˜æ©Ÿèƒ½ã«ãªã£ãŸmicrok8sã«ã¤ã„ã¦ç´¹ä»‹ã—ã¾ã—ãŸã€‚microk8sã§æ§‹ç¯‰ã—ãŸKubernetesãŒã‚ã‚Œã°ã€æ°—軽ã«ãŸãã•ã‚“ã®CPUコアを使ã£ã¦ã•ã¾ã–ã¾ãªãƒ¯ãƒ¼ã‚¯ãƒãƒ¼ãƒ‰ã‚’å‹•ã‹ã—ã€éƒ¨å±‹ã‚’æš–ã‚られã¾ã™ã€‚ã§ã‚‚ã€å¾…ã£ã¦ãã ã•ã„。ãã®ã‚µãƒ¼ãƒãƒ¼ã«ã¯ã‚‚ã£ã¨ä¾¿åˆ©ãªç†±æºãŒã‚ã‚Šã¾ã›ã‚“ã‹ï¼Ÿã€€ãã†GPUã§ã™ãã€‚æœ¬æ ¼çš„ã«å¯’ããªã‚‹å‰ã«ã€Kubernetes環境ã‹ã‚‰ã‚‚GPUを使ãˆã‚‹ã‚ˆã†ã«ã—ã¾ã—ょã†ã€‚ ホストå´ã§GPUパススルーã®æº–å‚™ 第641回ã§ã¯LXDã®ä»®æƒ³ãƒžã‚·ãƒ³ã‚¤ãƒ³ã‚¹ã‚¿ãƒ³ã‚¹ã®ä¸Šã«microk8sをインストールã—ã¾ã—ãŸã€‚ã¤ã¾ã‚Šãƒ›ã‚¹ãƒˆãƒžã‚·ãƒ³ã®GPUを使ã†ã«ã¯ã€LXDã®ä»®æƒ³ãƒžã‚·ãƒ³ã®ä¸ã‹ã‚‰GPUã«ã‚¢ã‚¯ã‚»ã‚¹ã§ããªãã¦ã¯ãªã‚Šã¾ã›ã‚“[1]â 。コンテナã®å ´åˆã€ç¬¬532回ã®ã€ŒLXDã®ã‚³ãƒ³ãƒ†ãƒŠã‹ã‚‰GPUを利用ã™ã‚‹ã€ãªã©ã§æ‰‹é †ã‚’ç´¹
å˜ç²¾åº¦ã€å€ç²¾åº¦ã€å¤šç²¾åº¦ã€æ··åˆç²¾åº¦ã‚³ãƒ³ãƒ”ューティングã®é•ã„ã¨ã¯ï¼Ÿ
パイã«ã¤ã„ã¦ã®è€ƒãˆæ–¹ã¯ã„ãã¤ã‹ã‚ã‚Šã€ã‚¢ãƒƒãƒ—ルパイã€ãƒ‘ンプã‚ンパイã€ã‚ーライムパイãªã©ã•ã¾ã–ã¾ã§ã™ã€‚ãã‚Œã¨åŒæ§˜ã«ã€æ•°å¦å®šæ•°ã§ã‚る円周率 ℼ ã®è¡¨ç¾æ–¹æ³•ã‚‚ã•ã¾ã–ã¾ã§ã€3.14159 ã¨è¡¨ã—ãŸã‚Šã€0 㨠1 ãŒå»¶ã€…ã¨ç¶šã 2 進数ã§è¡¨ã—ãŸã‚Šã‚‚ã§ãã¾ã™ã€‚ ç„¡ç†æ•°ã§ã‚る円周率ã¯ã€ç¹°ã‚Šè¿”ã™ã“ã¨ãªãæ°¸é ã«ç¶šã 10 進数ã§ã™ã€‚ãã®ãŸã‚円周率を使ã£ã¦è¨ˆç®—ã‚’è¡Œã†å ´åˆã€äººé–“ã‹ã‚³ãƒ³ãƒ”ューターãŒæ•°å€¤ã‚’切りæ¨ã¦ãŸã‚Šå››æ¨äº”å…¥ã—ãŸã‚Šã™ã‚‹å‰ã«ã€å°æ•°ç‚¹ä»¥ä¸‹ã®æ¡æ•°ã‚’指定ã™ã‚‹å¿…è¦ãŒã‚ã‚Šã¾ã™ã€‚ å°å¦æ ¡ã§ã¯ 3.14 ã¨ã—ã¦æ‰‹è¨ˆç®—ã—ã¾ã™ãŒã€é«˜æ ¡ã®é–¢æ•°é›»å“ã§ã¯æ¡æ•°ãŒ10 æ¡ã«ãªã‚‹ã“ã¨ã‚‚ã‚ã‚Šã¾ã™ã€‚ã“ã‚Œã¯ã€åŒã˜æ•°å€¤ã‚’より高ã„詳細度ã§è¡¨ã—ã¦ã„ã¾ã™ã€‚コンピューター サイエンスã§ã¯ã“れを精度ã¨å‘¼ã³ã€é€šå¸¸ã¯ 10 進数ã§ã¯ãªãビットã€ã¤ã¾ã‚Š 2 進数をå˜ä½ã¨ã—ã¾ã™ã€‚ 複雑ãªç§‘å¦çš„シミュレーションã®å ´åˆã€é–‹ç™ºè€…ã¯é•·å¹´ã€ãƒ“ッグãƒãƒ³ã®ã‚ˆã†ãªå‡ºæ¥äº‹ã‚’ç†
Tesla社ã€è‡ªå‹•é‹è»¢è»Šãƒ¡ãƒ¼ã‚«ãƒ¼ã®æ°´æº–を引ã上ã’ã‚‹
今週ã€Tesla ã®æŠ•è³‡å®¶å‘ã‘ã®ã‚¤ãƒ™ãƒ³ãƒˆã€ŒTesla Autonomy Dayã€ã§ã€è‡ªç¤¾ã®æ–°ãŸãªè‡ªå‹•é‹è»¢è»Šå‘ã‘コンピューターã®ã‚¹ãƒšãƒƒã‚¯ã‚’公開ã—ãŸã‚¤ãƒ¼ãƒãƒ³ãƒ»ãƒžã‚¹ã‚¯ (Elon Musk) æ°ãŒã€ä¸–ç•Œã«å‘ã‘ã¦ã€ä»¥ä¸‹ã®å†…容を明らã‹ã«ã—ã¾ã—ãŸã€‚ Tesla ã¯ã€ä»–ã®ã™ã¹ã¦ã®è‡ªå‹•è»Šãƒ¡ãƒ¼ã‚«ãƒ¼ã®æ°´æº–を引ã上ã’る。 Tesla ã®è‡ªå‹•é‹è»¢è»Šã«ã¯ã€åŒç¤¾ã®æ–°ã—ã„ AI ãƒãƒƒãƒ—ã®ã†ã¡ã® 2 ã¤ã‚’活用ã—ãŸã‚³ãƒ³ãƒ”ューターãŒæ載ã•ã‚Œã€ãã®ãã‚Œãžã‚Œã« CPUã€GPU ãŠã‚ˆã³ãƒ‡ã‚£ãƒ¼ãƒ—ラーニング アクセラレーターãŒå®Ÿè£…ã•ã‚Œã‚‹ã€‚ã“ã®ã‚³ãƒ³ãƒ”ューターã¯ã€1 秒当ãŸã‚Š 144 兆回 (144 Trillion Operations Per Second= TOPS) ã®æ¼”算能力をæŒã¡ã€ã•ã¾ã–ã¾ãªã‚µãƒ©ã‚¦ãƒ³ãƒ‰ カメラã€ãƒ¬ãƒ¼ãƒ€ãƒ¼ãŠã‚ˆã³è¶…音波機器ã‹ã‚‰ãƒ‡ãƒ¼ã‚¿ã‚’åŽé›†ã—ã¦ã€ãƒ‡ã‚£ãƒ¼ãƒ— ニューラル ãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯ アルゴリズムを実行ã™ã‚‹ã€‚ ãŸã¨ãˆ 1
ランã‚ング
ランã‚ング
メンテナンス
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
NVIDIA Jetson Edge AI Solutions - Jetson Nano, Jetson Xavier NX, Jetson AGX Orin - Seeed Studio
GitHub - XiongjieDai/GPU-Benchmarks-on-LLM-Inference: Multiple NVIDIA GPUs or Apple Silicon for Large Language Model Inference?
GitHub - tmcdonell/cuda: Haskell FFI bindings to CUDA
nvidia/cuda - Docker Image
Container Runtime
GitHub - AccelerateHS/accelerate-llvm: LLVM backend for Accelerate
CUDA 10.2 or CUDA 11.0 for RTX3060
NVIDIAã®ã€ŒJetson Nano開発者ã‚ットã€ãŒåº—é å…¥è·ã€ä¾¡æ ¼ã¯12,800円電æºã‚¢ãƒ€ãƒ—タ付ãã®ã‚¹ã‚¿ãƒ¼ã‚¿ãƒ¼ã‚ットもã‚ã‚Š
{{#tags}}- {{label}}
{{/tags}}