ã¯ã˜ã‚ã¦ã®ãƒãƒ¼ã‚«ãƒ«æ—¥æœ¬èªžLLM実行 onスマートフォン (モデルé¸ã³ï½žé‡å化～実行ã¾ã§) - Qiitaã¯ã˜ã‚㫠今回ã¯ã‚¹ãƒžãƒ¼ãƒˆãƒ•ã‚©ãƒ³ã‚’使ã£ã¦ã®ãƒãƒ¼ã‚«ãƒ«LLMã®å®Ÿè¡Œã‚’ã‚„ã£ã¦ã¿ãŸã„ã¨æ€ã„ã¾ã™ã€‚ ãƒãƒ¼ã‚«ãƒ«LLMã®å®Ÿè¡Œã¨èžãã¨ã€LLMã®ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢å®Ÿè¡Œç’°å¢ƒã®æ§‹ç¯‰ãŒã‚ã‚“ã©ãã•ã‹ã£ãŸã‚Šã€å¼·åŠ›ãªGPUã¨VRAMãŒç©ã¾ã‚Œã¦ã‚‹PCã˜ã‚ƒãªã„ã¨ã§ããªã„イメージãŒã‚ã‚Šã¾ã™ãŒã€è»½é‡ãªãƒ¢ãƒ‡ãƒ«ã‚’é¸å®šã™ã‚Œã°ã‚¹ãƒžãƒ¼ãƒˆãƒ•ã‚©ãƒ³ã§ã‚‚å分ã«å®Ÿè¡Œã™ã‚‹äº‹ãŒã§ãã¾ã™ã€‚ ãŸã ã—スマートフォンã§ã‚„ã‚‹ã«ã—ã¦ã‚‚ã€æ¯”較的新ã—ã‚ã®ç«¯æœ«ã§ãªã„ã¨åŽ³ã—ã„ã¨æ€ã„ã¾ã™ã€‚ (A16以上ã€Snd8genX以上ã€TensorGx以上ã€RAM 8GB以上) 実行環境ã«ã¤ã„ã¦ã‚‚ストア(AppStore/GooglePlay)ã§å…¬é–‹ã•ã‚Œã¦ã‚‹ã‚¢ãƒ—リをインストールã™ã‚‹ã ã‘ã§ç”¨æ„ã§ãã€éžå¸¸ã«ãŠæ‰‹é ƒã§ã™ã€‚ 今回ã¯ã€(1)アプリã®å°Žå…¥ã€(2)モデルã®é¸å®šï½žã©ã‚Œã‚’é¸ã¶ï¼Ÿé‡å化？フォーマット？～ã€(3)実行ã€(4)ãŠã¾ã‘～手æŒã¡ã®ã‚¹ãƒžãƒ›ã§ã®ãƒ‘フォーマンス差分～ã€ã®é †ã«ã¾ã¨ã‚ã¦ã¿ã¾ã—ãŸ
四畳åŠã®ã‚ªãƒ•ã‚£ã‚¹ã§70億パラメータã®LLMを事å‰å¦ç¿’ã—ãŸè©±ï½œLightblue
オープンモデル最強ã®LLMã€Llama 3.1ãŒç™»å ´ï¼ AWSã®Bedrockã‹ã‚‰ä½¿ã£ã¦ã¿ãŸ - Qiita
LLMã®ç¾åœ¨ - Speaker Deck
2021å¹´ã®AIトレンドã¨ãã®æ´»ç”¨ä¾‹ï½žAI活用ã«ãŠã‘る注目ã®è³‡æ ¼ã‚‚ã”紹介～
英語é¢æŽ¥ã§5æ³å…ã¿ãŸã„ãªã“ã¨ã—ã‹è¨€ãˆãªã„ã‹ã‚‰ã‚«ãƒƒã¨ãªã£ã¦Webサービス作ã£ãŸã€å€‹äººé–‹ç™ºã€‘ - Qiita
Jetson Nanoã§å¦ç¿’済ã¿ãƒ¢ãƒ‡ãƒ«ã‚’使ã£ã¦ã€ã„ã‚ã„ã‚ã‚„ã£ã¦ã¿ã‚‹ï¼ˆ7）自然言語処ç†ï¼ˆGPT-2） – FRONT
AIツールãŠã™ã™ã‚ï¼˜é¸ â€“ GUIツールã«ã¤ã„ã¦ã‚‚è§£èª¬ï¼ | AI専門ニュースメディア AINOW
通りé”を自動ã§æ„ŸçŸ¥ã—110ç•ªé€šå ±ã™ã‚‹AI - Qiita
{{#tags}}- {{label}}
{{/tags}}