SentencePieceã®Ruby bindingsを作ã£ãŸ - 洋食ã®æ—¥è¨˜
ã¯ã˜ã‚ã« Rubyã§ãªã«ã‹å¤§è¦æ¨¡è¨€èªžãƒ¢ãƒ‡ãƒ« (Large Language Models, LLMs) ã«é–¢ã™ã‚‹ã“ã¨ã‚’ã‚„ã£ã¦ã¿ã‚ˆã†ã¨æ€ã£ã¦ã€SentencePieceã®binding gemãŒãªã„ã“ã¨ã«æ°—ã¥ã„ã¦ä½œã£ãŸã€‚ github.com SentencePieceã¯ãƒ‹ãƒ¥ãƒ¼ãƒ©ãƒ«ãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯ãªè¨€èªžå‡¦ç†å‘ã‘ã«ä½œã‚‰ã‚ŒãŸTokenizer/Detokenizerã§ã€æ–‡ãŒä¸Žãˆã‚‰ã‚Œã‚‹ã¨å˜èªžã«åˆ†å‰²ã—ã¦IDを割り当ã¦ã‚‹ã€‚逆ã«IDã®ãƒªã‚¹ãƒˆã‹ã‚‰æ–‡ã‚’å†æ§‹æˆã™ã‚‹ã“ã¨ãŒã§ãる。ã“ã®é€†å¤‰æ›ãŒå¯èƒ½ãªã“ã¨ã§End to Endã®...ã‚ã¨ã¯ä½œè€…ã®Kudo Takuã•ã‚“ã®Qiita記事ã«ã€‚ qiita.com インストール sentencepiece.rbã¯ã€SentencePiece自体をåŒæ¢±ã—ã¦ã„ãªã„ã®ã§ã€å„パッケージマãƒãƒ¼ã‚¸ãƒ£ãƒ¼ã§ã“れをインストールã™ã‚‹ã€‚Ubuntuã§ã‚ã‚Œã°aptã§ã€macOSã§ã‚ã‚Œã°homebre
llama.cppã®Ruby bindingsを作ã£ãŸ - 洋食ã®æ—¥è¨˜
ã¯ã˜ã‚ã« llama.cppã¯Metaã®å¤§è¦æ¨¡è¨€èªžãƒ¢ãƒ‡ãƒ« (Large Language Models, LLMs) ã§ã‚ã‚‹LLaMAã‚’ã€é‡å化ã™ã‚‹ã“ã¨ã§CPU上ã§å‹•ä½œã•ã›ã‚‹ã‚‚ã®ã§ã‚る。C/C++ã§å®Ÿè£…ã•ã‚Œã¦ã„ã‚‹ã®ã§ã€Ruby bindingsを作ã£ã¦ã€Rubyã‹ã‚‰å‘¼ã³å‡ºã›ã‚‹ã‚ˆã†ã«ã—ãŸã€‚ github.com 使ã„æ–¹ インストールã¯é€šå¸¸ã®native extensionsãªgemã¨åŒæ§˜ã§ã‚る。 $ gem install llama_cpp モデルを用æ„ã—ã¦é‡å化ã™ã‚‹å¿…è¦ãŒã‚ã‚‹ãŒã€llama.cppã‚’cloneã—ã¦ãã¦ã€Usageã®é€šã‚Šã«ã™ã‚Œã°ã§ãる。 GitHub - ggerganov/llama.cpp: Port of Facebook's LLaMA model in C/C++ ã‚ã¨ã¯ã€æ™®é€šã«requireã™ã‚Œã°ä½¿ãˆã‚‹ã€‚ require 'llama_cpp' # パラメータを
Rubyã«ãŠã‘る機械å¦ç¿’ã¨çµ±è¨ˆåˆ†æžã®ãŸã‚ã®ç’°å¢ƒæ•´å‚™ã®å–り組ã¿
Ruby Business Users Conference 2017
Rubyã§ãƒ‡ã‚£ãƒ¼ãƒ—ラーニング - Qiita
背景 ç¾åœ¨ã€TensorFlowã€Chainer他多数ã®DeepLearning用ライブラリãŒå…¬é–‹ã•ã‚Œã¦ã„ã¾ã™ã€‚ æœ¬æ ¼çš„ãªã‚¢ãƒ—リケーションã§ä½¿ã†ã«ã¯å®Ÿè¡Œã‚¹ãƒ”ードã€ã‚¯ã‚ªãƒªãƒ†ã‚£ã€æ‹¡å¼µæ€§ã€ãƒ‰ã‚ュメントã€ã‚³ãƒŸãƒ¥ãƒ‹ãƒ†ã‚£ã®å……実ç‰å¤šãã®é¢ã§ã€ãれらã®ä¸ã‹ã‚‰é¸æŠžã—ã¦ä½¿ç”¨ã™ã‚‹ã®ãŒé‰„æ¿ãªçŠ¶æ³ã§ã™ã€‚ã‚‚ã¡ã‚ã‚“ã€ç§ã‚‚メインã§ã¯ãれらを使ã‚ã›ã¦ã‚‚らã£ã¦ã„ã¾ã™ã€‚ã“れらã®ãƒ©ã‚¤ãƒ–ラリã€ä¾‹ãˆã°tensorFlowã§ã¯computatoin graphを構築ã€operationã‚’è¿½åŠ ã—ã¦ãれを実行ã¨ã„ã†ã‚¤ãƒ¡ãƒ¼ã‚¸ã§ï¼ˆè¡Œåˆ—ã€æ•°å¼ã§å–り扱ã†ã‚¤ãƒ¡ãƒ¼ã‚¸ï¼‰ã€æ ¹åº•ã«ã‚ã‚‹å¤å…¸çš„ãªãƒ‹ãƒ¥ãƒ¼ãƒãƒ³ã®çµåˆã¨ã„ã†è€ƒãˆæ–¹ãŒéš ã•ã‚Œã¦ã„ã‚‹æ°—ãŒã—ã¾ã™ã€‚ã‚€ã—ã‚ã€ãã®ã“ã¨ã¯å¿˜ã‚Œã¦çªã進んã§ã—ã¾ã£ã¦ã‚‚良ã„æ°—ã¯ã—ã¾ã™ãŒã€è‡ªåˆ†ã®ç†è§£ã‚’æ·±ã‚ã‚‹æ„味ã§ã‚‚ニューãƒãƒ³æŒ‡å‘ã§ã‚¹ã‚¯ãƒ©ãƒƒãƒã‹ã‚‰ãƒ‹ãƒ¥ãƒ¼ãƒ©ãƒ«ãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯ã‚’書ã„ã¦ã¿ã¾ã—ãŸã€‚ 使用言語ã¯æ©Ÿæ¢°å¦ç¿’分野ã§ã¯Pythonã«æ®‹å¿µãªãŒã‚‰é…ã‚Œ
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
GitHub - ankane/torch.rb: Deep learning for Ruby, powered by LibTorch
GitHub - yoshoku/llama_cpp.rb: llama_cpp provides Ruby bindings for llama.cpp
{{#tags}}- {{label}}
{{/tags}}