SentencePieceã®Ruby bindingsを作ã£ãŸ - 洋食ã®æ—¥è¨˜
ã¯ã˜ã‚ã« Rubyã§ãªã«ã‹å¤§è¦æ¨¡è¨€èªžãƒ¢ãƒ‡ãƒ« (Large Language Models, LLMs) ã«é–¢ã™ã‚‹ã“ã¨ã‚’ã‚„ã£ã¦ã¿ã‚ˆã†ã¨æ€ã£ã¦ã€SentencePieceã®binding gemãŒãªã„ã“ã¨ã«æ°—ã¥ã„ã¦ä½œã£ãŸã€‚ github.com SentencePieceã¯ãƒ‹ãƒ¥ãƒ¼ãƒ©ãƒ«ãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯ãªè¨€èªžå‡¦ç†å‘ã‘ã«ä½œã‚‰ã‚ŒãŸTokenizer/Detokenizerã§ã€æ–‡ãŒä¸Žãˆã‚‰ã‚Œã‚‹ã¨å˜èªžã«åˆ†å‰²ã—ã¦IDを割り当ã¦ã‚‹ã€‚逆ã«IDã®ãƒªã‚¹ãƒˆã‹ã‚‰æ–‡ã‚’å†æ§‹æˆã™ã‚‹ã“ã¨ãŒã§ãる。ã“ã®é€†å¤‰æ›ãŒå¯èƒ½ãªã“ã¨ã§End to Endã®...ã‚ã¨ã¯ä½œè€…ã®Kudo Takuã•ã‚“ã®Qiita記事ã«ã€‚ qiita.com インストール sentencepiece.rbã¯ã€SentencePiece自体をåŒæ¢±ã—ã¦ã„ãªã„ã®ã§ã€å„パッケージマãƒãƒ¼ã‚¸ãƒ£ãƒ¼ã§ã“れをインストールã™ã‚‹ã€‚Ubuntuã§ã‚ã‚Œã°aptã§ã€macOSã§ã‚ã‚Œã°homebre
llama.cppã®Ruby bindingsを作ã£ãŸ - 洋食ã®æ—¥è¨˜
ã¯ã˜ã‚ã« llama.cppã¯Metaã®å¤§è¦æ¨¡è¨€èªžãƒ¢ãƒ‡ãƒ« (Large Language Models, LLMs) ã§ã‚ã‚‹LLaMAã‚’ã€é‡å化ã™ã‚‹ã“ã¨ã§CPU上ã§å‹•ä½œã•ã›ã‚‹ã‚‚ã®ã§ã‚る。C/C++ã§å®Ÿè£…ã•ã‚Œã¦ã„ã‚‹ã®ã§ã€Ruby bindingsを作ã£ã¦ã€Rubyã‹ã‚‰å‘¼ã³å‡ºã›ã‚‹ã‚ˆã†ã«ã—ãŸã€‚ github.com 使ã„æ–¹ インストールã¯é€šå¸¸ã®native extensionsãªgemã¨åŒæ§˜ã§ã‚る。 $ gem install llama_cpp モデルを用æ„ã—ã¦é‡å化ã™ã‚‹å¿…è¦ãŒã‚ã‚‹ãŒã€llama.cppã‚’cloneã—ã¦ãã¦ã€Usageã®é€šã‚Šã«ã™ã‚Œã°ã§ãる。 GitHub - ggerganov/llama.cpp: Port of Facebook's LLaMA model in C/C++ ã‚ã¨ã¯ã€æ™®é€šã«requireã™ã‚Œã°ä½¿ãˆã‚‹ã€‚ require 'llama_cpp' # パラメータを
Rubyã«ãŠã‘る機械å¦ç¿’ã¨çµ±è¨ˆåˆ†æžã®ãŸã‚ã®ç’°å¢ƒæ•´å‚™ã®å–り組ã¿
Ruby Business Users Conference 2017
Rubyã§ãƒ‡ã‚£ãƒ¼ãƒ—ラーニング - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 背景 ç¾åœ¨ã€TensorFlowã€Chainer他多数ã®DeepLearning用ライブラリãŒå…¬é–‹ã•ã‚Œã¦ã„ã¾ã™ã€‚ æœ¬æ ¼çš„ãªã‚¢ãƒ—リケーションã§ä½¿ã†ã«ã¯å®Ÿè¡Œã‚¹ãƒ”ードã€ã‚¯ã‚ªãƒªãƒ†ã‚£ã€æ‹¡å¼µæ€§ã€ãƒ‰ã‚ュメントã€ã‚³ãƒŸãƒ¥ãƒ‹ãƒ†ã‚£ã®å……実ç‰å¤šãã®é¢ã§ã€ãれらã®ä¸ã‹ã‚‰é¸æŠžã—ã¦ä½¿ç”¨ã™ã‚‹ã®ãŒé‰„æ¿ãªçŠ¶æ³ã§ã™ã€‚ã‚‚ã¡ã‚ã‚“ã€ç§ã‚‚メインã§ã¯ãれらを使ã‚ã›ã¦ã‚‚らã£ã¦ã„ã¾ã™ã€‚ã“れらã®ãƒ©ã‚¤ãƒ–ラリã€ä¾‹ãˆã°tensorFlowã§ã¯computatoin graphを構築ã€operationã‚’è¿½åŠ ã—ã¦ãれを実行ã¨ã„ã†ã‚¤ãƒ¡ãƒ¼ã‚¸ã§ï¼ˆè¡Œåˆ—ã€æ•°å¼ã§å–り扱ã†ã‚¤ãƒ¡ãƒ¼ã‚¸ï¼‰ã€æ ¹åº•ã«ã‚ã‚‹å¤å…¸çš„ãªãƒ‹ãƒ¥ãƒ¼ãƒãƒ³
1
ランã‚ング
ãŠçŸ¥ã‚‰ã›
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
GitHub - ankane/torch.rb: Deep learning for Ruby, powered by LibTorch
GitHub - yoshoku/llama_cpp.rb: llama_cpp provides Ruby bindings for llama.cpp
{{#tags}}- {{label}}
{{/tags}}