VS Codeからllama.cpp/Code Llamaを使う（Continueプラグイン）

テクノロジーカテゴリーの変更を依頼記事元:

zenn.dev/kun432

2users がブックマークコメント

コメント

0

記事へのコメント0件

注目コメント
新着コメント

新着コメントはまだありません。
このエントリーにコメントしてみましょう。

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

アプリのスクリーンショット

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

関連記事

{{ total_bookmarks_with_user_postfix }}{{ root_title }}

VS Codeからllama.cpp/Code Llamaを使う（Continueプラグイン）

TL;DR Llama.cppでCode Llamaが使えるようになったので、VS Codeから使ってみる。copilot的なやつ。前... TL;DR Llama.cppでCode Llamaが使えるようになったので、VS Codeから使ってみる。copilot的なやつ。前提 llama.cppはLAN内のサーバで動かす理由 VSCodeを動かすマシンがやや非力なので、同じマシン内でLLMを動かしたくない GPUオフロードして高速に生成させたいサーバ側スペック CPU: Intel Core i9-13900F メモリ: 96GB GPU: NVIDIA GeForce RTX 4090 24GB モデルはcodellama-34b-instruct.Q4_K_M.ggufを使う cuBLASでGPUオフロード VS Codeは"Continue"プラグインを使う設定変更でllama.cppを使える

ブックマークしたユーザー

dann2023/12/23
gmdualis4792023/09/25

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - テクノロジー

いま人気の記事 - テクノロジーをもっと読む

新着記事 - テクノロジー

新着記事 - テクノロジーをもっと読む

いま人気の記事 - 企業メディア

企業メディアをもっと読む

設定を変更しましたx