コンバンハ、オイソギデスカ 今日も上司の思いつきで無茶振りされる皆さんお疲れ様です。 DeepSeekみたいな話題が日経新聞に載るたびに新規事業になるんじゃ無いかとかプロトタイプをもってこいみたいなこと言われると災難ですよね。 何がどうなってて、何はできないんですよみたいなのまとめておいたから、俺の屍を越えてゆけ。 まず前提からな 確実なこと DeepSeekが、生成AIモデルをMITライセンスで出した。 巨大なサイズの生成AIモデルを出した。（普通のデスクトップPCでは動かないようなもの） 他がすでに出してた小さいモデルを改良したものを出した。（蒸留したもの、GPU積んでるデスクトップPCなら動くようなもの） 作り方、改良の仕方の論文を出した。ほぼ確実なこと中国が輸入できる制限されたGPU群で生成AIモデルを作った。 生成AIモデルを改良する際に、強化学習のみを用いて改善を行った。 他が

俺が好きなmacでローカルLLMを触れるってことと、来年さらにローカルLLMが熱くなる(はず)ということでm4チップが発売されたことを契機に購入を検討した。 ＃現状、m1 mac book air 16GB所持で、小さめのモデルでも手元で動かすにはちょっと心もとない。 この記事は検討の過程を共有して、誰かの参考になればと思って公開する。 結論 色々悩んだが、整理してみると俺はm4 mac book airのメモリ24GBを待つことにした。(年末セールのm3 mac book airもちょっと候補。) mac book proも悩んだが、持ち運びが多いので重さ、バカ高いPCを持ち運ぶの怖いという観点で諦めた。 一旦mac book airのみで推論ベースで遊んでみて、自分でもモデルを学習してみたいとかでてきたときにm4 mac miniのm4pro-48GBを追加導入しようかなと思う。 ロー

ローカルLLMの準備と使用 Ollamaのライブラリから好みのモデルを選びます。 ここではgemma2:9bモデルを例に説明します。 モデルのダウンロードと起動： 対話を終了するには、Ctrl + dか/byeコマンドを入力。 よく使うコマンド モデル一覧表示：ollama list モデルのダウンロードと起動：ollama run モデル名 モデルのダウンロードのみ：ollama pull モデル名 モデルの削除：ollama rm モデル名 VSCodeの準備 まだVSCodeを持っていない場合は、公式サイトからダウンロード。 VSCode拡張機能「Continue」の追加 VSCodeを開き、拡張機能タブへ。 「Continue」を検索。 Continue拡張機能をインストール。 VSCodeとOllamaの連携 VSCodeで「Select model」を選択。 「Add Mode

LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由という記事を書きました。 mutaguchiさんのツイートを見て、LLMプロダクトの開発とはどういうものなのかを知らない人も多いのかなと気づいたので、そこらへんを記事として書いてみます。 https://t.co/4WvjuuoGnC 「LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由」の記事のはてブコメント見てたんだけど、ほとんど理解されてなかったのが興味深い。 ・プロプライエタリなLLMでは、ランニングコストが嵩み、これを利用したサービスは成立しづらい… — mutaguchi (@mutaguchi) April 24, 2024 商用LLM APIとローカルLLMって使い方が全然違う気がしてる。 商用LLM APIって、機微情報を送らないこと、規約違反テキストを送らないこ

もしあなたがLLMを使ったプロダクトを何かしら開発している、もしくは興味があるのなら、メモリを大量に積んだMac Studioの購入を検討すべきです。 対象読者NVIDIAが絶対にいいという人はこの記事の対象読者ではありません。また、用途によって、ローカルマシンによるローカルLLMが向いてる・向いてないは明確にあるので、向いてない用途にしか使わない人も対象読者ではありません。あしからず。 また、この記事は別にNVIDIAをdisる意図はありません。みんな違っていい。NVIDIAもいい選択肢ですが、Mac Studioも悪くないですよ、と言いたい。 結論LLMプロダクト開発において、今年はもはやローカルLLMを無視できない、してはいけない状況です。 LLMプロダクト開発をする会社の視点でいえば、是非とも80GB以上の十分なGPUメモリを積んだマシンを用意できるようなアジリティを持つのが望まし

本気のローカル LLM 界隈では 32GB 程度の RAM (ユニファイドメモリ) はジョークです。全てを GPU に割り当てられないので、本当に大規模 (70B 以上) な LLM には 32GB では足りません。ボクは M2 Max 32GB RAM の Mac Studio を買ってから知りました。悔しいです。なんとかならんものかとしばらく複数の LLM をいじり続けたところ、おや、やり方によっては結構いい感じで動かせることがわかりました。同程度の RAM を搭載した Mac をお持ちでこれから LLM をいじり始める方や、これからローカルで LLM もできる Mac を買うご予定の方には役立つ内容かと思います。LLM 自体の深いところ、量子化やパラメータなどの詳細にはあまり触れていないので、あしからず。 ローカル LLM とは ネットで「ローカル llm とは」と調べれば山ほど情報

NVIDIAからミニPCサイズのAIスパコンの製品発表があった。製品名はGB10である。 発表内容 GIGAZINEの記事が分かりやすいので、こちらから製品仕様を引用した。 製品仕様 CPU：Armアーキテクチャ、CPUコア数20個 GPU：Blackwellアーキテクチャ、FP4で1PFLOPS メモリ：128GB 省電力DDR5X ストレージ：4TB SSD OS：Linuxベース NVIDIA DGX OS 仕様の詳細は不明だが、DDR5Xメモリの採用はM4 Macと同じなのでメモリ帯域幅はM4 Macと同程度か。GPU演算性能は１PFLOPS（FP4）で、FP32での性能はFP4の1/8の性能とすると、125TFLOPS（FP32)となり、M4 Maxの10.6TFLOPSよりもかなり高性能で、Geforce RTX4090の82.5TFLOPSと比べても同程度かそれ以上となる。

新しいMac miniが予約開始となった。ミニPC好きの私としてはこの新Mac miniでLLMを動かした場合の性能に興味がある。新Mac miniのM4 Proで８Bクラスおよび７０BクラスのLLMを動かした場合の性能を見積もり、我が1000ドルPCと比較してみたい。 Mac mini M4 Pro の価格見積 見積もりの対象としたMac miniのスペックは以下の通り。 プロセッサ　M4 Pro（１４コアCPU、２０コアGPU） メモリ　　　64GB　ユニファイドメモリ ストレージ　１TB SSD Appleの予約サイトで見積もった結果がこちら。368,800円（税込み）となった。 高い！！というのが第一印象だと思う。しかし最先端のPCの価格は昔はこんなものだった。今から40年前に発表された初代マッキントッシュ（Macintosh 128K）は698,000円だ。 MacはLLMを動か

生成AIは無料でインストールすることも可能生成AIを利用するには、AIを実行するプログラム、そしてレスポンスを生成するための大規模言語モデル（LLM）が必要になります。 LLMはAIテキストジェネレーターを支えています。GPT-4はChatGPTを駆動する最新のもので、Googleは現在、Google Bardの裏で動作する新しく改良されたLLMとしてGeminiをリリースしています。 LLMを完全に理解するには、一定レベルの科学的・数学的知識が必要ですが、基本的な説明をすると、LLMは膨大な量のサンプルデータで訓練され、単語と文の関係（つまり、どの単語が一般的に後に続くか）を認識することを学習します。 ローカルにインストールできるAIモデルがいくつかありますScreenshot: Lifehacker US簡単に言うと、LLMは自動修正エンジンのようなものです。 LLMは何かを本当には「

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? NTTテクノクロス株式会社の渡邉洋平です。 今回はClineとClaudeの連携をAnazon Bedrockで試していきます。Clineの記事はいくつかありますが、今回はAWSユーザをスコープにした記事です。 Cline？ Meet Cline, an AI assistant that can use your CLI aNd Editor. Clineは開発者用のAIアシスタントツール。VSCodeなどにプラグインとして導入することで、コーディングの強力な相棒になってくれる。Cursor無し、特別なライセンス無しでもVSCodeで

本投稿は TECOTEC Advent Calendar 2024 の20日目の記事です。 次世代デジタル基盤開発事業部の椎葉です。最近はエンジニアとしてGoやNext.jsを使用したWebアプリケーションの設計開発に関わっています。 さて、昨今は業務でも生成AIサービスの活用が当たり前になってきました。直近のプロジェクトも生成AIの利用が好まれる土壌で、コーディングやコードレビュー、テストケースや資料作成など様々な工程に生成AIサービスを利用しています。 ですが一方で、ChatGPTを始めとした外部Webサービスは、コンプライアンスなどの観点から利用が難しい場合もあります。 例として、ChatGPTやClaudeは会話内容などを必要に応じて取得・利用する規約となっており、 業務で利用する場合は機密情報やセキュリティリスクとなる内容を送信しないよう注意が必要です。 https://open

しぴぴぴ！ Vtuberのしぴちゃん (https://www.youtube.com/@CP-chan) です。 配信ではゲームの話しかしてませんが、今回はAIに関する連載ということでローカル環境（手元のマシン）で動かせるAIの話をしていきます。 第一弾　DeepSeek R1をほぼ準備なしからローカルGPUで動かす 第二弾　本記事　Cline＋ローカル版DeepSeek R1でAIコーディングを使い放題にする（高スペックマシン向け） 第三弾　GPUなしでも動く！ローカルLLMとllama.vscodeでコード補完 今回は連載の第二弾です。 LLMをローカルにインストールする大きなメリットとして、API制限や従量課金から解放されてLLMが「使い放題」になるという点があります。 DeepSeekは一世代前のV3ならWebで使ってもそんなに高くないのですが (https://api-docs

概要 ✨ この記事では、Macローカル環境で以下を実現する方法を解説します： 💻 Cline を使ったローカル開発環境の構築 🤖 Ollama＋DeepSeek-R1モデル を活用したAI運用 🌐 WebUI を Docker 経由で簡単にセットアップ M1やM4のMacで安全かつ効率的にAIを活用するための具体的な手順を網羅しました！設定が完了すれば、ローカル環境だけで高機能なAIを安全に楽しめます 🎉 ぜひ、このガイドを参考に自分だけのAI運用環境を構築してみてください 🚀 環境 🛠️ OS: macOS Sequoia 15.2 マシン: MacStudio M1 Max / RAM 32GB MacMini M4 Pro / RAM 64GB ollamaモデル:deepseek-r1:14b (このマシンで32bはキツイ😓) Ollama＋WebUIの準備 🧩 1

はじめに大規模言語モデルに危険物取扱者試験(甲種試験)を解かせて合格させるという試みを行ってきました｡ 前回までの検討で､Claude-3.5-sonnetを使いつつ､試験対策本の類題でRAGを行えば､この資格試験の過去問でほぼ満点を取れることが分かりました｡ 本記事では､Claude-3.5-sonnet以外のモデルで同じ検証を行い､各モデルの地頭と読解力を検証します｡ また､今後のモデル開発について思ったことについても､感想文を書きました(記事の最後)｡ 検証条件データ試験問題: 資格の公式サイトで配布されている過去問 RAGデータ: 試験対策本から抜き出した約600問の問題・回答・解説 解きたい問題にembedding vectorで近い10問を参照させる 典型的なプロンプト completion = client.chat.completions.create( model=mod

はじめに 最近話題になっている browser-use について自己理解のために基本的なところをまとめてみます。 公式リポジトリはこちら browser-use とは？ browser-use は、Python で作られた「AI エージェントがウェブブラウザを操作できるようにする」ためのライブラリです。具体的には、下記のような機能を提供しています。 ビジョン機能や HTML 抽出 ブラウザで読み込んだページの DOM（要素構造）を解析、スクリーンショットやテキスト情報を取得できます。 マルチタブ管理 自動で複数タブを開き、それぞれのタブを並行して操作できます。 カスタムアクション機能 たとえば「特定のファイルを保存」「データベースへ登録」「社内チャットに通知する」など、ユーザー独自のアクションを定義できます。 自己修正機能 操作が失敗したり、要素を見つけられなかったりした場合に、自分で修正

2022年11月の公開以来、世界中で爆発的に広がったChatGPT。従来型の大規模言語モデル「GPT」をチャット型にすることで、技術者のみならず一般人まで広く利用可能になった点がイノベーティブだ。しかし同時に、エンジニアには「ハルシネーション（AIが事実とは異なる情報を生成する現象）」のリスクを正しく認識し、適切に付き合っていくことが求められている。2024年2月に開催されたDevelopers Summit 2024において、株式会社NextInt代表の「ところてん」こと中山心太氏が、エンジニアの生成AIとの付き合いかた、生成AIによって変化したエンジニアの業務領域、求められるスキルについて解説した。 ChatGPTの有用性とハルシネーションのリスク OpenAI社によって開発されたChatGPTは、2022年11月に公開され、その高い技術性能によって世界中で爆発的に広がった。ChatG