こうした特化モデルを適宜切り替える運用術を知ることが、AIコーディング支援ツールをフル活用するための重要なステップとなります。 ハードウェア要件とサイジング：メモリ・GPU・NPUの目安 ローカル環境でのAI実行において最も重要な要素はメモリ容量であり、最低でも16GB以上のRAMを搭載することが安定稼働の絶対条件です。 量子化技術によってモデルサイズは圧縮されていますが、OSやVS Codeの消費分を含めると8GBでは不足し、スワップ発生により動作が極端に重くなってしまいます。 私自身、過去にメモリ8GBのPCで7Bモデルを動かそうとして推論が1文字ずつしか出ず、実務を断念した苦い失敗を経験しています。 快適な動作を実現するためのスペック目安は以下の通りです。（出所: Ollama Documentation） 7Bモデル：最小8GB / 推奨16GB RAM 14Bモデル：16GB-3

某所での研修資料です。初学者向け・3～4時間を想定しています。 出張も可能ですので、ご依頼お待ちしております。

エンジニアの又川です。 皆さんは LLM (大規模言語モデル) の 「特殊トークン」 をご存知でしょうか？ ChatGPT や Claude などを使っていると意識することは少ないかもしれませんが、実はモデルの内部では 「ここからユーザの発話だよ」「ここで思考を始めるよ」 といった制御情報を伝えるための特別なトークンが使われています。 この記事では、 GPT-1 や BERT、GPT-2 といった黎明期の Transformer モデルから始まり、 T5 のようなテキスト補完から脱却した Transformer モデル、 GPT-3 のような初期の LLM、 InstructGPT のような指示追従型 LLM、 GPT-3.5 Turbo のようなチャット機能付き LLM、 GPT-4 のようなマルチモーダル LLM、そして GPT-5.2 のような思考機能付き LLM (Reasonin

Dataset({ features: ['text', 'footnote', 'meta'], num_rows: 10246 }) Filtered dataset size: 10,246 entries トークナイザー 青空文庫のデータのみで学習を行うということもあり、語彙に偏りがあることが想定されます。 そこで既存のトークナイザーを使うより専用のものを使用した方が良いだろうと考え自作することにしました。SentencePiece で unigram を学習しています。 一般的なCPUですが10分ほどで作成が完了しました。 パラメーターについて model_type: unigram 互換のトークン列を維持しつつ日本語特有の語尾を細かく刻みたかったので unigram を選択。 vocab_size: 32,000 なら GPT-2 Small と同じスケールの埋め込み行列です。

企業が今「ローカルLLM」を求める切実なワケ　導入の背景、流れ、費用、注意点を徹底解説：IT導入完全ガイド 生成AIの業務活用が進む一方、クラウド利用のセキュリティ懸念は根強い。その解決策として、自社環境でLLMを運用する「ローカルLLM」が注目を集めている。なぜ今、この選択肢が選ばれるのか。 2022年末に「ChatGPT」が登場し、瞬く間に世界中で生成AIブームを巻き起こしてから、はや3年になる。その間、多くの企業が業務効率化の切り札として生成AIに白羽の矢を立て、その活用に取り組んできた。 OpenAIやGoogle、Anthropicなど海外ベンダーが提供する汎用（はんよう）のLLM（大規模言語モデル）をクラウドで利用し、簡単なチャットbot開発からRAG（Retrieval-Augmented Generation：検索拡張生成）を使った自社データの活用、近年ではAIエージェント

Top > 学術＆研究 > オープンLLMの日本語性能でトップ──FLUX、「Flux Japanese LLM」公開　独自手法でQwen2.5を進化

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。 今回は、RAGの認知の階層を分析して、ハルシネーションを防ぐ手法「LFD」について紹介します。 サマリー 以前の我々のブログでLLMに無関係な文書を渡すことでRAGの性能が向上する、という突拍子もない論文を紹介したことがありました。 今回紹介する論文では、その無関係な文書がLLM内部でどのような役割を担っているのかを分析し、原因を突き止めました。さらにそこから一歩踏み込み、無関係な文書を渡すことなく、同等の性能を向上させる手法「LFD」を発見しました。 課題意識 RAGのハルシネーション RAGはユーザーの知りたい情報を検索して、検索結果をLLMに渡すことで、LLMの知らない情報も回答できるようにする為の技術です。しかし、LLMは自身の知る知識と検索結果を明確に区別できないために、たとえ正確に情報を検索できたとしても、正しい情報を回

が好評でしたので、2025年版を作りましたよ。今年も好著連発なため、追いきれてない本もあります。おいおい追記編集します。 本記事のめあて IT系の技術者の方がデータ分析関連の仕事をするために役立つ本を紹介する（私が学び始めた時にあれば欣喜雀躍したであろう）記事として書いております 本記事作者の青木はバイオインフォマティクス（ゲノムデータのDB化中心・Perl・MySQL）からRで時系列分析→Pythonでデータ分析一般と業務をしてまいりました ですので研究者目的の本はありません。また、データ分析の基礎は主にRで学んだのですが、昨今の流行に合わせて理論のほかはほぼPython本のみにしています こういうリストを挙げる奴は大抵読んでいない、と過去にも言われたのですが、未読本は削除しました 最近好著連発なので読んでいる途中だけど挙げている本はあります（初版を読んだが改訂版が出てそちらは読んでいな

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

2025年6月、Googleは開発者のワークフローを一変させる可能性を秘めたオープンソースツール「Gemini CLI」をリリースしました。黒い画面でおなじみのターミナルから、最新AI「Gemini 2.5 Pro」と直接対話できるコマンドライン用AIエージェントです。 「AIを使った開発」というと、これまではAnthropic社の「Claude Code」が非常に人気で、一強状態とも言われていました。そこへGoogleが投入したGemini CLIは、果たしてどのようなツールなのでしょうか。 この記事では、Gemini CLIの基本的な使い方から、その内部の仕組み、そして他のツールとの比較まで、網羅的かつ丁寧に解説していきます。この記事を読み終える頃には、あなたもGemini CLIを自在に操り、日々の開発や作業を劇的に効率化できるようになるでしょう。 Gemini CLIのここが凄い！

Strands Agents × インタリーブ思考 で変わるAIエージェント設計 / Strands Agents x Interleaved Thinking AI Agents

このガイドでは、Hugging Face TransformersとTRLを使用して、モバイルゲームのNPCデータセットでGemmaをファインチューニングする方法を説明します。以下の内容を学習します： 開発環境のセットアップ ファインチューニング用データセットの準備 TRLとSFTTrainerを使用したGemmaのフルモデルファインチューニング モデル推論のテストと品質チェック 注意: このガイドは、NVIDIA T4 GPU（16GB）とGemma 270mを使用してGoogle Colaboratory上で動作するように作成されていますが、より大きなGPUやモデルに適応することも可能です。 Gemma 3 270M のフルファインチューニングの📒 Google Colab ノートブックの日本語版爆誕！！！！！ ＊後ほど共有します！ https://t.co/3YIjobLxNf p

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

よく使うツール Claud Advanced (sonnet 3.5) Perplexity AI Pro (検索) NotebookLM notta (議事録生成) Speak (英会話) 定番が多い。ChatGPTやGeminiは触るけど意外に出番がない。 最近は社内でdevinが仕事してるのを眺めたりしている。

社内のデータ基盤チームのメンバー向けの勉強会で発表した内容を放流します*1。「Analytics Engineerのための」とは付いているものの、実際の勉強会には社内の様々な職種の方も参加してくれて、かつ以下のように業務にも役に立ったという声もあるので、割と有益な内容なんじゃないかなと思っています。 デザイナの方がフロント周りのコードリーディングで役に立った例: SWEで馴染が薄いリポジトリの問い合わせ調査に役に立った例: また、以下のXのSpaceで同じようなことを話しているので、そちらもよかったら聞いてみてください。 Analytics Engineering領域に特化したAgentのためのドキュメンテーション / ガードレースの事例共有会を @okiyuki99 さん / @hanon52_ さん / @ktrru さんとやります! 7/16(水) 12:00からXのSpaceなので

Precise Source Grounding: Maps every extraction to its exact location in the source text, enabling visual highlighting for easy traceability and verification. Reliable Structured Outputs: Enforces a consistent output schema based on your few-shot examples, leveraging controlled generation in supported models like Gemini to guarantee robust, structured results. Optimized for Long Documents: Overcom

概要 この記事の対象者：LLMの内部処理をコードレベルで具体的に理解し、自分で簡易的なモデルを動かしてみたいエンジニアや研究者。 この記事の内容：Raschka著『作りながら学ぶLLM入門』第2章をベースに、トークン化からサブワード分割、特殊トークン付与、データローダー作成、埋め込みまでの前処理工程をPythonコード付きで解説。 この記事を読んでできること：前処理の各ステップを自力で実装し、英語・日本語を問わずLLMの学習データを準備するパイプラインを構築できる。 序説 (長いので、お急ぎの方はスキップしてください) MCP、AIエージェント等盛り上がりを見せてますが、 そもそもLLMってなんで動いているんでしょうか？？ Transformerっていうのが内部にあって、 確率的分布に従って、 RLHFで人間のフィードバックで学習させてetc、、、 理論的な説明はよく見かけます。 ですが、

かれこれ一ヶ月弱くらいBitNetと格闘している。BitNetは、Microsoftが発明したと主張している1-Bit(1.58ビットとも言われる)量子化ニューラルネットワークのことだ。 僕はその辺に落ちてるコードを使って最初の最初はlossが2くらいまで下がったのだが、そもそもLLMはlossが1を切らないと実用性がない。 それ以降は6とか良くて5とかなのでたまたま最初に試したのがうまく行ったようだ。 しかしいつまで経っても良くならないのでBitNetの性質を根本的に見直す必要があるのでは?と思い、初心に帰って論理回路を学習させようとした。 BitNetのコードベースははちさんのコードと、Microsoftの公式な論文の実装を併用した。 まず試したのはこのようなコード from bitnet import * import torch from torch import optim im