d=512, 8H/4KV, BPE=8192 ┌──────────────┐ │ Tool Call │ └──────┬───────┘ ┌┴──────────┐ │ Softmax │ └─────┬─────┘ ┌─────┴─────┐ │ Linear (T)│ ← tied └─────┬─────┘ ┌─────┴─────┐ │ ZCRMSNorm │ └─────┬─────┘ ┌────────┴────────┐ │ Decoder x 8 │ │┌───────────────┐│ ││ ZCRMSNorm ││ ││ Masked Self ││ ││ Attn + RoPE ││ ││ Gated Residual││ │├───────────────┤│ ┌──────────────┐ ││ ZCRMSNorm ││ │ Encoder x 12 │

LLMを動かすハードウェア、軽くまとめておきます。 SoC LLMを動かそうとしたら、まず候補にしたいのはCPU+NPU+GPUのSoCが載ったマシン。 GPUカードのようなパフォーマンスは出ないけど、現実的な値段で大きいモデルが動かせます。 ※ 追記(2026/5/14) 現状ではMacだけ普通で他は特別なマシンという感じですが、インテルも対応した今後は「パソコンを買ったらLLMが動かせる。せっかくLLM動かすならちょっとお金を足して30Bが動く程度にメモリ積もう」となるんじゃないかと思います。 Ryzen AI Max+ 395搭載の128GBのEVO-X2が48万円、と思ったら品切れ・・・ ※追記 本家に「在庫たっぷり」と売ってあった。 ※さらに追記 去年の11月くらいには30万弱で買えたんですよ・・・夏くらいには192GBとか256GBとか買えるようになるかなと思ってたんですよ・・

米Anthropicの非公開AIモデル「Claude Mythos」のアーキテクチャを理論的に推定し、再構築したオープンソースプロジェクト「OpenMythos」が公開された。22歳の開発者Kye Gomez氏が主導し、公開済みの研究論文群を元にPyTorchで構築した。7億7000万パラメータの小規模構成で、13億パラメータのモデルに匹敵する推論性能を示す。 Claude Mythos の構造を推測で模倣し、オープンソースで公開 OpenMythosは、米Anthropicの非公開AIモデル「Claude Mythos」の「Silent Reasoning（暗黙の推論）」アーキテクチャの再現を目的とするプロジェクトである。Claude Mythosは高度なサイバーセキュリティ能力を持つとされ、「Project Glasswing」と呼ばれるAnthropic内部のペネトレーションテスト等

連載目次 日本語でAIを使うと、英語よりも高く付くと言われます。もしそれが本当なら、日々のAIコーディングや業務でのAI活用のコストは、私たちが思っている以上に「使う言語」に左右されていることになります。では、日本語は実際にどれくらい不利なのでしょうか。GPT、Claude、Geminiなどの主要LLM（大規模言語モデル）では、その差にどのような違いがあるのでしょうか。本稿では、独自に作成したベンチマークを基に、言語ごとのトークン効率を比較します（図1）。 そもそもトークンとは、AIが文章を処理するときの単位です。人間にとっては同じ意味の文章でも、AIの内部では言語や表記によって異なる数のトークンに分割されます。多くのAIサービスでは、この入力トークン数や出力トークン数が料金、利用上限、コンテキストウィンドウ（AIが一度に扱える情報量）に関係します。つまり、同じ内容を伝えているつもりでも、

本記事では、RAGの精度を高めるための「SIRA」という手法について、ざっくり理解します。 株式会社ナレッジセンスは、生成AIやRAGを使ったプロダクトを、エンタープライズ企業向けに開発しているスタートアップです。 この記事は何 この記事は、「キーワード検索1回だけ」で高いRAG精度を出す新手法「SIRA」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます（参考） 本題 ざっくりサマリー 「SIRA」は、RAGの回答精度を高めるための手法です。Meta Superintelligence Labsとライス大学の研究者らによって2026年5月に発表されました。 ちなみに「SIRA」は「SuperIntelligent Retrieval Agent」の略です。 最近、RAGの検索部分を「エージェント」にする手法が話題です

Interaction Models: A Scalable Approach to Human-AI Collaboration Today, we’re announcing a research preview of interaction models: models that handle interaction natively rather than through external scaffolding. We think interactivity should scale alongside intelligence; the way we work with AI should not be treated as an afterthought. Interaction models let people collaborate with AI the way we

Last year, we released a case study on agentic misalignment. In experimental scenarios, we showed that AI models from many different developers sometimes took egregiously misaligned actions when they encountered (fictional) ethical dilemmas. For example, in one heavily discussed example, the models blackmailed engineers to avoid being shut down. When we first published this research, our most capa

またもや標的にされてしまいました。前回の記事から中2日。Reidisの作者であるantirezが開発したDeepSeek V4 Flash専用推論エンジン『ds4（DS4）』が大幅に進化していました。試さないといけないやつが出てきてしまったのです。今度はNVIDIAの超小型AIスーパーコンピュータDGX Spark（互換機）で。 プロジェクト名が『DwarfStar 4』に変わり、CUDA対応が入り、新機能が3つ4つ追加されている、というハイペースでの更新。いったいどこが変わったのか、実機で検証していきます。 128GB超メモリMac専用の巨大LLMエンジン「DwarfStar 4」はローカル推論の常識をどう書き換えるのか。284BのDeepSeek V4 FlashをM4 Max 128GB MacBook Proの自作AIに組み込んでみた（CloseBox） | テクノエッジ Tech

連載目次 AIモデルの進化は、これまで「どのモデルが最も高いベンチマークスコアを出すか」という競争として語られることが多かった。特にコーディングやソフトウェアエンジニアリングの領域では、SWE-Benchなどの評価指標を基準に、次のSOTA（最先端）モデルはどれかが注目されてきた。 ただ、この1カ月ほどで、その見方は少し変わりつつある。重要なのは、単に最高スコアを取ることだけではない。実際の開発現場で、AIがどこまで自分で考え、ツールを使い、途中で止まらずに作業を進められるか。OpenAIが2026年4月23日（米国時間）に発表したGPT-5.5は、まさにその流れの中で登場したモデルである。 コーディング関連ベンチマークにおけるGPT-5.5とGPT-5.4の比較（公式発表ページから引用） 左はTerminal-Bench 2.0（ターミナル操作を含むコーディングタスク）、右はExpert

大規模言語モデルは驚くべきことを成し遂げるが、なぜそう動くのかは誰も正確には分からない。その「ブラックボックス」に挑むスタートアップ、グッドファイアが新ツールをリリースした。AIモデルの内部を可視化し、訓練中にパラメーターを調整できる初のツールだという。 by Will Douglas Heaven2026.05.12 10 この記事の3つのポイント グッドファイアがAIモデルの内部構造を可視化・調整できるツール「Silico」をリリースした 機械論的解釈可能性技術でニューロン経路をマッピングし、訓練中のパラメーター調整を可能にする 専門チーム不要で中小企業にも解釈可能性技術を開放する一方、「錬金術の精度向上にすぎない」との批判もある summarized by Claude 3 サンフランシスコを拠点とするスタートアップ、グッドファイア（Goodfire）は、「Silico（シリコ）」と