なぜDeepSeek V3は“破壊的”なのか？ 大規模言語モデル（LLM）といえば、OpenAIのGPTシリーズやMetaのLlamaシリーズなど、膨大な学習コストと大手企業の潤沢なリソースが必要というイメージが強いかもしれません。しかし、2024年末にリリースされたDeepSeek V3は、その“常識”を一変させる存在として大きな注目を集めています。 わずか数カ月・約558万ドルという圧倒的低コストで学習完了 GPT-4oに匹敵する性能をうたうオープンソースモデルであり、APIも数分の1～十数分の1と圧倒的価格破壊を起こしている Mixture-of-Experts（MoE）を活用して370B級モデルを安価・高速に動作 こうしたインパクトは「破壊的」と評されるに十分でしょう。これまで「開発コスト」や「リソース」による参入障壁が高かったLLMの世界に、新たな扉を開く可能性を秘めているからで

BERT や GPT の登場により、テキストを扱うモデルは大きく発展しましたが、否定というごくありふれた操作を扱うのが依然難しいです。 本稿では、その理由と、部分的な解決策を紹介します。 目次 目次 否定文を理解できないAIたち 否定文を理解できずに困ること なぜ否定文をうまく扱えないのか なぜたまに成功するのか 対処法 ファインチューニング プロンプトの工夫 否定文を意識した訓練 文書数を増やす クエリとキーを拡張する おわりに 否定文を理解できないAIたち BERT (tohoku-nlp/bert-base-japanese-v3) で A =「私はお寿司が好きです。」 B =「私の好きな食べ物はお寿司です。」 のテキスト埋め込みのコサイン類似度を求めてみましょう。A と B は同じようなことを言っており、予想されるようにコサイン類似度は 0.9695 と高いです。 では、 A =「

Microsoftが言語モデル「Phi-4」を2024年12月13日にリリースしました。Phi-4のパラメーター数は140億で主要な大規模言語モデルと比べると小規模ですが、数学性能では最上位クラスの性能を発揮します。 Introducing Phi-4: Microsoft’s Newest Small Language Model Specializing in Complex Reasoning | Microsoft Community Hub https://techcommunity.microsoft.com/blog/aiplatformblog/introducing-phi-4-microsoft%E2%80%99s-newest-small-language-model-specializing-in-comple/4357090 Microsoftは小規模かつ高性能な

近年は生命分子の構造と相互作用を予測するAIモデル「AlphaFold 3」がリリースされたり、「ChatGPTのおかげで論文を読む手間が99％減った」と研究者が報告したりするなど、科学研究におけるAIの活用はますます重要なものになっています。新たに、ワシントン大学とアレン人工知能研究所の研究チームが、科学文献の調査に特化したAIモデル「OpenScholar」をリリースしました。 Ai2 OpenScholar https://openscholar.allen.ai/ Ai2 OpenScholar: Scientific literature synthesis with retrieval-augmented language models | Ai2 https://allenai.org/blog/openscholar OpenScholar: The open-source

週末にちょっとしたウェブサイトというかリンク集（？）を作った。 今回は生成AIツールをフル活用していつもより効率よく作業ができた。 生成AIツールについては日々、新しいものがヤバイすごいと宣伝されているけど、実際にどう使っているのかという情報が少ないと感じている。 なので具体的な使い方を書いてみることにした。 作ったもの 開発の概要 最終的なアーキテクチャ UI開発に生成AIツールを使う 初期デザインの参考元 デザインツールの選定と比較 Next.jsの利用 Cursorを活用した開発 データ整形にLLMを使う スクレイピング Amazonの商品データ取得 LLMの選定 動的なコードと静的なコードの使い分け TypeScriptを使わない範囲を定めた 静的サイト生成（SSG）の採用 柔軟なデータベース設計 まとめ 作ったもの 『最も重要な「最も重要なマンガ10選」10選』は「最も重要なマン

物理学者の逆襲!?Entropixはわずか3億6000万パラメータで1000億パラメータ級の回答を引き出す!Claude-3でも間違う問題を360Mが正しく解く 物理学者たちがノーベル物理学賞をホップフィールドとヒントンが受賞すると知った時、まあまあ微妙な気持ちになったことは想像に難くない。 我々コンピュータ科学者にとっては、ノーベル賞は全く無縁なものだった。むしろ「ノーベル賞をコンピュータ科学者が取ることは永久にない」と言い訳することさえできた。コンピュータ科学の世界にはチューリング賞という立派な賞があるし、ノーベル賞よりも賞金が高かった京都賞は、アラン・ケイやアイヴァン・サザーランド、ドナルド・クヌースなど、コンピュータ科学者たちが堂々と受賞している。その割には本来マイクロチップの最初の設計者である嶋正利などが京都賞にノミネートされていなかったり、サザーランドの弟子であるアラン・ケイの

usutaku@AI情報解説 @usutaku_channel Michikusa株式会社CEO。AIを誠実に広めたい。生成AIの法人/個人研修やってます。研修：上場企業多数 & 個人20,000人超え l 著書📗『Notion AIハック』| ICU卒, ex @amazonJP usutaku@AI情報解説 @usutaku_channel タイトルで損しすぎな本見つけた。 「はいはい、またプロンプト(笑)本ね」 と思いながら手に取ったら 「マジの研究者の人が本気で、だけど完全な初心者にもわかるようにプロンプトを解説」 している良書だった。 ChatGPT触ったことあって、本格的にプロンプト勉強したい！という人には最高の一冊だと思う。 ・質問精緻化 ・認識検証 ・反転インタラクション ・Chain of thoughts ・Chain of verification ・ステップバック

マルチメディア，分散，協調とモバイル（DICOMO2024）シンポジウムでの招待講演の資料です。 https://dicomo.org/

エヌビディアの強みであるGPUの優位性を揺るがすかもしれないAI関連の注目論文とは？人気急上昇中のメルマガ『週刊 Life is beautiful』より読者Q&Aをご紹介。著者の中島さんは「Windows95の父」として知られる日本人エンジニア。メルマガでは毎号、読者からの質問に丁寧に回答しています。 ※本記事のタイトル・見出しはMAG2NEWS編集部によるものです プロフィール：中島聡（なかじま・さとし） ブロガー／起業家／ソフトウェア・エンジニア、工学修士（早稲田大学）／MBA（ワシントン大学）。NTT通信研究所／マイクロソフト日本法人／マイクロソフト本社勤務後、ソフトウェアベンチャーUIEvolution Inc.を米国シアトルで起業。現在は neu.Pen LLCでiPhone/iPadアプリの開発。 1ビットの高速推論AIチップ　米国より先に中国が開発する可能性も 読者からの質

トップ セミナー・お知らせ お知らせの記事一覧 国産LLM初、AIエージェントとして使える「KARAKURI LM 8x7B Instruct v0.1」を一般公開 ～6月20日・21日開催の AWS Summit 2024 で初披露～ カスタマーサポートDXを推進するカラクリ株式会社（東京都中央区：代表取締役CEO 小田志門、以下カラクリ）は、6月20日に国産LLMの中で初めて※1Function callingとRAGに対応した「KARAKURI LM 8x7B Instruct v0.1」を公開いたします。本対応により、「KARAKURI LM 8x7B Instruct v0.1」は様々なアプリケーションを人間に代わって操作するAIエージェント※2としての活用が可能です。そのため生成AIをビジネス実装をする際に、従来の国産モデルであれば必要だった「業界・企業特有のタスクのプログラミ

加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実 2024.06.21 Updated by Ryo Shimizu on June 21, 2024, 18:19 pm JST 世界中の企業や政府が狂ったようにNVIDIAのGPUを買い漁る流れはそろそろ潮時かもしれない。 いくつかの興味深い事象が起きているからだ。 昨日発表されたKarakuri社のLLM、「KARAKURI LM 8x7B Instruct v0.1」は、非常に高性能な日本語LLMだ。Karakuri社は今年の一月にも非常に高性能な70Bモデルを引っ提げて業界に旋風を巻き起こした。この最新のLLNは、日本語向けオープンLLMとしては初の「命令実行」チューニングを施されている。それだけでなく、RAGと呼ばれる、複数の知識を組み合わせてより正解に近い答えを導く技術や、Function

こんにちは！最近、ChatGPTと話しすぎてAI風の口調がうつってきたAI-Bridge Labのこばです！👋 今回の記事はGoogleのサービス『NotebookLM』(ノートブックLM)について 1.NotebookLMの概要 2.使い方 3.具体例として過去のnote記事を全部読ませた結果どうなったか この3点を分かりやすくご紹介します！ 先に結論だけお伝えするとかなり実用性が高くオススメのツールです！ そしてこの記事を読んで頂ければご自身での活用法が想像できるようになると思いますので、ぜひ最後まで読んで頂けますと幸いです！ 1.NotebookLMの概要公式サイト：https://notebooklm.google.com/ NotebookLMは、Googleが提供する生成AIサービスで、ユーザーのメモ書きやアップロードした資料を基に情報を整理し、質問に答えることができる革新的

あれから進化的マージの試行錯誤を繰り返していたが、ついに相当性能が高そうなモデルが生まれた。 Umievo-itr012-Gleipnir-7Bである。 umiyuki/Umievo-itr012-Gleipnir-7B · Hugging Face ElyzaTasks100の平均スコアは3.91に達して、ついにGPT-3.5Turboのスコア（3.88）を上回ってしまった。 ただし、スコアが上回ってるからと言って性能が勝ってるというわけではない事に注意して欲しい。例えるなら、身長が高いからと言って強いわけではないみたいな話である。 前回の記事では少し誤解を招く書き方だったかもしれないが、そもそも7Bの小型日本語LLMなんてのは基本的にドアホである。間違ってもChatGPTの代わりに使えるなんて考えてはいけない。 とは言うものの、単なるドアホではスコア3.91なんて取れないという事もまた

地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 LLM群雄割拠の時代 昨今、ローカルGPUで駆動できるようなLLM（大規模言語モデル）もかなり増えてきて、キャッチコピー的に「ついに我が家にもGPT-4が！」とか言われるようになってまいりました。パラメータ規模で言えば70億～130億(7B-13B)パラメータ、700億(70B)パラメータ、1400億(140B)パラメータあたりのモデルが活発にリリースされているように見受けられます。 大きなモデルをGPU寄せ集めしつつ遊びたい！ しかしながら、コンシュマー向けのGPUにおいては、7B

先日、X（Twitter）で、2万人以上のフォロワーを持ち、起業家でありプログラマでもある元木大介さん（@ai_syacho）が、「Zoltraak（ゾルトラーク）」という自然言語プログラムを発表されました。 このZoltraakは、生成AIに対し自然言語（何らかの既存プログラミング言語ではなく日本語）で命令できる、新しいタイプのものです。 ChatGPTとどこが違うの？「え、ChatGPTでも日本語でお願いできるじゃん」と思いますよね？ ChatGPTとZoltraakでは、出力の考え方が根本的に違っています。 現在の生成AIは対話式がメインChatGPTに代表される生成AIは対話式です。 GPT、Gemini、Copilotなどの生成AIは向上を続け、入力できるテキスト量こそ増えました。しかし、業務全体を俯瞰して依頼することはまだ難しいのが実情です。 分解したタスク毎に内容を依頼して調

米Microsoftは4月23日（現地時間）、小規模言語モデル（SLM）の「Phi-3」を発表した。3サイズ（mini、small、medium）あり、最小モデルのminiは同日からAzure AI Studio、Hugging Face、Ollamaで利用可能になった。 miniのトレーニングデータは38億パラメータ。smallは70億、mediamは140億と、大規模言語モデル（LLM）より少ないが、高品質なデータでトレーニングしているため、「主要なベンチマークにおいて、同じサイズまたはより大きなサイズの言語モデルよりも大幅に優れたパフォーマンスを示す」という。 例えばPhi-3-smallは、米OpenAIのGPT-3.5 Turbo（パラメータ数は公表されていないが、約175億とみられている）などの「はるかに大きなモデルよりも優れたパフォーマンスを発揮する」としている。 Micro

Command-R+の衝撃! 100Bモデルで本当にこんなことできんの!?ダウンロードしてローカルで実行可能 Transformerの発明者らが起業したCohereAIがとんでもないモデルを出してきた。この業界では毎週のように「えーー!」ということが起きるのだが、その中でも年に1,2回起きる「えーーーっ」が起きたのでブログでも紹介しておきたい。 Command-R+(おそらくコマンダープラスと読むのが正しい)というモデルは、わずか100Bで、GPT-4,Claude-3並と言われるモデルだ。しかし、それを主張するだけのモデルなど腐るほどある。だが、実際に触ってみると期待外れということが多かった。 ところがCommand-R+は、その性能は桁違いである。というか、もはや僕という人間如きがちょっと触ったくらいでは「GPT-4よりいいね」とか「ここら辺甘いね」とか判断がつかなくなってきてる。しか

この記事は FIXER Advent Calendar 2023 - Adventar 23日目の記事です。 はじめにこんにちは、毛利です。この記事では趣味用の自作PCにGPUを2枚挿してサイズが13BのLLMを動かす話をします。 LLMのパラメータ数と推論に必要なメモリ量についてまず初めに、LLMのパラメータ数に対して、推論に使う場合にどれぐらいのメモリが必要なのかを話します。ここで言うパラメータ数は7B(70億)、13B(130億)、70B(700億)といったものです。 精度によっても変わってくるのですが、配布されるモデルの精度としてはbfloat16であることが多いです。この場合は、1パラメータあたり2byteになるので、～Bの部分を2倍したGBが要求されると考えればよいです。例えば、7BのLLMであれば14GB、13BのLLMであれば26GBなどとなります。逆に4bit量子化等が行

今のLLMを取り巻く状況について紹介します。

2024年3月に発表されたAnthropicの大規模言語モデル(LLM)「Claude 3」は、20万トークンまでのコンテキスト長に対応しているほか、わずか2つのプロンプトから量子アルゴリズムを設計可能との報告も挙がっています。今回、AI研究者が大規模言語モデルの相対的な能力を測定するために使用する「Chatbot Arena」において、Claude 3の上位モデル「Claude 3 Opus」がOpenAIの大規模言語モデル「GPT-4」の性能を初めて上回ったことが報告されました。 Anthropic's Claude 3 replaces OpenAI's GPT-4 as most popular user-rated LLM https://the-decoder.com/anthropics-claude-3-replaces-openais-gpt-4-as-most-popu