重みを凍結した事前学習済み Transformer のレイヤー全体に渡り、情報を削除または再編成することによる影響を広範に調査した研究を紹介します。実験の結果、Transformer の中間層には大きな一貫性があること、Transformer は学習時と異なる実行方法に比較的頑健であることが確認され、レ…

2025年1月2日に発効したユーザー向けFAQにより、X(旧Twitter)のAI「Grok」に、不適切な内容を話すようになる「Unhingedモード」が追加される可能性があることが明らかになりました。 Frequently Asked Questions (Consumer) | xAI https://x.ai/legal/faq Grok may soon get an 'Unhinged Mode' | TechCrunch https://techcrunch.com/2025/01/08/grok-may-soon-get-an-unhinged-mode/ Grokはマスク氏が所有するxAIという企業が開発したAIで、同じくマスク氏が所有するXに実装されてユーザーに使われています。 このGrokに、新モードが搭載される可能性が強まりました。xAIが公開したユーザー向けFAQの

なぜDeepSeek V3は“破壊的”なのか？ 大規模言語モデル（LLM）といえば、OpenAIのGPTシリーズやMetaのLlamaシリーズなど、膨大な学習コストと大手企業の潤沢なリソースが必要というイメージが強いかもしれません。しかし、2024年末にリリースされたDeepSeek V3は、その“常識”を一変させる存在として大きな注目を集めています。 わずか数カ月・約558万ドルという圧倒的低コストで学習完了 GPT-4oに匹敵する性能をうたうオープンソースモデルであり、APIも数分の1～十数分の1と圧倒的価格破壊を起こしている Mixture-of-Experts（MoE）を活用して370B級モデルを安価・高速に動作 こうしたインパクトは「破壊的」と評されるに十分でしょう。これまで「開発コスト」や「リソース」による参入障壁が高かったLLMの世界に、新たな扉を開く可能性を秘めているからで

2024年11月に行われた2024年アメリカ大統領選挙で、共和党候補のドナルド・トランプ氏が第47代アメリカ大統領に当選しました。トランプ次期大統領は2025年1月20日に行われる大統領就任式で、第47代アメリカ大統領に就任することとなるのですが、この就任式にテクノロジー業界から多額の寄付が寄せられていることが明らかになっています。 Apple CEO Tim Cook donates $1 million to Trump inauguration https://www.axios.com/2025/01/03/tim-cook-apple-donate-1-million-trump-inauguration Tim Cook is donating $1 million to Trump’s inauguration, too - The Verge https://www.the

電子がネジネジしています。 ドイツのコンスタンツ大学（Uni Konstanz）で行われた研究により、単一の電子を螺旋状の物質波に作り替えることに成功しました。 電子はこの宇宙を構成する最も基本的な素粒子ですが、適切な制御を行えばその存在確率を螺旋状のコイルとして成形することができたのです。 さらに奇妙な事実として、この螺旋状の電子は計測機器にも見た目が渦として観測されるにもかかわらず「回転運動量がゼロ（角運動量がゼロ）」であることがわかりました。 螺旋状といういかにも回転していそうな形をとりながら、量子力学的にも古典物理学的にも「回転」の要素がないのです。 しかも興味深いことに、この状態になっても電子には質量と電荷が備わっており、電子の確率分布こそコイル状になっているものの、質量の中心（期待値）はコイルの中心を貫く直線上に存在することが示されました。 研究者たちは「このようなコイル電子が

Devin.aiを試す 長くなってきたので切り出した Devin.aiを試す2024 2025-01-02 Session Usage Limitについて Devin went to sleep due to session usage limits. Limitをだいぶ超えてから止まるようだw 追記 説明を読むとセッション単位のように読めますが、最後のユーザーの発言以降で使用できる ACUs の上限 (by teramoto) あ、そうなんだ、どうりで超えてるものもあるなぁと思った Devin観察日記 3日目｜Daiki Teramoto nishio 「さて、いよいよ金銭感覚が麻痺して参りました。一歩先の未来を生きるためのコストとして受け入れつつも、たまに冷静になる瞬間が恐ろしいです。」 あーあー聞こえないーー(1ヶ月のトークンを1週間で使い切っておかわりした人) nishio 冗談は

2024/12/24 完全にオープンな約1,720億パラメータ（GPT-3級）の大規模言語モデル 「llm-jp-3-172b-instruct3」を一般公開 ～GPT-3.5を超える性能を達成～ 大学共同利用機関法人 情報・システム研究機構 国立情報学研究所 (NIIエヌアイアイ、所長：黒橋くろはし 禎夫さだお、東京都千代田区) の大規模言語モデル研究開発センター（LLMC）は、主宰するLLM勉強会（LLM-jp）の活動の中で、約1,720億パラメータ(*1)（GPT-3のパラメータ数と同規模）の大規模言語モデル（LLM）を2.1兆トークンの学習データを用いてフルスクラッチで学習し、同モデルを「llm-jp-3-172b-instruct3」として一般公開しました。学習データまで含めすべてオープンなモデルとしては世界最大規模です。本モデルは言語モデルの日本語理解能力を測るベンチマーク 「

はじめに ABEJAでデータサイエンティストをしている真鍋です。本日はアドベントカレンダー22日目の記事になります。 今回も生成AI、特にLLM (大規模言語モデル) 系のネタです。前回のネタに比べると箸休め記事感がありますが、お付き合いいただけますと幸いです。 タイトルの通りですが、本日はM-1グランプリなので、お笑いにちなんだ企画です。 はじめに 「お笑い」とLLM 準備 環境準備 漫才のプロンプト設計 「漫才」の生成結果 審査員のプロンプト設計 結果発表 ファイナルステージ まとめ We are hiring!! 「お笑い」とLLM 前提として、LLMを活用される場面は、仕事や日常のお困りごとを壁打ち的に聞いたり、何かやりたいことをどう実現する？といった、調査に近い使い方が多いかと思います。 クリエイティビティが求められるような音楽や画像は、例えば音楽生成AIであったりがありますが、

OpenAIが12日間連続で発表を行うイベント「12 Days of OpenAI」の最終日である2024年12月20日(金)に、新しい推論AIモデル「o3」シリーズを発表しました。OpenAIによると、o3シリーズやo1シリーズには「deliberative alignment(熟慮的調整)」という新しい安全性訓練手法が組み込まれているとのことです。 Early access for safety testing | OpenAI https://openai.com/index/early-access-for-safety-testing/ Deliberative alignment: reasoning enables safer language models | OpenAI https://openai.com/index/deliberative-alignment/ o

コミューン株式会社で機械学習エンジニアをしている深澤です。 この記事はCommuneアドベントカレンダー(シリーズ2)の 21 日目の記事です。 直前まで全く違う記事を書いていたのですが、ModernBERT というアツいモデルが発表されて話題になっており、Huggingface の公式からブログも出ているので、早速読んでみた感想をアドベントカレンダーの記事にすることにしました。感想だったり、付属事項を調べてみたので記事として昇華することを目指しています。 翻訳したもの、というよりは要点をかいつまんだものになっています。詳細は以下の記事を御覧ください。 記事 論文 コード ModernBERT のここがすごい Token length が 8192 に拡張(！？) もともとは 512 です。10倍以上になってる... GLUE スコアもかなり向上 それでいてbase (139M param

こちらはエムスリー Advent Calendar 2024 17日目の記事です。 AI・機械学習チームの髙橋です。チームでは先週からNeurIPS読み会が開催されており、"Deep Learning Architecture, Infrastructure"という深層学習のアーキテクチャに関するセッションを担当しました。その中でも興味深い一本として"You Only Cache Once: Decoder-Decoder Architectures for Language Models"という論文を勉強会まとめブログで紹介してます。 www.m3tech.blog この論文ではLLMの推論時に用いられるKey Value Cacheという仕組みに着目してGPUメモリの占有量やスループットを大幅に向上させるアーキテクチャを提案していました。非常にモデルが大規模化した昨今、この論文のように

Ilya Sutskever full talk "Sequence to sequence learning with neural networks: what a decade" at NeurIPS 2024 in Vancouver, Canada. "Pre-training as we know it will end" and what comes next is superintelligence: agentic, reasons, understands and is self aware. NeurIPS 2024 — 2024 Conference on Neural Information Processing Systems.

「Gemini 2.0」の「3D Spatial Understanding」を試したのでまとめました。 ・Pointing and 3D Spatial Understanding with Gemini 2.0 (Experimental) 1. 3D Spatial Understanding「3D Spatial Understanding」(3次元空間認識) は、2D画像や動画から、現実世界の3次元空間を理解する能力や技術のことです。 【注意】3Dバウンディングボックスは実験段階です。精度を高めるには 2Dバウンディングボックスを使用してください。 2. Gemini API の準備「Google Colab」で Gemini API を準備する手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール !pip install -U -q goo

X (Twitter)を眺めていたら、面白そうな論文が流れてきました。それがこちらです。 実際に流れてきたのはこちらの紹介記事なんですが、その要約を読んだ限りでもなかなかに興味深い現象であるように思われます。 ということで、何番煎じかもはや分かりませんがこのブログでも備忘録的に取り上げてみようと思います。が、ただそれだけでは面白くないので、この論文を読んで僕が個人的に考えた「現実のヒトの脳との関連性」についても論じてみることにします。 論文の概要 LLMの"Super Weights"の役割 "Super Weights"はデータ入力をせずとも特定できる "Super Weights"がLLMの量子化に果たす意義 現実のヒトの脳との比較 マクロに見れば「似ている」 知覚・認知機能に絞って見れば「異なる」 コメントなど 論文の概要 基本的には冒頭にリンクしたまとめ記事でも紹介されている通りで

この記事はenechain Advent Calendar 2024の14日目の記事です。 はじめに こんにちは。enechainで統計・機械学習モデルの構築やLLM（大規模言語モデル）の活用推進を担当している@udon_tempuraです。 私達のチームでは、以前紹介した会議動画要約のノウハウを活用し、 社内用の動画・音声文字起こしツールを構築・運用しています。 本記事では、その精度向上の仕組みについて紹介します。 実装も比較的少なく実現できたため、セキュリティなどの関係により内製で文字起こしを構築している方々の参考になれば幸いです。 はじめに 背景と課題 システム要件 システム実装 アーキテクチャ 入力データ形式 ドメイン固有用語の管理 処理フロー Cloud Speech-to-Textによる文字起こし Gemini 1.5 Flashによる認識処理 Gemini 1.5 Proによ

はじめに こちらはABEJAアドベントカレンダー2024 12日目の記事です。 こんにちは、ABEJAでデータサイエンティストをしている坂元です。最近はLLMでアプローチしようとしていたことがよくよく検証してみるとLLMでは難しいことが分かり急遽CVのあらゆるモデルとレガシーな画像処理をこれでもかというくらい詰め込んだパイプラインを実装することになった案件を経験して、LLMでは難しそうなことをLLM以外のアプローチでこなせるだけの引き出しとスキルはDSとしてやはり身に付けておくべきだなと思うなどしています（LLMにやらせようとしていることは大抵難しいことなので切り替えはそこそこ大変）。 とはいうものの、Agentの普及によってより複雑かつ高度な推論も出来るようになってきています。弊社の社内外のプロジェクト状況を見ていても最近では単純なRAG案件は減りつつあり、計画からアクションの実行、結果

OpenAIは、ChatGPTの新しい有料プラン「ChatGPT Pro」を発表しました。価格は月額200ドルで、最高レベルの「OpenAI o1」を含むすべてのモデルを無制限で使用することができます。