電子がネジネジしています。 ドイツのコンスタンツ大学（Uni Konstanz）で行われた研究により、単一の電子を螺旋状の物質波に作り替えることに成功しました。 電子はこの宇宙を構成する最も基本的な素粒子ですが、適切な制御を行えばその存在確率を螺旋状のコイルとして成形することができたのです。 さらに奇妙な事実として、この螺旋状の電子は計測機器にも見た目が渦として観測されるにもかかわらず「回転運動量がゼロ（角運動量がゼロ）」であることがわかりました。 螺旋状といういかにも回転していそうな形をとりながら、量子力学的にも古典物理学的にも「回転」の要素がないのです。 しかも興味深いことに、この状態になっても電子には質量と電荷が備わっており、電子の確率分布こそコイル状になっているものの、質量の中心（期待値）はコイルの中心を貫く直線上に存在することが示されました。 研究者たちは「このようなコイル電子が

Devin.aiを試す o1 Pro.icono1 Proによる解説: Devin.aiは、ソフトウェアエンジニアリング作業を支援するために設計された「自律型AIエンジニア」です。GitHubリポジトリと連携してコードを書き、テストし、PRまで生成できるのが特徴です。以下に要点をまとめます。 コードの自動生成・編集 言語やフレームワークの移行、既存コードのリファクタリングや小規模な改善を得意とし、PRレビューも手伝ってくれます。 環境構築と作業履歴のスナップショット Devin専用のワークスペース(VSCodeやShellなど)を自動で立ち上げ、セットアップ手順を踏んだ状態をスナップショットとして保存します。再開時に同じ環境を呼び出せるため、作業のやり直しを減らせます。 体験談：活用のコツと課題 メリット: たくさんの雑務やリファクタを一気に片付ける提案をしてくれる。「大規模なコード修正」

2024/12/24 完全にオープンな約1,720億パラメータ（GPT-3級）の大規模言語モデル 「llm-jp-3-172b-instruct3」を一般公開 ～GPT-3.5を超える性能を達成～ 大学共同利用機関法人 情報・システム研究機構 国立情報学研究所 (NIIエヌアイアイ、所長：黒橋くろはし 禎夫さだお、東京都千代田区) の大規模言語モデル研究開発センター（LLMC）は、主宰するLLM勉強会（LLM-jp）の活動の中で、約1,720億パラメータ(*1)（GPT-3のパラメータ数と同規模）の大規模言語モデル（LLM）を2.1兆トークンの学習データを用いてフルスクラッチで学習し、同モデルを「llm-jp-3-172b-instruct3」として一般公開しました。学習データまで含めすべてオープンなモデルとしては世界最大規模です。本モデルは言語モデルの日本語理解能力を測るベンチマーク 「

はじめに ABEJAでデータサイエンティストをしている真鍋です。本日はアドベントカレンダー22日目の記事になります。 今回も生成AI、特にLLM (大規模言語モデル) 系のネタです。前回のネタに比べると箸休め記事感がありますが、お付き合いいただけますと幸いです。 タイトルの通りですが、本日はM-1グランプリなので、お笑いにちなんだ企画です。 はじめに 「お笑い」とLLM 準備 環境準備 漫才のプロンプト設計 「漫才」の生成結果 審査員のプロンプト設計 結果発表 ファイナルステージ まとめ We are hiring!! 「お笑い」とLLM 前提として、LLMを活用される場面は、仕事や日常のお困りごとを壁打ち的に聞いたり、何かやりたいことをどう実現する？といった、調査に近い使い方が多いかと思います。 クリエイティビティが求められるような音楽や画像は、例えば音楽生成AIであったりがありますが、

OpenAIが12日間連続で発表を行うイベント「12 Days of OpenAI」の最終日である2024年12月20日(金)に、新しい推論AIモデル「o3」シリーズを発表しました。OpenAIによると、o3シリーズやo1シリーズには「deliberative alignment(熟慮的調整)」という新しい安全性訓練手法が組み込まれているとのことです。 Early access for safety testing | OpenAI https://openai.com/index/early-access-for-safety-testing/ Deliberative alignment: reasoning enables safer language models | OpenAI https://openai.com/index/deliberative-alignment/ o

コミューン株式会社で機械学習エンジニアをしている深澤です。 この記事はCommuneアドベントカレンダー(シリーズ2)の 21 日目の記事です。 直前まで全く違う記事を書いていたのですが、ModernBERT というアツいモデルが発表されて話題になっており、Huggingface の公式からブログも出ているので、早速読んでみた感想をアドベントカレンダーの記事にすることにしました。感想だったり、付属事項を調べてみたので記事として昇華することを目指しています。 翻訳したもの、というよりは要点をかいつまんだものになっています。詳細は以下の記事を御覧ください。 記事 論文 コード ModernBERT のここがすごい Token length が 8192 に拡張(！？) もともとは 512 です。10倍以上になってる... GLUE スコアもかなり向上 それでいてbase (139M param

こちらはエムスリー Advent Calendar 2024 17日目の記事です。 AI・機械学習チームの髙橋です。チームでは先週からNeurIPS読み会が開催されており、"Deep Learning Architecture, Infrastructure"という深層学習のアーキテクチャに関するセッションを担当しました。その中でも興味深い一本として"You Only Cache Once: Decoder-Decoder Architectures for Language Models"という論文を勉強会まとめブログで紹介してます。 www.m3tech.blog この論文ではLLMの推論時に用いられるKey Value Cacheという仕組みに着目してGPUメモリの占有量やスループットを大幅に向上させるアーキテクチャを提案していました。非常にモデルが大規模化した昨今、この論文のように

Ilya Sutskever full talk "Sequence to sequence learning with neural networks: what a decade" at NeurIPS 2024 in Vancouver, Canada. "Pre-training as we know it will end" and what comes next is superintelligence: agentic, reasons, understands and is self aware. NeurIPS 2024 — 2024 Conference on Neural Information Processing Systems.

「Gemini 2.0」の「3D Spatial Understanding」を試したのでまとめました。 ・Pointing and 3D Spatial Understanding with Gemini 2.0 (Experimental) 1. 3D Spatial Understanding「3D Spatial Understanding」(3次元空間認識) は、2D画像や動画から、現実世界の3次元空間を理解する能力や技術のことです。 【注意】3Dバウンディングボックスは実験段階です。精度を高めるには 2Dバウンディングボックスを使用してください。 2. Gemini API の準備「Google Colab」で Gemini API を準備する手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール !pip install -U -q goo

X (Twitter)を眺めていたら、面白そうな論文が流れてきました。それがこちらです。 実際に流れてきたのはこちらの紹介記事なんですが、その要約を読んだ限りでもなかなかに興味深い現象であるように思われます。 ということで、何番煎じかもはや分かりませんがこのブログでも備忘録的に取り上げてみようと思います。が、ただそれだけでは面白くないので、この論文を読んで僕が個人的に考えた「現実のヒトの脳との関連性」についても論じてみることにします。 論文の概要 LLMの"Super Weights"の役割 "Super Weights"はデータ入力をせずとも特定できる "Super Weights"がLLMの量子化に果たす意義 現実のヒトの脳との比較 マクロに見れば「似ている」 知覚・認知機能に絞って見れば「異なる」 コメントなど 論文の概要 基本的には冒頭にリンクしたまとめ記事でも紹介されている通りで

この記事はenechain Advent Calendar 2024の14日目の記事です。 はじめに こんにちは。enechainで統計・機械学習モデルの構築やLLM（大規模言語モデル）の活用推進を担当している@udon_tempuraです。 私達のチームでは、以前紹介した会議動画要約のノウハウを活用し、 社内用の動画・音声文字起こしツールを構築・運用しています。 本記事では、その精度向上の仕組みについて紹介します。 実装も比較的少なく実現できたため、セキュリティなどの関係により内製で文字起こしを構築している方々の参考になれば幸いです。 はじめに 背景と課題 システム要件 システム実装 アーキテクチャ 入力データ形式 ドメイン固有用語の管理 処理フロー Cloud Speech-to-Textによる文字起こし Gemini 1.5 Flashによる認識処理 Gemini 1.5 Proによ

はじめに こちらはABEJAアドベントカレンダー2024 12日目の記事です。 こんにちは、ABEJAでデータサイエンティストをしている坂元です。最近はLLMでアプローチしようとしていたことがよくよく検証してみるとLLMでは難しいことが分かり急遽CVのあらゆるモデルとレガシーな画像処理をこれでもかというくらい詰め込んだパイプラインを実装することになった案件を経験して、LLMでは難しそうなことをLLM以外のアプローチでこなせるだけの引き出しとスキルはDSとしてやはり身に付けておくべきだなと思うなどしています（LLMにやらせようとしていることは大抵難しいことなので切り替えはそこそこ大変）。 とはいうものの、Agentの普及によってより複雑かつ高度な推論も出来るようになってきています。弊社の社内外のプロジェクト状況を見ていても最近では単純なRAG案件は減りつつあり、計画からアクションの実行、結果

OpenAIは、ChatGPTの新しい有料プラン「ChatGPT Pro」を発表しました。価格は月額200ドルで、最高レベルの「OpenAI o1」を含むすべてのモデルを無制限で使用することができます。

sponsored JAPANNEXTの「JN-IB375C144UQR-H」をレビュー 144Hzで21：9の3840×1600ドット37.5型ウルトラワイドディスプレー、ゲームの没入感や仕事の効率アップがスゴイ sponsored ポータブルゲーミングスピーカー「TQ-PG300」 パイオニアの小型ゲーミングスピーカー、想像を超える没入感でめちゃくちゃ驚きなんですけど！ sponsored 今回も医療機器認証取得で、かつ前モデルよりも薄く軽いサイズを実現！ スマートウォッチのようでこれは血圧計でもある!? 「HUAWEI WATCH D2 ウェアラブル血圧計」レビュー sponsored 1本のサウンドバーで360立体音響が実現！ 自宅で映画を見るならソニー「HT-A9000」が最高の選択だ sponsored 「QuTS hero」はランサムウェア対策、安価なSSD／大容量HDDの導

イーロン・マスク氏が保有するAI企業・xAIはアメリカ・テネシー州メンフィスに独自のデータセンターを保有しています。地元のグレーター・メンフィス商工会議所は2024年12月4日に、xAIがデータセンターを拡張することを計画中であることを明らかにしました。 xAI Memphis Announces Expansion Of Supercomputer with Addition Of Tech Companies In Digital Delta - Greater Memphis Chamber https://memphischamber.com/blog/general/xai-memphis-announces-expansion-of-supercomputer-with-addition-of-tech-companies-in-digital-delta/ Musk's xA

Google DeepMindが、単一の入力画像からプレイ可能な3D環境を生成できる基盤的世界モデル「Genie 2」を2024年12月4日に発表しました。Genie 2で生成した世界は、人間やAIエージェントがキーボードとマウスを使った操作で移動することが可能です。 Genie 2: A large-scale foundation world model - Google DeepMind https://deepmind.google/discover/blog/genie-2-a-large-scale-foundation-world-model/ Genie 2は大規模な動画データセットで訓練された自己回帰潜在拡散モデルで、物理演算、キャラクターアニメーション、オブジェクトの相互作用など、様々な創発的能力を示します。画像生成AI「Imagen 3」で生成した画像を入力としてプレ