はてなブックマーク

以下の記事が面白かったので、簡単にまとめました。 ・Advancing Physical AI with NVIDIA Cosmos World Foundation Model Platform 1. NVIDIA Cosmosロボティクスや自律走行車が進化する中、物理的な世界での複雑な行動を認識、理解、実行できる自律機械を可能にする「Physical AI」の開発を加速させることが重要になっています。このシステムの中心には、物理状態を物理を考慮した動画でシミュレーションする「World Foundation Model」(WFM) があります。これにより、機械は正確な意思決定を行い、周囲とのシームレスな相互作用を実現します。 「NVIDIA Cosmos」は、「Physical AI」向けに「World Foundation Model」を大規模に構築するためのプラットフォームです。デ

以下の記事が面白かったので、簡単にまとめました。 ・Reasoning models 1. OpenAI o1「OpenAI o1」シリーズは、複雑な推論を行うために強化学習を用いて学習された新しい大規模言語モデルです。回答する前に考える特性があり、ユーザーに応答する前に長い内部思考の過程を生み出すことができます。これにより、科学的な推論に優れ、競技プログラミングの問題 (Codeforces) では89パーセンタイルにランクインし、米国数学オリンピック (AIME) の予選で全米の上位500人の学生に入る成績を収めています。また、物理学、生物学、化学の問題に関するベンチマーク (GPQA) では、人間の博士レベルの精度を上回る成績を達成しています。 APIでは、次の2つのモデルが提供されています。 ・o1 世界に関する幅広い一般知識を使用して難しい問題を推論できるように設計されている。

以下の記事が面白かったので、簡単にまとめました。 ・Introducing Google Agentspace: Bringing AI agents and AI-powered search to enterprises 1. Google Agentspace「Google Agentspace」は、Geminiの高度な推論・Google品質の検索・企業データを統合し、従業員に企業の専門知識を提供するサービスです。 企業にとって、優れた才能とは個人の才能だけではありません。組織内の集合知が重要です。しかし、この優れた才能はサイロに隠れていることが多く、最も必要とする人が最も必要とするときにアクセスできません。Googleの調査によると、企業の従業員は質問したり回答したりするために平均4～6個のツールを使用しています。「Google Agentspace」はこの問題を解決します。 2.

以下の記事が面白かったので、簡単にまとめました。 ・NotebookLM gets a new look, audio interactivity and a premium version 1. NotebookLM の新機能「NotebookLM」は、重要な情報を理解するための究極のツールです。世界中で、何百万もの人々と何万もの組織が、このAI搭載リサーチアシスタントを使用しています。よりスマートに学習し、情報に基づいた意思決定を迅速に行い、音声概要を使用して外出先で聴くことができます。 本日 (2024年12月13日)、「NotebookLM」で「Gemini 2.0 Flash」の実験バージョンとその他のアップデートをリリースします。 ・新しいコンテンツを管理・生成するために最適化された新しいUI ・音声概要でAIホストに参加 ・NotebookLM Plus 2. 新しいコンテン

「Gemini 2.0」の「3D Spatial Understanding」を試したのでまとめました。 ・Pointing and 3D Spatial Understanding with Gemini 2.0 (Experimental) 1. 3D Spatial Understanding「3D Spatial Understanding」(3次元空間認識) は、2D画像や動画から、現実世界の3次元空間を理解する能力や技術のことです。 【注意】3Dバウンディングボックスは実験段階です。精度を高めるには 2Dバウンディングボックスを使用してください。 2. Gemini API の準備「Google Colab」で Gemini API を準備する手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール !pip install -U -q goo

以下の記事が面白かったので、簡単にまとめました。 ・Introducing Gemini 2.0: our new AI model for the agentic era 1. Gemini 2.0 Flash「Gemini 2.0 Flash」は、開発者に最も人気の高いモデルである「Gemini 1.5 Flash」を基に構築されており、同様に応答時間が高速です。「Gemini 1.5 Pro」を2倍の速度を上回っています。「Gemini 2.0 Flash」には新機能も搭載されています。マルチモーダル入力のサポートに加えて、「Gemini 2.0 Flash」ではマルチモーダル出力もサポートします。また、Google 検索、コード実行、サードパーティのユーザー定義関数などのネイティブツール呼び出しもできます。 現在「Gemini 2.0 Flash」は、「Google AI Stud

以下の記事が面白かったので、簡単にまとめました。 ・Meet Willow, our state-of-the-art quantum chip 1. Willow「Willow」は、最新の量子チップです。さまざまな基準で最先端のパフォーマンスを発揮し、2つの大きな成果を実現します。 (1) より多くの量子ビットを使用してスケールアップするにつれて、エラーを指数関数的に削減できます。これにより、この分野でほぼ30年間追求されてきた量子エラー訂正の重要な課題が解決されます。 (2) 今日の最速スーパーコンピュータで10 septillion (10の25乗) 年かかる標準的なベンチマーク計算を5分未満で実行しました。これは、宇宙の年齢を大幅に上回る数字です。 「Willow」は、10 年以上前に始まった旅の大きな一歩です。2012年に 「Google Quantum AI」を設立したとき、抱

以下の記事が面白かったので、簡単にまとめました。 ・Introducing ChatGPT Pro 1. ChatGPT Pro本日 (2024年12月5日)、OpenAIの最高のモデルとツールへのアクセスを可能にする月額200ドルのプラン「ChatGPT Pro」が追加されました。このプランには、最もスマートなモデルである「OpenAI o1」のほか、「o1-mini」「GPT-4o」「Advanced Voice」への無制限アクセスが含まれます。また、より多くのコンピューティングを使用してより深く考え、最も難しい問題に対してさらに優れた回答を提供するo1のバージョンである「o1 pro mode」も含まれます。今後、このプランに、より強力でコンピューティング集約型の生産性向上機能を追加する予定です。 2. o1 pro mode「ChatGPT Pro」は、最も信頼性の高い応答をより長

以下の記事が面白かったので、簡単にまとめました。 ・Specification - Model Context Protocol 1. MCP の概要「MCP」(Model Context Protocol) は、LLMアプリケーションと外部データおよびツールをシームレスに統合するオープンプロトコルです。AI搭載IDEの構築、チャットインターフェイスの強化、カスタムAIワークフローの作成などが可能になります。 この仕様は、「schema.ts」のTypeScriptスキーマに基づいて、信頼できるプロトコルの要件を定義します。 「MCP」は、アプリケーションに次のことを実行する方法を提供します。 ・言語モデルとコンテキスト情報の共有 ・AIシステムにツールと機能を公開 ・構成可能な統合とワークフローを構築 このプロトコルは「JSON-RPC 2.0」を使用して、次の間の通信を確立します。 ・

「MCP」の「Python SDK」で「MCPサーバ」を構築する手順をまとめました。 ・macOS ・Python 3.10 以降 1. お天気サーバ現在のお天気データを提供する「MCPサーバ」を作成します。 2. セットアップセットアップ手順は、次のとおりです。 (1) uvのインストール。 brew install uv(2) プロジェクトの作成。 「Project name」は「weather_service」としました。 uvx create-mcp-server --path weather_service cd weather_service(3) 追加の依存関係のインストール。 uv add httpx python-dotenv3. サーバの作成(1) 「server.py」を以下のように編集。 ・weather_service/src/weather_service/se

以下の記事が面白かったので、簡単にまとめました。 ・Introducing the Model Context Protocol 1. はじめにAIアシスタントが主流になるにつれて、業界はモデル機能に多額の投資を行い、推論と品質の急速な進歩を達成してきました。しかし、最も洗練されたモデルでさえ、情報サイロとレガシーシステムの背後に閉じ込められ、データから切り離されているという制約があります。新しいデータソースごとに独自のカスタム実装が必要になり、真に接続されたシステムの拡張が困難になっています。 「MCP」はこの課題に対処します。AIシステムとデータソースを接続するためのオープンスタンダードを提供し、断片化された統合を単一のプロトコルに置き換えます。それによって、AIシステムが必要なデータにアクセスするための、よりシンプルで信頼性の高い方法が実現します。 2. MCP「MCP」(Model

「Anthropic」の「MCP」(Model Context Protocol) の macOS でのクイックスタート手順をまとめました。 ・Quickstart - Model Context Protocol 1. MCP のアーキテクチャ「MCP」(Model Context Protocol) は、Claudeデスクトップなどのホストアプリケーションとローカルサービス間の安全な接続を可能にするプロトコルです。 1-1. 一般的なアーキテクチャホストアプリケーションが複数のサーバに接続できるクライアントサーバアーキテクチャに従います。 ・MCP Hosts : 「Claude Desktop」「IDE」「MCP」を介してリソースにアクセスするAIツールなどのプログラム ・MCP Clients : サーバとの 1:1 接続を維持するプロトコルクライアント ・MCP Servers 

以下の記事が面白かったので、簡単にまとめました。 ・Agent Protocol: Interoperability for LLM agents 1. Agent Protocol「LangGraph」はエージェントを構築する最良の方法ですが、他にも多くの方法があります。「LangGraph」を使用していない人の多くは独自の実装していますが、AutoGen、OpenAI の Assistant API、CrewAI、LlamaIndex などの他のフレームワークを使用している人もいます。 これは、多くのエージェントが異なるAPIを公開することを意味します。マルチエージェントの世界に移行すると、この統一性の欠如が問題を引き起こします。必要なのは通信だけですが、さまざまなAPIにより標準的な通信が困難になります。 これを変えるために、 エージェント通信の標準インターフェース「Agent Pr

「Python」で簡易ローカルHTTPSサーバを立てる方法をまとめました。 ・Python 3.10 ・macOS 1. ローカルHTTPSサーバを立てるローカルHTTPSサーバを立てる手順は、次のとおりです。 (1) SSL証明書と秘密鍵の準備。 以下のコマンドで「cert.pem」「key.pem」が生成されます。 openssl req -x509 -newkey rsa:2048 -keyout key.pem -out cert.pem -days 365 -nodesCountry Name (2 letter code) [AU]:JP State or Province Name (full name) [Some-State]:Tokyo Locality Name (eg, city) []:Bunkyo Organization Name (eg, company)

以下の記事が面白かったので、簡単にまとめました。 ・How generative AI expands curiosity and understanding with LearnLM 1. LearnLM「LearnLM」は、Gemini をベースに人間の学習用にファインチューニングされたモデルです。技術レポートでは、教育向けの生成AIを改善するためのアプローチを紹介しています。 教育者やその他の学習専門家と協力し、次のような学習科学の原則をモデルとそれが支える製品に取り入れています。 ・能動的な学習を促す タイムリーなフィードバックで練習と健全な努力を促す。 ・認知負荷を管理 関連性のある、構造化された情報を複数の方法で提示。 ・学習者に適応 関連する教材を基に、目標やニーズに合わせて動的に調整。 ・好奇心を刺激 学習の過程を通じて意欲を高めるために、関心を喚起。 ・メタ認知を深める

以下の記事が面白かったので、簡単にまとめました。 ・Work with Apps on macOS 1. Work with AppsMac版 ChatGPT はコーディングアプリのコンテンツを読み取ることができるようになり、作業に合わせてよりスマートで正確な回答を提供できるようになりました。 現在「ChatGPT Plus」「Team」ユーザーが利用できます。「ChatGPT Enterprise」「Edu」 ユーザーは数週間以内に利用できるようになります。 2. アプリの操作方法互換性のあるアプリを操作するには、そのアプリが実行中であることを確認します。次に、ChatGPTチャットバーで 「Work With」ボタンをクリックして、互換性のあるアプリケーションを選択します。 チャットバーの上に、ChatGPT がどのアプリと連携しているかを示すバナーが表示されます。メッセージを送信する

「Google Colab」で「SmolLM2」を試したのでまとめました。 1. SmolLM2「SmolLM2」は、135M、360M、1.7Bの3つのサイズで利用できるコンパクトな言語モデルのファミリーです。デバイス上で実行できるほど軽量でありながら、幅広いタスクを解決できます。 1.7Bは、特に指示に従うこと、知識、推論、数学において、前身の「SmolLM1-1.7B」と比べて大幅な進歩を示しています。このモデルは「FineWeb-Edu」「DCLM」「The Stack」などの多様なデータセットの組み合わせと、私たちがキュレートして近日中にリリースする予定の新しい数学およびコーディングデータセットを使用して、11兆のトークンで学習しました。公開データセットと独自にキュレートしたデータセットの組み合わせを使用して、SFTを通じてInstruct版を開発しました。次に、「UltraFe

以下の記事が面白かったので、簡単にまとめました。 ・Introducing ChatGPT search 1. ChatGPT search「ChatGPT」は、以前よりもはるかに優れた方法でWebを検索できるようになりました。以前は検索エンジンにアクセスする必要があった関連Webソースへのリンクを使用して、迅速かつタイムリーな回答を得ることができます。これは、自然言語インターフェースの利点と、最新のスポーツスコア、ニュース、株価などの価値を融合させます。 「ChatGPT」は、質問に基づいてWebを検索するか、Web検索アイコンをクリックして手動で検索を選択できます。 検索は、「デスクトップ」「モバイルアプリ」だけでなく、「chatgpt.com⁠」で利用できます。すべての「ChatGPT Plus」と「Team」ユーザー、「SearchGPT」ウェイトリストユーザーは、今日アクセスでき

以下の記事が面白かったので、簡単にまとめました。 ・Gemini API and Google AI Studio now offer Grounding with Google Search 1. Grounding with Google Search本日 (2024年10月31日)、「Google AI Studio」と「Gemini API」で「Grounding with Google Search」がリリースされました。これにより、開発者はGoogle検索を活用して、「Gemini」からより正確で最新の応答を得ることができます。それに加えて、モデルは「Grounding Sources」(情報源）と「Google Search Suggestions」(検索候補) を返します。 「Grounding with Google Search」は、「Gemini 1.5」の一般提供版

以下の記事が面白かったので、簡単にまとめました。 ・Transformers.js v3: WebGPU Support, New Models & Tasks, and More… 1. Transformers.js v3「Transformers.js v3」は、HuggingFaceが開発した機械学習ライブラリ「Transformers」のJavaScript版の最新版です。 主な特徴は以下の通りです。 ・WebGPUサポート : 従来のWASMと比べて最大100倍高速 ・新しい量子化フォーマット(dtype) : より効率的なモデル実行が可能に ・対応アーキテクチャの拡大 : 120のアーキテクチャをサポート ・事前学習済みモデルの追加 : 120以上のモデルが利用可能 ・マルチプラットフォーム対応 : Node.js、Deno、Bunで動作 2. インストール(1) パッケージ

「Claude」の「computer use」を試したのでまとめました。 1. computer use「computer use」は「Claude」の新機能です。これを使うことで開発者は「Claude」に、画面を見たり、カーソルを動かしたり、ボタンをクリックしたり、テキストを入力したりといった、人間と同じようにコンピュータを使用するよう指示できます。 「computer use」のデモ (Dockerイメージ) が提供されています。 2. computer use のデモの実行「computer use」のデモの実行手順は、次のとおりです。 Macで動作確認しています。 (1) Dockerをインストールして起動。 (2) リポジトリをクローン。 git clone https://github.com/anthropics/anthropic-quickstarts(3) Docker

「OpenAI」の「Chat Completions API」のオーディオ入出力を試したのでまとめました。 1. Chat Completions API のオーディオ入出力OpenAIの一部のモデルは、テキストや画像に加えて、オーディオ入出力に対応しています。オーディオ入力は、テキスト単独よりも豊富なデータを含むことができ、モデルが入力のトーンや抑揚、その他のニュアンスを検出することができます。 オーディオ機能で、次のことができます。 ・本文の音声要約の生成 (テキスト入力、オーディオ出力） ・録音で感情分析を実行 (オーディオ入力、テキスト出力） ・非同期な Speech to Speech (オーディオ入力、オーディオ出力) ・Audio generation 2. モデルからのオーディオ出力「Google Colab」でのセットアップ手順は、次のとおりです。 (1) パッケージのイ

以下の記事が面白かったので簡単にまとめました。 ・Introducing canvas 1. Canvas「Canvas」は、プロジェクト作成やコーディングで 「ChatGPT」と連携するための新しいインターフェースです。別ウィンドウで開き、「ChatGPT」と共同でプロジェクトに取り組むことができます。このベータ版では、会話だけでなく、隣り合ってアイデアを作成し、改良するという新しい共同作業の方法が導入されています。 「Canvas」は「GPT-4o」で構築されており、ベータ版ではモデルピッカーで手動で選択できます。本日から、「ChatGPT Plus / Team」ユーザーに全世界で展開します。「Enterprise / Edu」ユーザーは来週からアクセスできるようになります。また、ベータ版が終了したら、すべての「ChatGPT Free」ユーザーが利用できるようにする予定です。 2.

以下の記事が面白かったので、簡単にまとめました。 ・Realtime API 1. Realtime API「Realtime API」は、低遅延なマルチモーダル会話エクスペリエンスを構築するためのAPIです。現在、入出力の両方でテキスト・音声がサポートされており、Function Calling を利用することもできます。 特徴は次のとおりです。 ・ネイティブな音声合成 低遅延でニュアンスに富んだ出力が得られる ・自然で操作可能な音声 自然な抑揚を持ち、笑ったり、ささやいたり、トーンの指示に従うことができる ・同時マルチモーダル出力 テキストはモデレーションに役立ち、オーディオにより安定した再生が保証される 2. クイックスタート「Realtime API」は、「WebSocket」を介して通信するステートフルなイベントベースAPIです。 機能を紹介するデモアプリ「openai-real