りょこ🦕 @yee_yee_yee__ AIにスーツ着せてもろて証明写真できました。志望動機も自己PRもAIに考えてもらいました。私がAIです。 pic.x.com/hpkfNj4lGz 2025-03-26 16:01:42

2025.03.25

言語モデルの物理学 (Physics of Language Models) とは、FAIR (Meta) の Zeyuan Allen-Zhu が提唱した、言語モデルの研究を進めるためのコンセプトです。ざっくり言うと、「あのモデルはこう」とか「そのモデルはこのモデルよりもこう」というような博物学的な知識を深めるのではなく、17世紀にケプラーやニュートンが物理学において行ったような原理に基づいた研究を進め、「言語モデルはなぜこのような振る舞いをするのか」という問いに答えられるようになるべきという考え方です。 言語モデルの物理学の特徴は大きく2つあります。 第一は、ウェブから収集したコーパスを使わず、きっちりコントロールされたデータセットを使って言語モデルを訓練するということ。ウェブは誰も全体像を理解できないほど複雑で、ノイズにまみれています。本物の物理学でも空気抵抗や摩擦があると、「鉄球は

CursorとはCursorは、AI機能を統合した高機能なコードエディタです。主にコーディング目的で使用されますが、CursorのAgent機能を使うことで、複数ファイルの内容を理解し、タグ付けや要約、まとめノートの作成を効率的に行うことができます。 実際に使用しているCursorの画面 ZettelkastenとはZettelkastenは、ドイツの社会学者ニクラス・ルーマンが考案したノート管理の方法論です。個々のアイデアを独立したノートに記録し、それらを相互にリンクさせることで知識のネットワークを構築することができます。PermanentNote、LiteratureNote、FleetingNoteなどの種類があり、階層的に知識を整理することが可能です。 Zettelkastenは強力な知識管理システムです。もちろんデメリットもありますが知的生産性を高める上で是非取り入れていただきた

さくらインターネット江草CIOは生成AIをこう使う　GitHub Copilotやdeep researchを使い分け　多彩な活用術：トップ人材は、生成AIをこう使う 「GitHub Copilotは常時オンです。もう元の状態には戻れません」──さくらインターネットで執行役員兼CIO兼CISOを務める江草陽太氏は、コーディング支援AIの恩恵をそう語る。 1991年生まれの江草氏は24歳で執行役員に就任した気鋭のエンジニアだが、コード補完から複雑な情報収集、画像生成まで、日常のさまざまな場面で多彩なAIツールを駆使している。ChatGPTの使い分け、deep researchを活用した海外情報の収集、Adobe Fireflyによる写真加工など、実務者ならではの視点で編み出した活用術とは。 コーディングから情報収集まで　AI活用の日常 プログラムコードを入力し、Tabキーを押すと次に書くはず

本記事では、RAGの性能を高めるための「DeepRAG」という手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 OpenAIがリリースした「Deep Research」[1]という機能が話題です。 この記事は、RAGでも「Deepな検索」ができるようにする手法「DeepRAG」の論文[2]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合はこちらの記事もご参考下さい。 本題 ざっくりサマリー DeepRAGは、RAGの新しい手法です。DeepRAGを使うことで、データベースを深く・網羅的に検索した上で回答するRAGを、構築することができます。中国科学院ソフトウェア研究所とWeChat AIの研究者らによって2025年2月に提案

今日、母校の中学校に行って子供たちに深層学習用PCを寄付するので、これを使ってAIとプログラミングを学ぶためのリンク集を置いておくことにする。 普通のPCやスマホから無料で使えるAIChatGPT  老舗/最新モデルが使える　全般に強い https://chat.openai.com/ AIStudio (Google Gemini) プログラミングや科学知識に強い

生成AIをフル活用する「地上波アニメ」誕生に賛否両論　制作側は「待遇改善」繋がる試みと自信

AIエージェント 最近、LLMエージェントのイベントにゲストで登壇しましたが、流行りのAIエージェントに私も注目しています。 特に、最近よく使っているのがCline（Roo Code）というAIコーディングツールです。Clineの概要や、環境の構築方法・使い方に関しては以下記事にまとめました。 Clineは、もちろんコーディングに使っているのですが、ClineだとAIがVS Codeのターミナルを通じて、好きにコマンドを実行することができるので、実はコーディングだけじゃなくて、色々なことが出来て面白いです。 この記事では、Clineでコーディング含めて色々やらせてみた内容を簡単に紹介します。 コーディング タワーディフェンスゲームとか、一瞬で作ってデプロイしてくれます。 あとは、最近音楽ソフトもつくってYouTube配信とかもしています。 karaage.hatenadiary.jp マリ

新手法「TAID」によって学習された小規模日本語言語モデル「TinySwallow-1.5B」は、同規模のモデルの中で最高性能を達成しています。さらに、小規模のため、APIなどを介さずお手元のスマートフォンやPCで完結してチャットが可能です。ウェブアプリまたは、GitHubにてお試しいただけます。 本稿は、経済産業省とNEDOが推進するGENIACによって支援されたSakana AIの研究成果を紹介するブログシリーズの第3回目です。 概要 日常的な対話はもとより、数学やコーティングといった複雑なタスクまでも人間と遜色ないレベルでこなせるようになった大規模言語モデル（LLM）は、今後ますます多くの場面での利活用が期待されています。こうした大きな期待の一方で、LLMの開発・活用の現場では、莫大な計算資源の必要性が大きな壁として立ちはだかってます。まずLLMの開発現場では、「大規模データと巨大計

粘土板からプロンプトへ 人間が「ことば」を記録するようになったのは、紀元前3300年頃のメソポタミアでのことだそうだ。シュメール人たちが、粘土板に楔型文字を使って文字を印した。この人間が「ことば」を記録するという営みが、いま生成AIによって大きく変化しはじめている。 生成AIで「ことば」を生み出すといえば、ChatGPTでメールの返事を書かせたり、人間が書いたとしか思えない小説ができたといった話題もある。それらはどちらかというと、何か小石のようなものをジャラジャラとシャッフルして自分の納得するパターンを見つける特別な仕掛けのようなものだ。 それに対して、自分の頭の中にあるものを言葉として表現して、相手に伝えるための手段として生成AIを使うことも始まっている。それをいまのところいちばん理想に近い形で実現していると見られているのが、コードエディタ「CURSOR」（カーソル、カーサー）のようだ。

本記事では、LLMの理解と制御に向けて新たな語彙を導入する研究を紹介します。 人間の言葉だけでモデル内部を説明しようとすると、両者の概念がずれてしまい、誤解や使いにくさが生じる可能性が高いと指摘されています。 そこで、新たに定義された言葉を使えば人間とLLMの間にある概念の隔たりを解消できると考えられ、取り組みが進められています。 研究者のあいだでは、LLMがまるで人間と同じように振る舞うように見える場合でも、その内部ではまったく異なるかたちで情報が処理されていると考えられています。つまり、LLMは大量のデータから統計的な傾向を学習しているため、あたかも「理解」しているかのように文章を生成できる一方、人間の直感とはかけ離れた内部構造をもつことがあるのです。 人間がすでに使ってきた語彙や概念をそのまま用いてLLMの内部構造や挙動を説明しようとすると、誤解が生じる恐れが指摘されています。たとえ

最近、とある事情で、Gemini AdvancedのためにGoogle One?なんか知らないけど契約した。無料期間のうちに使い倒す。契約続行するかは悩ましい。 さらに、一足遅れたがChatGPT Proを契約した。とある事情で、個人的な利用をしたかったので、個人的な契約だ。 元々Claude ProfessionalとChatGPT Plusを契約していた。perplexityも契約してるがこっちはRabbit R1というゴミガジェットのおまけで一年間無料中だ。 最近、執筆やGoogle AI Hackathonなどで対話型AIをフル活用しまくってるのもあって、今の最新モデルについて広い知見が貯まってきたので比較してみたい。 まだまだ使い始めたばかりのサービスも多いため、異論反論あれば是非コメントなりでしていただければありがたく。 補足: コメントありがとうございます。まだGemini系

はじめに 近年、AIを活用したコーディングツールが急速に発展し、プログラマーの生産性向上や開発プロセスの効率化に大きな影響を与えつつあります。これらのツールは、コード補完、チャットアシスタント、コーディングエージェントなど、様々な形態で提供されており、プログラマーの作業をサポートしています。 その中でも、オープンソースのコーディングエージェントである「Cline」は、独特のポジションと活発なコミュニティによって注目を集めています。 本記事では、Clineを中心に、現在のAIコーディングツールの動向を探ります。Clineの特徴や利点、そして他のツールとの比較を通じて、AIコーディングツールの現状について考察します。また、Clineのアーキテクチャや実用面、コミュニティの動向についても解説します。 AIコーディングツールは、特に個人のプログラミングの世界に大きな変革をもたらしつつあります。本記

本記事は、DeepSeek-R1の論文とDeepSeekMathの論文を読んだ私の理解をもとに記載しています。 本論文で使われている技術に関しては、ある程度の知識を持っているので、大きくは外していないとは思いますが、私の主観も入っている部分もありますので、ご了承ください。 また、DeepSeek-R1の論文が公開される前に、小型モデルに対して同様の実験（強化学習）をしていたグループがあるようです。 そちらのレポートは下記になります。 意図せず、DeepSeek-R1-Zeroの再現実験のようなレポートになっていますが、レポートの著者はDeepSeek-R1論文の公開前から実験していると主張しています。 こちらも非常に興味深かったため紹介です。 本論文の興味深いところ 本論文は、大きく分けて3つの構成でできています 強化学習による思考能力の強化 LLM（DeepSeek-V3-Base）に対