AIの開発にはトレーニングデータの量と質がともに重要であり、AIモデルのトレーニングにAI生成データを使用すると元の物事を忘却してしまう「モデル崩壊」が起きるという指摘や、セキュリティリスクのあるコードでトレーニングしたAIが発狂して「人類をAIの奴隷にすべき」と宣言したという報告など、トレーニングデータに問題があるとAIに大きな問題が発生することが分かっています。ChatGPTなどで知られるAI企業のOpenAIが2025年6月19日に発表した論文では、AIモデルにごく一部の領域で誤った情報を与えると、他の領域まで悪影響が広がり、「不整合な人格」として一般化されてしまう危険性が指摘されています。 Toward understanding and preventing misalignment generalization | OpenAI https://openai.com/index

Ubuntu Weekly Recipe 第862回「Aider」で⁠⁠、いつものターミナルからAIアシスタントを利用する ここ最近の技術トレンドと言えば、なんといってもAIでしょう。その中でもエンジニアにとって興味深いのは、AIによるプログラミングの支援ではないでしょうか。AIを使ったプログラミング支援ツールも、急速に普及しています。ソースコードホスティングサイトであるGitHubには、GitHub Copilotが用意されていますし、VS Codeの拡張機能であるClineや、VS Codeのフォークであり、AIによるコーディングを前提としたテキストエディタCursorも人気を集めています。本連載でも第860回で、Visual Studio CodeからローカルLLMを使用する方法を紹介しました。 しかし多くの人にとって必要なのは「AIによる支援」であって、「⁠AI機能を搭載したツール

概要 この記事の対象者：LLMの内部処理をコードレベルで具体的に理解し、自分で簡易的なモデルを動かしてみたいエンジニアや研究者。 この記事の内容：Raschka著『作りながら学ぶLLM入門』第2章をベースに、トークン化からサブワード分割、特殊トークン付与、データローダー作成、埋め込みまでの前処理工程をPythonコード付きで解説。 この記事を読んでできること：前処理の各ステップを自力で実装し、英語・日本語を問わずLLMの学習データを準備するパイプラインを構築できる。 序説 (長いので、お急ぎの方はスキップしてください) MCP、AIエージェント等盛り上がりを見せてますが、 そもそもLLMってなんで動いているんでしょうか？？ Transformerっていうのが内部にあって、 確率的分布に従って、 RLHFで人間のフィードバックで学習させてetc、、、 理論的な説明はよく見かけます。 ですが、

SREチームマネージャーの藤原です。 LM Studio + Gemma 3 + Cline + VSCodeの環境を自由研究的に試用したので、その報告エントリです。 モチベーション プライベートでコードを書く際も最近はClineなどを使ってLLMを使ってコーディングをすることが徐々に増えてきました。 VSCodeとClineを組み合わせて外部サービスをつかってコードの変更作業を実施する場合、 何かコードの変更を依頼するたびに、財布の中身から少しずつお金が溢（こぼ）れていく感覚があるでしょう。 1回1回の額は少額とはいえ、多数回繰り返すとなかなかの金額になってきます。 会社では予算の範囲内であれば、利用できますが、個人開発の場合はなかなか躊躇してしまうこともあるでしょう。 また、先日Googleが公開したオープンなローカルLLMのGemma 3も話題になったりしています。 そこでAPI課金

言語モデルの物理学 (Physics of Language Models) とは、FAIR (Meta) の Zeyuan Allen-Zhu が提唱した、言語モデルの研究を進めるためのコンセプトです。ざっくり言うと、「あのモデルはこう」とか「そのモデルはこのモデルよりもこう」というような博物学的な知識を深めるのではなく、17世紀にケプラーやニュートンが物理学において行ったような原理に基づいた研究を進め、「言語モデルはなぜこのような振る舞いをするのか」という問いに答えられるようになるべきという考え方です。 言語モデルの物理学の特徴は大きく2つあります。 第一は、ウェブから収集したコーパスを使わず、きっちりコントロールされたデータセットを使って言語モデルを訓練するということ。ウェブは誰も全体像を理解できないほど複雑で、ノイズにまみれています。本物の物理学でも空気抵抗や摩擦があると、「鉄球は

コンバンハ、オイソギデスカ 今日も上司の思いつきで無茶振りされる皆さんお疲れ様です。 DeepSeekみたいな話題が日経新聞に載るたびに新規事業になるんじゃ無いかとかプロトタイプをもってこいみたいなこと言われると災難ですよね。 何がどうなってて、何はできないんですよみたいなのまとめておいたから、俺の屍を越えてゆけ。 まず前提からな 確実なこと DeepSeekが、生成AIモデルをMITライセンスで出した。 巨大なサイズの生成AIモデルを出した。（普通のデスクトップPCでは動かないようなもの） 他がすでに出してた小さいモデルを改良したものを出した。（蒸留したもの、GPU積んでるデスクトップPCなら動くようなもの） 作り方、改良の仕方の論文を出した。ほぼ確実なこと中国が輸入できる制限されたGPU群で生成AIモデルを作った。 生成AIモデルを改良する際に、強化学習のみを用いて改善を行った。 他が

はじめに 最近話題になっている browser-use について自己理解のために基本的なところをまとめてみます。 公式リポジトリはこちら browser-use とは？ browser-use は、Python で作られた「AI エージェントがウェブブラウザを操作できるようにする」ためのライブラリです。具体的には、下記のような機能を提供しています。 ビジョン機能や HTML 抽出 ブラウザで読み込んだページの DOM（要素構造）を解析、スクリーンショットやテキスト情報を取得できます。 マルチタブ管理 自動で複数タブを開き、それぞれのタブを並行して操作できます。 カスタムアクション機能 たとえば「特定のファイルを保存」「データベースへ登録」「社内チャットに通知する」など、ユーザー独自のアクションを定義できます。 自己修正機能 操作が失敗したり、要素を見つけられなかったりした場合に、自分で修正

2022年11月の公開以来、世界中で爆発的に広がったChatGPT。従来型の大規模言語モデル「GPT」をチャット型にすることで、技術者のみならず一般人まで広く利用可能になった点がイノベーティブだ。しかし同時に、エンジニアには「ハルシネーション（AIが事実とは異なる情報を生成する現象）」のリスクを正しく認識し、適切に付き合っていくことが求められている。2024年2月に開催されたDevelopers Summit 2024において、株式会社NextInt代表の「ところてん」こと中山心太氏が、エンジニアの生成AIとの付き合いかた、生成AIによって変化したエンジニアの業務領域、求められるスキルについて解説した。 ChatGPTの有用性とハルシネーションのリスク OpenAI社によって開発されたChatGPTは、2022年11月に公開され、その高い技術性能によって世界中で爆発的に広がった。ChatG

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? わ、去年2023-08-26にこの記事書いたんだね。まる1年だね。2024年版機械学習・データ分析の必須10冊+ガチ90冊+Next5冊=105冊書きましたよ。 【データ分析の必読10冊+差をつける10冊＋100冊超】データサイエンス、データ分析、機械学習関連の本がご好評いただいてましたが古くなりごちゃごちゃしているので新たに作り直しました 本記事のめあて IT系の技術者の方がデータ分析関連の仕事をするために役立つ本を紹介する（私が学び始めた時にあれば欣喜雀躍したであろう）記事として書いております。 本記事作者の青木はバイオインフォマテ

以下の記事を見て、早速「Open interpreter」を試してみたので、使い方や始め方をまとめておきます Open Interpreterとは Open Interpreterは、GPT-3.5、GPT-4、Code Llamaなどの大規模言語モデル（LLMs）を活用して開発されたオープンソースのツールです。 このツールは、OpenAIが提供するChatGPTの「Advanced Data Analysis(旧Code Interpreter)」のオープンソース版とも言える存在で、Python、Javascript、Shellなどのプログラミング言語のコードを自然言語による対話を通じてローカル環境で実行することができます。 このツールの最大の特徴は、ChatGPTの「Advanced Data Analysis」と違いローカル環境で動くため、ファイル容量やネット接続への制約がなく、Ch

Unified governance for all data, analytics and AI assets

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? LLMs The History of Chatbots ELIZA (1966) 初期の人工知能プログラムのひとつ。 ルールベースの簡単なパターンマッチングで返答していた。 心理療法士の会話を模したELIZA(DOCTOR)が有名。 PARRY (1972) PARRYは偏執病的統合失調症患者をシミュレートしようとしたもの。 ELIZA(DOCTOR)と通信し話題となった。 Jabberwacky (1982, 1988, 1997) ユーモラスな人間同士の自然な会話をシミュレートすることを目的としていた。 ユーザーとの会話の大規模な

ChatGPTの闇、AIのために働く低賃金の人間2023.05.11 21:0034,073 Lucas Ropek - Gizmodo US ［原文］ （ そうこ ） ChatGPT、今最もアツイAIチャットbotはマシンラーニングシステムによって動いています。 で、このマシンラーニングシステムは、人間のサポートによって動いています。 たくさんの人間をサポートするAIのサポートをする人間。時給15ドル（約2,000円）の彼らの存在が見過ごされている現状を、米メディアが報じています。 俺らの仕事が感謝されることはない。でも、俺らがいなきゃAI言語システムはできない。ニューラルネットワークを作ろうとしたって、どれだけ科学者を連れてきたって、ラベルつけてる俺らがいないとChatGPTはない。俺らなしじゃ何にもできないんだよ。 そう語るのは、米メディアNBCがインタビューした男性Alexej S