2023年から段階的にAIを開発フローに組み込み、2025年は試行錯誤とツールの大きな変化、そしてエージェント化を経て、私のソフトウェア開発の進め方は明確に変化しました。 ここで言う「変化」とは、単に作業が速くなった、便利になったという話ではありません。 より具体的には「コードをタイピングする時間よりも、間接作業の比重と抽象的な思考・ロジックが増えた」という意味での変化です。 とりわけ深刻なのは文字入力回数の増大です。その結果、マイクに向かって話したり、タイピングの練習といったプリミティブな活動を取り入れるようになりました。 この変化は私だけのものではありません。Addy Osmaniは『Beyond Vibe Coding』で「開発者の役割はコードを書くことから、コードを指示すること（directing）へシフトしている」と述べ、アーキテクチャやデザインパターンといったシステム思考への集

Google、すべてのサービスに生成AIと接続できるフルマネージドなMCPサーバを提供すると宣言。まずはGoogleマップ、BigQuery、Google Compute Engineで利用可能に Googleは、Geminiなどの生成AIと同社のクラウドサービスを接続できるMCPサーバを今後すべての同社のサービスで提供すると発表しました。 Google’s existing API infrastructure is now enhanced to support MCP, providing a unified layer across all Google and Google Cloud services. Googleの既存のAPIインフラはMCPをサポートするように強化され、GoogleおよびGoogle Cloudのすべてのサービスに統合されたレイヤを提供します。 Annou

なんだだかんだでキレイにいかないFigmaのコード出力 ROXXではAIエージェントによるプログラミングを推進しています。その中で私がぶつかった課題はフロントエンドのソースコード生成自動化がいまいち上手くいかないということでした。 figmaのMCP接続でキレイなコードがパッと出力されれば良いのですが、下記のような問題に直面していました。 一応デザイン通りに出たはけどそのまま使える感じじゃない 結局その後の直しや繋ぎ込みでそれなりに時間使ってたりする 気づいたらキレイにしきれてないコードがたくさん積み上がっている MCP接続からのコード出力をどうコントロールしたら良いかがよく分からない キレイにせずに入れるわけにも行かないし、直近の自分のタスクも短時間で終わらせないといけないので、とりあえずfigmaのプラグインで生成したコードをAgentで整形させるという手段を取っていたのですが、Age

DeepSeek-OCRの精度が高くて驚いたところですが、仕組み的にランダムな文字列での認識率がかなり落ちるんではないかと試してみたところ、やっぱりかなり悪かったです。 DeepSeek-OCRについてはこちら。 画像でテキストをトークン圧縮するDeepSeek-OCRがいろいろすごい - きしだのHatena DeepSeek-OCRは、画像をトークン化したほうがテキストをトークン化するより情報圧縮できるんでは、というアイデアを試すために、トークン化した画像をテキストに戻してみたらOCRとして精度があがった、というものです。 ここで、「画像のほうが情報量が多いのにトークン化したら容量増えるのでは？」ってなりますが、情報量が多いのは画像を画像として復元する場合で、画像についてお話するために必要十分な情報としてであればそこまで多くならないはずです。 テキストのトークン化は、よくある文字の並び

---- 追記 「My Job Went To India」の改題改訂版が「情熱プログラマー」なんだ！ありがとう発注したわ。（たぶん達人プログラマーと混同して読んだ気になって読んでないパターンだわ） 俺の悪文のせいで意図が伝わらなかったであろうブコメがあったので、要旨だけ書き直しておくな。 「VibeCodingでIT技術者不要」は、「オフショア開発でコーディング作業は無くなる」ブームと同じだと思う。どっちも必要だよ。 当時ブームに乗って(偽装)派遣・受託開発・エンジニアを大量削減してオフショア移行した会社も、ほとんど揺り戻しで国内受託開発に戻ったオフショア開発は定着したが、 ジュニアエンジニア(インターン)が全滅することも、完全な国別分業制にも発展しなかった。今後数年は、今回も同じだと思う。AIコーディングで開発速度は上がってコストは下がるように見えるが、本質的にはこれまでと変わっていな

以前にエントリで簡単に先行する指摘をまとめたように、もともと弥助が黒人の侍だったという見解は日本の物語で定着していた。それを完全否定する意見が大きなボリュームとなったのは、ゲーム『アサシン クリード シャドウズ』への反発からだった。 弥助が黒人の「侍」だったという話を今さら否定することはできない - 法華狼の日記 上記エントリで紹介したWL641884氏のエントリで現在の複数の歴史学者の見解が引かれているが、確実なことはいえないという立場はあっても侍と呼ばれておかしくない身分だったことはひとりも全否定していない。 弥助関連史料とその英訳 / YASUKE in historical materials - 打越眠主主義人民共和国 なかでもツイッターで弥助を「侍」と断定したことで平山優氏が現在まで反発されているが、実はWL641884氏が紹介するなかで最も低い身分だったと考えて「武士」である

学業でも仕事でも趣味でも、ずっと自然言語処理をやってきた。 別に最初からAIだのNLPだのに興味があったわけじゃない。 きっかけは、学生時代にちょっとしたレポートでテキストの単語出現頻度を数えようとしたとき、「あれ、そもそも日本語ってどうやって単語に分けんの？」って疑問が出たところからだ。 英語ならスペースで切れるけど、日本語はそうはいかない。で、いろいろ調べて「形態素解析」って言葉にたどり着いた。 その瞬間にちょっとハマったんだよね。 辞書をもとに文を機械的に切り刻んで、品詞をラベル付けして、統計を取って、構文を推定する。まるで人間の頭の中を数理的に覗いているようで。 そこからMeCabとかJumanとかKyTeaとか、いろんなツールを触った。 Pythonでテキスト処理のパイプラインを組んだり、mecab-ipadic-NEologdを突っ込んで新語に対応させたり。 「言葉を数理で扱え

AI の能力が上がるにつれて、人間が AI を監督するのが難しくなってきています。本稿では、Anthropic などのグループが ICLR 2025 で発表した Language Models Learn to Mislead Humans via RLHF（言語モデルは RLHF を通じて人間を誤解させることを学ぶ）をベースに、この問題について議論します。 この論文では、LLM が解けないほど難しいタスク、例えば難しいプログラミングのタスクに直面したとき、「分かりません」と言ったり、一目で分かるような間違ったコードを出力すると BAD ボタンを押されてしまうので、あえて出力を複雑にしたりデバッグしにくいコードを出力し、それによりユーザーは煙に巻かれる・ミスが隠蔽されるといった現象が実験により確認されています。 この現象は現実の LLM や AI サービスでも起きている可能性が高いです。自

国立国語研究所 次世代言語科学研究センター開所式及び第1回研究会 で用いたスライドです

Takuto Wada @t_wada 森崎先生、やっとむさんと登壇したパネルディスカッション「生成AIの得意と不得意を知って開発の仕事に役立てよう～最新研究事例から見えてきたこと～」が記事になりました / 今後生成AIとどう向き合うべきなのか？ 現場のエンジニアと研究者が最新研究事例から語り合う htn.to/3urmSGdwBg 2024-11-21 12:29:23 リンク CodeZine 今後生成AIとどう向き合うべきなのか？ 現場のエンジニアと研究者が最新研究事例から語り合う ここ2〜3年で、GitHub Copilotなど、生成AIを利用した開発者支援サービスが続々登場した。すでに業務で利用されているという皆さんも少なくないだろう。一方で、「使ってはみたが、期待外れだった」と感じている人も多いに違いない。本セッションのスピーカーは、「現場では得意不得意を見極めて、使い道を考え

はじめに 先般 MN-Ccore Challenge なるものが開催され、私もスキマ時間に気分転換的にちょこちょこ挑戦していたのですが、とても面白いアーキテクチャだなと思いました(順位はまあその力及ばず微妙な感じでしたが)。 普段 FPGAプログラミングが多い私ですが、いろいろ新しい観点で脳に刺激を頂きました。 今更私なんかが考察する余地もない気はしますが、折角なのでプログラミングではなく、プロセッサアーキの方を少しだけ感想程度に記録しておければと思います。 いろいろ資料も公式に公開されていますし、コンテストも終わったようなので(実は終了日を勘違いしていました)、安心してあれこれと自分用の勉強の教材にして楽しませて頂きたいなと思います。 なお、ほんとに素人考察なので、あんまりマサカリは投げないでおいてあげてください(言い訳)。 (以前、Fixstarsさんの勉強会で牧野先生の本を買って読ん

Cloudflare、すべての生成AIによるクローラーをワンクリックでブロックする機能を無料で提供開始 Cloudflareは、すべての生成AIによるクローラーをワンクリックでブロックする機能を無料で提供すると発表しました。 生成AIは人間が作成したテキストや画像、動画などを大量に読み込んで学習を行う必要があります。生成AIを開発している組織は、より多くの学習データを取得しようとしており、そのためにインターネット上の多数のWebサイトをクロールするBotを稼働させているのです。 しかしWebサイトの運営元として自分たちのコンテンツがこうした生成AIの学習に使われることを望まないところもあるでしょう。 Cloudflareの新機能はこうしたWebサイトが簡単に生成AIのBotによるクローラーをブロックしてくれる機能を提供してくれます。 下記がCloudflareのダッシュボード画面で、すでに

さまざまな数学的トピックをムービー形式で解説するサイト「3Blue1Brown」において、ChatGPTに代表されるAIを形作っている「Transformer」構造の心臓部「Attention(アテンション)」についての解説が行われています。 3Blue1Brown - Visualizing Attention, a Transformer's Heart | Chapter 6, Deep Learning https://www.3blue1brown.com/lessons/attention AIの中身と言える大規模言語モデルのベースとなる仕事は「文章を読んで次に続く単語を予測する」というものです。 文章は「トークン」という単位に分解され、大規模言語モデルではこのトークン単位で処理を行います。実際には単語ごとに1トークンという訳ではありませんが、3Blue1Brownは単純化して

今のLLMを取り巻く状況について紹介します。

更新（2025年1月28日） 論文「Evolutionary Optimization of Model Merging Recipes」が論文誌「Nature Machine Intelligence」に採択され本日掲載されました。最新バージョンでは本アプローチをさらに実証する新たな実験結果を含んでいます。ぜひ以下からご覧ください。 https://www.nature.com/articles/s42256-024-00975-8 Sakana AIは2024年3月に「進化的モデルマージ」を公開し、大きな反響を呼びました。公開時には国内外の多くのメディアに取り上げられニュースになりました。進化的モデルマージはmergekitやOptuna Hubといった著名なOSSフレームワークにも実装され、多様なユーザーがそれを活用し、数々の個性的なモデルが作成・公開されてきました。また、社内外の複

GitHubは、脆弱性のあるコードをAIボットが自動的に発見、修正したコードとその解説をプルリクエストしてくれる「code scanning autofix」（コードスキャン自動修正機能）を発表しました。 Meet code scanning autofix, the new AI security expertise now built into GitHub Advanced Security! https://t.co/cTDuKZCWMv — GitHub (@github) March 20, 2024 下記がそのコードスキャン自動修正機能の説明です。「Found means fixed: Introducing code scanning autofix, powered by GitHub Copilot and CodeQL」から引用します。 Powered by GitH

Microsoftの研究チームがモデルのウェイトを「-1」「0」「1」の3つの値のみにすることで大規模言語モデルの計算コストを激減させることに成功したと発表しました。 [2402.17764] The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits https://arxiv.org/abs/2402.17764 従来のモデルであれば入力に対して「0.2961」などのウェイトをかけ算してから足し引きする必要がありましたが、「-1」「0」「1」の3値のみであればかけ算が不要になり、全ての計算を足し算で行えるようになります。 そのため、同じ性能を出すのに必要なコストが通常の大規模言語モデルに対して激減するとのこと。なお、それぞれのパラメーターが「-1」「0」「1」という3つの値を取るためlog[2](3)の値より「1.

「画像に透かしを入れる」と聞くと、人間が制作したコンテンツの転載や悪用を防ぐためのものだと認識している人が多いかもしれませんが、近年はAIが生成したコンテンツに透かしを入れて帰属を示す試みも進行中です。新たに、AIが生成した画像を追跡可能にする「Tree-Ring Watermarks(年輪透かし)」という技術を、メリーランド大学の博士課程でコンピューターサイエンスを研究しているユーシン・ウェン氏らが発表しました。 [2305.20030] Tree-Ring Watermarks: Fingerprints for Diffusion Images that are Invisible and Robust https://arxiv.org/abs/2305.20030 GitHub - YuxinWenRick/tree-ring-watermark https://github.c

このコンテンツはAI生成です…と明示することがEUで義務化へ2023.06.09 16:009,472 Kyle Barr - Gizmodo US ［原文］ （ 湯木進悟 ） 日本ではどうなる？ 今AIやChatGPTが大いに話題です。でも、すべてが歓迎されているというわけではなく、EUでは規制強化によって危険な兆候を抑え込もうという動きが活発化していますね。 そして今夏からは、Google（グーグル）をはじめとするプラットフォーム企業に対し、表示されているものがAI生成されたものか、オリジナルのものなのかを、はっきりとユーザーに示すことが義務づけられるようになるみたいですよ！ AI生成コンテンツの明示を法律で義務づけこのほどEUは、今年8月25日から適用されるという、新たなデジタルサービス法（DSA）のもとでの規制法案について発表しました。 先月から大手企業や政府関係者らが会合を重ね、