巷では「AIエージェント」のワードをよく見かける一方、何をAIエージェントと定義するのか自分もフワっとしていたので、2024年12月20日に公開されたAnthropicの「Building effective agents」の記事を読んでみました。 「AIエージェントの定義ははっきりと定まっていません」みたいな文言は方々で見ますが、各社がどういう見解でそのワードを使っているのか、なんとなく理解することはできます。 ちなみに、以下の「うたたね / Masaki Otsuki」さんの記事では各社がどのような位置付けとしているのかがまとまっており、私も勉強させていただきました。ありがとうございます。 ※本記事ではAnthropicの記事に焦点を絞り、記事の内容を元に記述しています。 エージェントとワークフローの違い ワークフロー: LLMとツールが事前定義されたコードのパスを通じて調整されるシス

以下の文章は、コリイ・ドクトロウの「AI’s “human in the loop” isn’t」という記事を翻訳したものである。 Pluralistic AIが重要な意思決定を行う、あるいは意思決定を支援する能力には問題がある。しばしばAIは、人間のリソースの限界を超えるスピードと規模で、優れた精度で物事を分類する。その一方で、時として極めて深刻な間違いを犯し、取り返しのつかない事態を招くこともある。 官僚機構と、彼らにAIを売り込もうとするセールスマンたちは、労働集約的なプロセスをアルゴリズムで自動化することで、大幅にコスト削減できると期待に胸を膨らませている。比較的リスクが低く、導入の判断が容易なケースもある。たとえば先日、ブリュースター・ケールは、図書館から廃棄される予定の大量のマイクロフィルム化されたジャーナルをスキャンするInternet Archiveのプロジェクトについて語

AI研究者がノーベル物理学賞・化学賞を受賞したことについてのコメント2024年10月10日 一般社団法人　人工知能学会 会長　栗原 聡 今回のノーベル物理学賞において，ジョン・ホップフィールド，ジェフリー・ヒントン両先生が受賞され，翌日の化学賞においてデミス・ハサビス氏が受賞したことについて，まずはAIコミュニティにとってとても喜ばしく，この流れが今後も続くことが期待されることは，基礎研究の重要性の今更の再認識においても強い説得力がある出来事であったことは間違いない．ホップフィールド氏、ヒントン氏、お二人の物理学賞受賞を知った時は正直驚いた，というか意表を突かれた感覚であった．自然科学や宇宙についての発見やその人類への貢献に対する物理学賞というのが一般的な認識である中，情報処理に関する研究が受賞したのであるから驚いたのは当然であろう．確かに，我々の脳の機能をコンピュータ上で再現した，すなわ

ソーニャ・ホアン: 本日はノーム、ハンター、イルゲをお迎えしました。3人はOpenAIのプロジェクト・ストロベリー、別名o1の研究者です。o1はOpenAIが初めて本格的に取り組んだ汎用推論時計算で、推論、思考連鎖、推論時スケーリング則などについてチームと話し合うのを楽しみにしています。 o1への確信ソーニャ・ホアン: イルゲ、ハンター、ノーム、お越しいただきありがとうございます。そしてo1の公開おめでとうございます。まず伺いたいのですが、これがうまくいくという確信は最初からありましたか? ノーム・ブラウン: この方向性に何か有望なものがあるという確信はあったと思いますが、実際にここに至る道筋は決して明確ではありませんでした。o1を見てみると、これは一夜にしてできたものではありません。実際、何年もの研究が投入されており、その研究の多くは実際には実を結びませんでした。しかし、OpenAIとリ

ホーム > 新着情報：プレスリリース > 2024年09月 > AIによってナスカ調査が加速したことで、既知の具象的な地上絵の数がほぼ倍増し、地上絵の目的が明らかになった 掲載日：2024.09.24 本発表の主なポイント 山形大学ナスカ研究所とIBM研究所の共同研究プロジェクトの成果が、Proceedings of the National Academy of Sciences (PNAS) に掲載されることが決定した。 AIによって加速化された調査によって、6か月間の現地調査で新たに303個の新地上絵が特定された。これにより、ナスカ台地で確認済みの地上絵の数はほぼ倍増した。 巨大な線タイプの地上絵は、主に野生動物が描かれており、直線と台形の地上絵によって構成されるネットワークに沿って分布している。これらは、共同体レベルの儀礼活動に使用された。 小型の面タイプ（レリーフタイプ）の地上絵

このスライドは、2024.8.12 に公開された、以下論文の輪読会用の記事になります。 https://arxiv.org/pdf/2408.06292 https://sakana.ai/ai-scientist/

どんな人向けの記事？ これからRAGを作ってみたい DifyやLangChainにこだわらず、自分で開発をハンドリングしたい ベクトルDBや埋め込みモデルの選定の勘所をサッと知りたい ここではRAGとは何かのような話題は扱いません。 RAGが、ほぼAI活用の現実的な最適解になりつつある LLMは高度な知的タスクを実行可能である。 そんな理解が世界に広まっていく中で、企業は自らが蓄えたデータをLLMに組み合わせてどう活用するか躍起になっています。これからはビッグデータだ！という時代を経ているため、情報インフラに投資した企業も多く、AIでデータを活用する流れはもはや確定路線と言えます。 この問題を解決する手法として一番最初に思いつくのは、モデル自体を改変するファインチューニングです。しかし、ファインチューニングにはいくつかの実用上の問題があります。ファインチューニング自体に専門知識が必要である

AI研究者のライアン・グリーンブラット氏が、AIの一般的な推論能力を評価する指標の「ARC-AGI」において、GPT-4oを工夫して使用することで50％という正答率を達成できたと発表しました。 Getting 50% (SoTA) on ARC-AGI with GPT-4o https://redwoodresearch.substack.com/p/getting-50-sota-on-arc-agi-with-gpt ARC-AGIでは下図のようにいくつかの例と問題が用意されます。例からルールを推測して正しく問題の図に対応する結果を出力できればOK。人間がこのタスクを行うと子どもであっても85％から100％のスコアを出すことができますが、これまでAIが出したARC-AGIの最高スコアは34％であり、数多くのベンチマークの中でも特に人間との差が顕著でした。 上記の問題はシンプルなため特

AI for Everyoneについては日本語版もあるのと、どちらのコースも日本語字幕付きで見られる（多分機械翻訳での英語字幕からの翻訳だが、翻訳の質は悪くない）ので、英語分からなくてある程度何とかなるんじゃないかと思います。 あと、余力のある人、最新のNLP研究を理解したい人はこちらの本を読むことをオススメします。アルゴリズムの詳細は必ずしも理解しなくても良いですが、どんなタスクがあるのかは理解しておいた方が良いかと思います。 NLPの知識がLLMを応用する上で実際にどう役に立つかですが、例えばで言うとNLP的には対話の中には「タスク指向型対話（task-oriented dialogue）」と「雑談（chit-chat dialogue）」があります。それぞれ対話の中で重要視されるものから評価の仕方まで全然違うのですが、NLPをやらずにLLMをやっている人と話しているとこれらをごっちゃ

それでは以下、簡単なデモを含めながら個別に説明していきます。 1. ハイブリッドサーチ こちらは、性質の異なる複数の検索方式（例えばベクトル検索とキーワード検索）を組み合わせて検索精度を向上させる手法になります。 各検索方式単体の場合に比べ、性質の異なる検索方式を組み合わせ、ある種いいとこ取りをする事で、検索性能の向上が期待できます。 今回はBM25でのキーワードベースの類似度検索と通常のベクトル検索を組み合わせていきます。 BM25について簡単に説明しておくと、文脈や文章構造は完全に無視した上で、文書内の単語を全てバラバラに分割し、文書内の各単語の出現頻度と文書間におけるレア度を加味した特徴量を算出します。 つまり、特定の文書内の各単語の数をカウントしてヒストグラムを作れば、似たような文書には同じような単語がよく出るはずなので(同じようなヒストグラムの形になるので)、類似度が高くなる性質

花笠監督の「私立GPT北高校」でグランシュライデ２週目キャラ演じてみたんだけど、面白すぎるｗ いかん、これはハマるｗ https://t.co/jNaQSFjJoZ pic.twitter.com/dGsmjfYCdr — らけしで (@lakeside529) November 10, 2023 実際に100人ぐらいの人が現時点でプレイしてくれてますね。 ありがたいですね。 GPTsの実際の作り方まずGPT Builderを立ち上げましょう。よくわからん場所にあります。 PCで立ち上げて左上を見ましょう。 Exploreってあるよね。そこ。 そこを押すと、よくわかんないリストの一番上に「+」マークが出るじゃない。それを押すのです。 そうするとこういう画面に来ますわね。 ここで画面左側、Createのタブで普段通りつくりたいGPTをテキストで打っていってもいいんですが。。。これって結局ここ

IT屋のCopilotとかに対する温度感と絵師界隈のStable Diffusionとかへの温度感が違うの、 IT屋はバカが少ないからとかじゃなくて実際に脅威度が違うからだと思うんだよな うんこ💩ちんちん エンタメ分野は「正しい仕様」もクソもなく消費者が満足して売上が出ればそれが正義だからイラストレーターとイラスト生成AIはダイレクトに競合するけど うんこ💩ちんちん プログラミングには「正しいコード」「間違ったコード」が確かに存在して、AIがバグったコードや仕様を満たさないコードが吐いてたときに、AI自体もAI企業も責任取らないから、 AIにコード書かせるとしてもそれを読んで「これで大丈夫です」と保証して、ダメだったら責任を取る人が必要とされ続ける うんこ💩ちんちん 曖昧で正解のない分野ほどAIに任せやすくて正しさが必要な分野の方で人間が必要っていうのは 大昔の素朴なAI観とは反対で

恒例の年末振り返り記事ですが、もうタイトルが示す通りです。例年通りであれば淡々と1年間の業界動向や個人的な学び、はたまたちょっとした私事などを綴るのですが、今年はたまたま良いお題がやってきたのでまず最初にその話を書こうと思います。 生成AIの爆発的な普及と、それに伴って生じた課題 AIやデータサイエンスの「外側」の本質にアプローチするのが、ヒトのなすべき仕事 最後に、改めて年末の振り返りを 生成AIの爆発的な普及と、それに伴って生じた課題 今年は多くの生成AIプロダクトが公開され普及し、それに伴い文字通り正真正銘空前の生成AIブームが到来し、個人や企業のみならず霞ヶ関までもが、そしてついには政府与党までもがこぞって「生成AIの活用」を模索して立ち回るという有様になりました。書店に行けば生成AI関連書籍が棚一面を埋め尽くすという大盛況で、毎日のようにどこそこの大企業が生成AIを導入した〇〇サ

Takuya Kitagawa/北川拓也 @takuyakitagawa 近年のAIの進化は実は理解されていない。 ChatGPTを筆頭に、信じられないレベルでAIが進化している。 そう、本当に信じられないレベルなのは、なぜAIがこんなにも「急激に」質が良くなったかを、誰も説明できないからだ。 おそらく発明した研究者本人たちですら。 どういうことか。 1/n 2023-01-29 10:51:36 Takuya Kitagawa/北川拓也 @takuyakitagawa AIの精度を定量化したとき、数年前までは研究の進化と共に、少しずつ精度があがっていった。 研究の進化とは 1. モデルやアルゴリズムの進化 2. 計算量の増加 3. データ量の増加 などだ。１０年ほど前にAIがもてはやされた時は、Deep Learningといったモデルの進化が重要だった。 2/n 2023-01-29 1

次回の更新記事：LLMは個人の金銭管理を適切にサポートできるのか？（公開予定日：2025年01月06日） AIが意識を持つ可能性についての議論が再燃しています。この問題は昔から、科学的にも哲学的にも注目が集まっています。 今回、オックスフォード大学、モントリオール大学、ARAYAなどの研究者たちは、AIが意識を持つ可能性についての科学的根拠を提供するための研究を行いました。彼らは、神経科学の理論に基づいてAIの意識の有無を評価する新しいアプローチを提案しています。 先に結論を書くと、『今のAIは、まだ意識を持っているわけではない』 『ただし、この先、AIが意識を持つことを妨げる”明確なハードルはない”』とのことです。 参照論文情報 タイトル：Consciousness in Artificial Intelligence: Insights from the Science of Cons

概要 LLMに関心があり、ChatGPTやtransformerの仕組みを理解したいと思っていたところ、雰囲気を掴むのにこちらの動画がとても参考になりました。 動画の内容としては、以下のコーパスを学習して、直前の数文字から次の1文字（単語ではないことに注意）予測機を作成するというものです。 この動画で完成するコードは以下で、225行しかなくとても読みやすいです。 また短いですがtransformerのエッセンスが詰まっていて勉強になりそうです。 このコードを読み解くことでGPTやtransformerがどのように動いているのか、ざっくり理解してみようと思います。 ちなみに完成するとこんな感じの文字列が生成されます。ぱっと見文章っぽいですね。 first Scitizen: He's enough; but he cannot give his friends. MARCIUS: Do yo

つくりながら学ぶ！AIアプリ開発入門 - LangChain & Streamlit による ChatGPT API 徹底活用 この本では、LangChain と Streamlit を用いて、ChatGPT APIを活用するAIアプリを開発していきます。つくりながら学ぶことを重視し、簡単なチャットアプリ開発から始めて、Embeddingを活用するアプリ開発まで、ステップバイステップで学べます。 AIアプリをローカル環境で開発した後は、WEB上にデプロイする方法も学びます。クラウドの知識もほぼ必要なく、ランニングコストも掛からない方法で行うため、ぜひ作ったアプリを公開することにチャレンジしてみましょう。 500円と設定していますが投げ銭用です。本文は全て無料で読めます。

Geoffrey Hinton tells us why he’s now scared of the tech he helped build ジェフリー・ヒントン独白 「深層学習の父」はなぜ、 AIを恐れているのか？ 深層学習の父と呼ばれるジェフリー・ヒントンが本誌の取材に応じ、グーグルを退社した理由を語った。グーグルを辞めてから話したい「AIの問題」とは何か？ by Will Douglas Heaven2023.05.08 56 ジェフリー・ヒントンがグーグルを退社するという電撃発表をした5月1日の4日前、私はロンドン北部の美しい通りにあるヒントンの自宅で彼に会った。ヒントンは、「バックプロパゲーション（逆伝播）」と呼ばれる現代の人工知能（AI）の中核をなす非常に重要な技法の開発に貢献した深層学習のパイオニアだ。しかし、グーグルに10年間在籍したヒントンは、AIについて現在彼が抱い

今や毎日耳にするChatGPTだけれど、そもそもどんな風に話題になってきたのかをこのGWを利用して振り返りたいって人もいるはず。そんな人のためにChatGPT関連ニュースをまとめておきましたので、ぜひご利用ください！ 良い振り返りで、良い人生を。 このタイトルだけでもChatGPTに食わせて、話題の流れをまとめてもらうのが一番かも？ 週刊東洋経済　2023/4/22号（ChatGPT 仕事術革命） 作者:週刊東洋経済編集部東洋経済新報社Amazon 2020/06/01 あまりに高精度のテキストを作り出してしまうため「危険すぎる」と問題視された文章生成言語モデルの最新版「GPT-3」が公開 - GIGAZINE 2020/07/21 GPT-3の衝撃 - ディープラーニングブログ 2020/07/22 「GPT-3」は思ってたより「やばい」ものだった。話し言葉でプログラミングまでこなすAI