大規模言語モデル (LLM) の学習データに含まれない知識（各社の特有の書類など）を踏まえてLLMに回答させる際に最早必須となってきたRAG (Retrieval-Augumented Generation)。 今回はそんなRAGのSurvey論文を元に、RAGの変遷や構成要素、新たに出てきた技術を俯瞰していきます。 Survey論文へのリンクはこちら arxiv.org RAGとは LLMはそれ単体で回答させると、質問によってはハルシネーションや学習時のデータにはなかった情報を生成時に加味できないといった問題から正しくない回答を生成することが多々あります。例えば世間一般に公開されていない自社の就業規則や業務標準についてをChatGPTに質問しても、正しい回答は得られません。 そのような問題への対応としてRAGが使われます。 「LLM単体で適切な回答を生成できないなら、ユーザーの質問を元に

モバイルバッテリーが膨張した時の回収先を把握してますか？ by Balshark 2024年6月25日 「あれ、このモバイルバッテリー膨張してない。。。？」 そう思ったのは出張明けの週末に家の掃除をしている時のことでした。筆者は仕事とプライベートの両方で家を空けることが多いため、一時期モバイルバッテリーを複数持ち歩いている時期がありました。さらにモバイルバッテリーを多用する中で、「もっと良いものがあるのではないか？」とAmazon等でセールがある度にとりあえず買うように。さながらミルクボーイの漫才のつかみの如く「こんなんなんぼあっても良いですからね」状態でした。 しかし、出張装備の軽量化を図ったり宿泊施設で夜間にモバイルバッテリーの充電を忘れても日中に案外問題がなかったり、等の理由でいつしかモバイルバッテリー自体を使うことがなくなっていました。ということが今回のバッテリー膨張の発端でした。

最新のアプリやサービスのニュースを書くのが仕事の筆者にとって情報の整理は永遠の課題だ。 もちろん書くことを仕事にしている人に限らず、氾濫する大量の情報を必要な時に取り出して利用したいという欲求は多くの人が持っているはずだ。 以前は手書きノートやファイルのような紙媒体に保存していた情報も、時代とともに完全にデジタルに移行し、Evernote、Microsoft OneNote、Notionといったメモを作成することに特化したクラウドアプリを利用している人も多いだろう。 筆者はおそらく普通の人よりは多くのサービスに触れているはずだが、どれも帯に短したすきに長しに感じてしまい、複数のメモアプリに情報が散乱してしまっているのが実情だ。 そこで6月6日に日本でも提供が開始されたグーグルの「NotebookLM」だ。 「AI駆動型のリサーチ、執筆アシスタント」と説明されているように、参照文献（ソース）

ITジャーナリスト／Publickeyブロガー。IT系の雑誌編集者、オンラインメディア発行人を経て独立。2009年にPublickeyを開始しました。 AIスタートアップのCognitionは、自律型のAIソフトウェアエンジニア「Devin」を発表しました。 Devinは人間が課題を与えると、自律的に情報を参照し、コーディングやデバッグ、デプロイを行い、システム構築を実現するAIソフトウェアエンジニアだと説明されています。 Cognition AI CEOのScott Wu氏以下はデモ動画からのキャプチャです。 Devinは人間のソフトウェアエンジニアと同様に、自身のコンソール画面（右上）、コードエディタ（右下）、Webブラウザ（左下）を持っています（左上は人間とチャットでやり取りする領域）。 人間がプロンプトで何らかの課題を与えると、まず課題解決のためのプランを生成します。 今回、Dev

あんちゃん @monosoi_akarusa ちょっと前 「社員は何故自らの業務を効率化しないのか？」 という質問に 「効率化の報酬が労働だから」 という答えがぶら下がってて何も否定できなかった。突き詰めると最後大体人事制度の問題に行き着く気がする。インセンティブ設計とか目標設定なんて失敗すると会社ごと傾くこともありますしね x.com/appizou/status… 2024-02-28 21:09:41

本資料は，東京大学松尾研究室で開催された強化学習セミナーの講義資料をもとに，講演目的でより初学者向けに内容を調整したものです．特に強化学習で最も基本的かつ最重要手法であるQ学習や，それの深層強化学習版のDQN（Deep Q-Network）を中心に解説しています. 昨今，ChatGPT等の大規模言語モ…

9/28の #日本CTO協会 さんのイベントで登壇した資料を公開しました。 「ChatGPTの10ヶ月と開発トレンドの現在地」 開発のトレンドの最新情報をざっくり纏めています。 ・Prompt Engineering開発の現在地 ・RAG開発の現在地 ・Plugin開発の現在地 ・GPT-V…

キリンホールディングスは8月29日、リサイクルに対応したペットボトルの直接印刷技術を発表した。実用化されると消費者はゴミ分別でフィルム状のシュリンクラベルを剥がす手間がなくなる。 キリンのパッケージイノベーション研究所が、富士フイルムの剥離インクを使ってペットボトルの表面に直接デジタル印刷する技術を開発した。併せてリサイクルの洗浄工程でインクを剥がし、分離させることに成功。シュリンクラベルをなくせばプラスチックを約8％削減できる他、ラベル使用に伴う温室効果ガス排出量も約84％減らせるとしている。 日本のペットボトル飲料は、商品ロゴやバーコードを印刷したシュリンクラベルを巻き付けるのが一般的だ。これは従来の印刷技術でペットボトルに直接印刷するとリサイクル時にインクが残り、PET樹脂の品質が落ちるため。PETボトルリサイクル推進協議会の定めるガイドラインではペットボトルへの直接印刷を禁止してい

このブログでも何度か引用しているこちらの記事で、「データサイエンティストという職業は10年以内に消える」という趣旨の議論がされていたのがちょうど10年前の2013年でした。ちなみにこの記事はついているブックマーク数に比して当時は結構注目を集めたという記憶があり、割と業界内では「確かにこんな中途半端な職業が10年後もあるわけないよね」と言われていたのを思い出します。 実際には皆さんもご存知のように、2023年になってもデータサイエンティストという職業はついに消えることなく、現在に至るまで残り続けています。その経緯がどんなものであったかは、業界10年史記事でもある程度触れた通りです。 しかし、同時に現在では「生成AIの普及でデータサイエンティストの仕事がなくなる」という風説も出回っており、改めてデータサイエンティストという職業の将来性に不透明感が漂いつつあるのもまた事実です。そこで、今回の記事

河野太郎デジタル相は8月25日、デジタル庁が作成した「ChatGPTを業務に組み込むためのハンズオン」をX（旧Twitter）にポストした。 デジタル庁で公開している「ChatGPTを業務に組み込むためのハンズオン」。 ぜひ、参考にしてください。https://t.co/zgC9j4eKGm — 河野太郎 (@konotarogomame) August 24, 2023 同資料は、デジタル庁が中央省庁向けに開催したワークショップの資料を8月4日に一般公開した物。テキスト生成AIへの入出力の設計方法を学ぶ内容で、OpenAIの「GPTモデル」に関する基礎知識に始まり、同モデルの特性や注意点、「GPT API」の仕組みなど、学習に必要とされる情報を全46ページに渡って扱っている。

ビジネスは基本的に成長していくものだし、拡大していくことが前提で、しかも最近だと「システム」が付いてくる。全部人力で作り上げるビジネスなんてあるのか。いや、ない。あるとしても小規模だろう。人だけで成り立つなんてビジネスを放置しても、きっともはや、人が集まらない。コンピューターによる自動化はない。全部人力だ。さあ仕事しなさいって、それは原始的だろう。あらゆる仕事場で自動化ありきの人間の仕事が増産されているのであり、人々もそういう職場を狙っている。時代遅れの職場で、かつそういう人力の仕事は生産性も低く給料も安いので、どんどん敬遠されるようになる。 さて、じゃあシステム化しました、と。システム化するための要員はまだいるようだ。各社ベテランが腕を奮っている。DXの掛け声でクラウドもあって生産性は上がり、システムと名の付くものが量産されている。わかっている、システム構築のスピードは10年前と比べると

この画像を大きなサイズで見る 誰の人生も1度きりで、今日という日は永遠に戻ってはこない。だからこそ、今を楽しく生きることが大切だ。人は一人では生きていけない。楽しく生きるためには人への思いやりが必要だ。 今やSNSでは、人生を豊かにするためのライフハックが溢れている。ライフハックの王者と呼ばれるSNSユーザーは、2010年から運営されているRedditのサブフォーラム『Life Pro Tips（ライフプロの秘訣）』から収集した、最も優れたライフハック術をTwitterでシェアした。 人生を快適に、毎日をより豊かにするための秘訣は、どれもシンプルで実用的なものばかりだ。自分にとって有意義だと思うものだけ実戦してみればいい。 約2200万人から集めた究極の人生におけるライフハック ライフハックの王者Arjun Mahadevan氏は、約2200万人のRedditユーザーから集めた「ライフプロ

2023年6月末をもって、約7年間勤めたNTT研究所を退職することになりました。7月からは外資系IT企業でデータサイエンティストとして働く予定です。これまでは研究員として、ネットワーク運用を支援するための機械学習について研究してきました。これからはエンジニアリングやデータ分析を生業にしていきます。 この記事は、僕がなぜNTTをやめたのかをまとめた、いわゆるNTT退職エントリというやつです。NTT退職エントリという言葉が定着したのは、以下のkumagiさんの伝説の記事がきっかけでしょう。 この記事が公開されたのが４，５年前でしょうか。公開以降、NTT退職エントリというものがあちこちで書かれたので何番煎じなのかも不明なのですが、自分自身の記録として残しておこうと思います。 NTT退職エントリを読んでいる方の中には、NTTへの入社を検討している人もいるでしょう。NTTの一般的なメリットとデメリッ

「社内のアレ分からん、教えてAI」実現　Microsoftの“自社版ChatGPT作成サービス”にデータ取り込み機能 米Microsoftは6月19日（現地時間）、大規模言語モデル「GPT-3.5」などのAPIをクラウドサービス「Microsoft Azure」上で使える「Azure OpenAI Service」に、新機能「On Your Data」を追加した。ローカルやAzure上のストレージに保管するテキストファイルやPDF、PowerPointファイルを、GUIの操作でチャットAIに参照させられるという。まずはパブリックプレビュー版を提供する。 これにより、社内で分からないことがあったときに何でも質問できるAIチャットbotなどを作成しやすくなるという。 Microsoftが提案する活用例では、ユーザーの「サポートチケットはどうやって作る？」（How do I create a s

こんにちは。エムスリーデータ分析グループの中島です。 本記事ではマーケティングやデータサイエンスの文脈で重要度が高まっている統計的因果推論への足掛かりをデータ分析グループの業務と結び付けながらご紹介したいと思います。 1. はじめに「A→Bの因果関係がある」とは、Aへ介入する（Aを変化させる）ことよって、要因Bを変化させることができることを意味します。 具体例で考えると、投薬（A）の有無によって病気の治癒率（B）が変化する場合、投薬→治癒率の因果関係があるといえるわけです。 このような因果関係をデータを活用して解き明かそうとするのが統計的因果推論の目的ですが、大別するとさらに次の２つに分類されます。 (1) 因果の方向を既知のものとして因果の大きさを評価(因果推論) (2) 因果の方向の決定・探索(因果探索) これらの基本的な考え方と手法について紹介をしたいと思いますが、その前に重要な概念

ゼレンスキー オフロスキー あと一つは？