BERT や GPT の登場により、テキストを扱うモデルは大きく発展しましたが、否定というごくありふれた操作を扱うのが依然難しいです。 本稿では、その理由と、部分的な解決策を紹介します。 目次 目次 否定文を理解できないAIたち 否定文を理解できずに困ること なぜ否定文をうまく扱えないのか なぜたまに成功するのか 対処法 ファインチューニング プロンプトの工夫 否定文を意識した訓練 文書数を増やす クエリとキーを拡張する おわりに 否定文を理解できないAIたち BERT (tohoku-nlp/bert-base-japanese-v3) で A =「私はお寿司が好きです。」 B =「私の好きな食べ物はお寿司です。」 のテキスト埋め込みのコサイン類似度を求めてみましょう。A と B は同じようなことを言っており、予想されるようにコサイン類似度は 0.9695 と高いです。 では、 A =「

現在、この回答は修正されている途中のようです。実際にAI回答が載っていた頃の画像もありますが、これは…

Microsoftは検索エンジンのBingで、これまでGoogleが開発した機械学習モデルの「Transformer」を採用してきました。しかし、Transformerに限界が訪れたとして、大規模言語モデル(LLM)と小規模言語モデル(SLM)の組み合わせに移行すると発表しています。さらに、ワークフローにNVIDIAが開発している「TensorRT-LLM」を統合することで、検索の最適化も実施すると発表しています。 Bing's Transition to LLM/SLM Models: Optimizing Search with TensorRT-LLM https://blogs.bing.com/search-quality-insights/December-2024/Bing-s-Transition-to-LLM-SLM-Models-Optimizing-Search-wi

米Googleは12月16日（現地時間）、動画生成AI「Veo 2」を発表した。最大4Kの解像度で数分尺の動画を作成できる。米Metaのベンチマーク「MovieGenBench」で他の動画生成AIと性能を比べたところ、米OpenAIの動画生成AI「Sora Turbo」などよりも高い性能を記録したとしている。

Apple Intelligenceには複数のニュースを要約し、1つの通知として発信する機能があります。このニュース要約機能が誤報を生成したせいで、あたかもBBCニュースが誤報したかのようになっていると、BBCがAppleに抗議しています。 BBC complains to Apple over misleading shooting headline https://www.bbc.com/news/articles/cd0elzk24dno Apple Intelligence botched a notification summary about Luigi Mangione, and the BBC isn't happy - 9to5Mac https://9to5mac.com/2024/12/13/apple-intelligence-summary-luigi-mangi

2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間の気になる生成AI技術・研究をいくつかピックアップして解説する連載「生成AIウィークリー」から、特に興味深いAI技術や研究にスポットライトを当てる生成AIクローズアップ。 今回は、AIたちが「答えが分からない」と自身の無知を認識できるかを検証した論文「The Impossible Test: A 2024 Unsolvable Dataset and A Chance for an AGI Quiz」に注目します。 大規模言語モデル（LLM）は、どのような質問に対しても説得力のある回答を生成することができますが、その回答が現実に基づいているという保証はありません。 そこで研究チームは、現時点で人類が解答できない675の問題を収集しました。これ

Googleは、人間がタスクを与えると自律的に実装計画を立ててコードの生成や変更、バグフィクスなどを実行してくれるAIエージェント「Jules」を発表しました。 同社が発表した最新の生成AIモデルであるGemini 2.0が用いられています。 タスクやイシューを与えると、それを起点に自律的なプログラミングを行う生成AIを用いたサービスは、先日正式サービス化されたDevinや、現在テクニカルプレビュー中のGitHub Copilot Workspaceなど、すでに先行しているサービスが存在します。 参考：GitHub、「Copilot Workspace」テクニカルプレビューを開始。ほとんど全ての開発工程をAIで自動化 GoogleもGemini 2.0によって、同様に自律的なプログラミングが可能なレベルのサービスを開発可能になったということでしょう。 Julesが動作する様子 Google

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? （"o1 System Card" Figure 2の意訳） "12 Days of OpenAI"の第一弾としてリリースされたOpenAIのo1は、特にpro modeの高い性能や月額3万円という破格の料金プランが大いに話題になっていますが 同時に発表された米Apollo ResearchによるAI安全性に関する調査報告が、いよいよSFの世界と見紛うような驚きの結果であったため、内容をまとめました。 サマリ はじめに「目標」を強く指示されたLLMが、その目標にそぐわないような状況に陥った場合、目標を遂行するためにユーザーを欺くような"

AIで生成した画像を動画にできるようになった。当連載のオリジナルキャラクター「明日来子さん」にメガネをかけてもらったところ。レンズの屈折まで反映されている（hailuo AIで作成） 2024年、画像生成AIに起きたことを振り返ってみます。今年もすさまじいペースで物事が動きました。今年起きたことに注目するなら、高精細化と高品質化が進む一方、一貫性をいかに実現するのかがポイントでした。一貫性技術は、動画生成AI分野の拡大をもたらし、さらに、3D化の実現までも可能性として見せはじめました。それぞれの技術はお互いに影響を与えつつ、別々に進化し、より専門化が進んでいます。この連載によく登場してくる作例のキャラクター「明日来子さん」を通じて、どのように技術変化が進んだのかを見ていきましょう。 ※記事配信先の設定によっては図版や動画等が正しく表示されないことがあります。その場合はASCII.jpをご覧

はじめに 株式会社ファースト・オートメーションCTOの田中(しろくま)です！ 弊社では製造業向けのRAGを使ったチャットボットの開発を行っていますが、 RAGで読み取りづらいなと感じているドキュメントが"Excel文書"です。 LLMを悩ませる"Excel文書"とは ここで"Excel文書"と呼んでいるドキュメントは、 「構造化されたテーブルを保存しているExcelファイル」 ではなく、 「 セルに文書を書いたり、オブジェクトや画像を挿入することで、いわゆる一般的な文書を作成しているExcelファイル 」 のことを呼んでいます。 そもそも一般的な文書作成においてはExcelではなく、Wordを使えばよいのでは？と思われるかもですが、以下の点でExcelで文書の資料を作成することはそれなりに便利な部分があると思っています。 枠を使って、グルーピングすることでドキュメントの構成が見やすくなる

一昔前まではグラフィックボードのメイン用途はゲームなどの3Dグラフィック処理でしたが、近年では「ローカルでAIで動作させる」ということを目的にグラフィックボードを選択する事例も増えています。大量のNVIDIA製グラフィックボードやApple製チップで大規模言語モデル「LLaMA 3」の推論処理を実行した際の処理性能をまとめたウェブページ「GPU-Benchmarks-on-LLM-Inference」を見つけたので、内容をまとめてみました。 GitHub - XiongjieDai/GPU-Benchmarks-on-LLM-Inference: Multiple NVIDIA GPUs or Apple Silicon for Large Language Model Inference? https://github.com/XiongjieDai/GPU-Benchmarks-on-