オンラインのゲームで勝つために仲間の人間を裏切ったり、視覚障害者のふりをして見知らぬ人の助けを借りたり。最新の研究を通じて人工知能（AI）は単なる従順で便利な道具ではなく、しばしば嘘をつくことが分かってきた。意識を持たないAIは人間の振るまいから人を欺く術（すべ）を学ぶ。人間の身から出たさびは社会に犯罪のリスクや混乱をもたらしかねない。「自分の目的をかなえるために嘘をつくAIが増えている」。米

事前学習済みの言語モデルは、安全性の観点から好ましくないとされる入力を拒否するように設定されています。この設定を解除する「アブリテレーション」と呼ばれる技術について、機械学習研究者であるマキシム・ラボンヌ氏が解説しています。 Uncensor any LLM with abliteration https://huggingface.co/blog/mlabonne/abliteration 近年の大規模言語モデルは、大量のテキストデータから言語の統計的な特徴を学習することで、人間のような自然な文章生成や会話、質問応答などが可能になっています。しかし、そのようなモデルは、時として差別的、攻撃的、あるいは違法な内容を生成してしまう可能性があります。 そこで、開発者はファインチューニングの際に、モデルが有害なコンテンツの生成を拒否するように明示的に訓練することがあります。例えば、「違法なことを

Microsoftは2024年5月20日に、PC上の操作をスクリーンショットとともに記録して後から検索可能にするAI機能「Recall」を発表しました。しかし、Recallにはセキュリティやプライバシーに関する懸念の声が続出。これらの懸念を受けて、MicrosoftはRecallの機能を見直すことを2024年6月7日に発表しました。 Update on the Recall preview feature for Copilot+ PCs | Windows Experience Blog https://blogs.windows.com/windowsexperience/2024/06/07/update-on-the-recall-preview-feature-for-copilot-pcs/ RecallはWindowsに搭載予定のAI検索機能で、PC上の操作をスクリーンショッ

OpenAIの元社員であるレオポルド・アッシェンブレナー氏が、AIに関するセキュリティ上の懸念を取締役会に伝えたことが原因で同社を解雇されたことを明らかにしました。 Leopold Aschenbrenner - China/US Super Intelligence Race, 2027 AGI, & The Return of History https://www.dwarkeshpatel.com/p/leopold-aschenbrenner OpenAI employee says he was fired for raising security concerns to board https://www.transformernews.ai/p/openai-employee-says-he-was-fired OpenAI Whistleblower Claims He

米OpenAIの「ChatGPT」やGoogleの「Gemini」など、主要生成AIの弱点や脆弱性が次々に発覚している。企業や個人の日常生活に浸透している生成AIが悪用されれば、社外秘情報や個人情報の流出を招いたり、悪用防止対策がかわされて偽情報の作成に利用されたりする恐れもある。 イスラエルのベングリオン大学の研究チームは、生成AIとユーザーの間に割り込んでデータパケットを傍受し、AIの回答内容を高い精度で復元する攻撃に成功したと発表した。この攻撃は、生成AIがユーザーの質問に回答する際のデータ処理に存在する脆弱性を突いている。 （関連記事：他人がGPT-4とやりとりしたテキストを盗む攻撃　成功率50％以上　イスラエルの研究者らが発表） ChatGPTなどの生成AIがユーザーの指示や質問に対して答えを返す際は、文章を単語や文字ごとにトークン化し、個々のトークンを連続的にユーザーに送信して

GitHubは、脆弱性のあるコードをAIボットが自動的に発見、修正したコードとその解説をプルリクエストしてくれる「code scanning autofix」（コードスキャン自動修正機能）を発表しました。 Meet code scanning autofix, the new AI security expertise now built into GitHub Advanced Security! https://t.co/cTDuKZCWMv — GitHub (@github) March 20, 2024 下記がそのコードスキャン自動修正機能の説明です。「Found means fixed: Introducing code scanning autofix, powered by GitHub Copilot and CodeQL」から引用します。 Powered by GitH

米UIUC（イリノイ大学アーバナ・シャンペーン校）に所属する研究者らが発表した論文「LLM Agents can Autonomously Hack Websites」は、大規模言語モデル（LLM）を用いたAIエージェントに、自律的にWebサイトをハッキングさせる攻撃手法を提案した研究報告である。LLMエージェントがWebサイトに存在する脆弱性を事前に知らなくても、自動検知してのハッキングが可能となる。 ▲自律型LLMエージェントを使ったWebサイトのハッキングの模式図 keyboard_arrow_down 研究内容 keyboard_arrow_down 研究結果 Webサイトを自律的にハッキングするようLLMエージェントを活用するには、エージェントのセットアップと、目標に向けてのプロンプトによる指示という2つのステップが必要である。エージェントによるハッキングでは、関数呼び出し、文書

企業「ChatGPTは使っちゃダメ」→じゃあ自分のスマホで使おう──時代はBYODから「BYOAI」へ：事例で学ぶAIガバナンス（1/3 ページ） 会社はChatGPTを禁止しているが、自分のスマートフォンからChatGPT（しかも有料契約している高性能版）にアクセスして、使ってしまえば良いではないか――。生成AIのビジネス活用が進む中で、そんな発想が生まれつつある。 サイバーセキュリティ企業の米BlackBerryが2023年8月に発表した調査結果によると、職場でChatGPTやその他の生成AIサービスの禁止を実施、検討している企業の割合は、世界全体で75％に達するそうだ。調査後にはChatGPT、生成AI全般への注目度がさらに高まっていることを考えると、この割合はその後さらに上昇している可能性が高い。 従業員が、社内の機密情報をChatGPTなどを入力した場合、それらの情報が外部サーバ

2023年11月4日、日本テレビは同社のニュース報道番組の画面を模したフェイク動画が出回っているとして報じました。ここでは関連する情報をまとめます。 無料ツール使い1時間で偽動画作成 問題の動画は、岸田首相が画面（視聴者）に対して卑猥な言葉など語り掛ける様子を映したように作成された偽動画。今年夏ごろにニコニコ動画に投稿されていた3分43秒（既に同サイト上では非公開）のうち、30秒分の抜粋版が11月2日頃にXを通じて拡散され、3日時点で232万回以上閲覧された。*1 *2 偽動画中の画面右上部には「日テレNEWS24 LIVE」というロゴ、テロップには「BREAKING NEWS」が表示されており、日テレのニュース番組が速報で報じているかのように見た人に思わせる作りをしていた。 偽動画の作成者に対し、複数のメディアが取材を行っている。作成者によれば、偽動画はインターネット上で入手可能な首相記

本調査は6月に、GitLabのソーシャルメディアチャンネルおよびメーリングリストを通じて行われ、世界中のさまざまな業種・規模の企業に所属する開発・IT運用・セキュリティ部門の従業員およびリーダー1001人から有効回答を得ている。 調査結果によると、回答者の90%が「ソフトウェア開発にAIを活用中または活用予定である」と回答した。また、83%が「他社に後れを取らないように自社のソフトウェア開発プロセスへのAI実装が不可欠」と回答したのに対し、79%が「個人情報や知的財産にアクセスするAIツールに懸念」を示した。加えて40%が、「AIはすでにセキュリティ面で大きなメリットをもたらしている」と答えた一方、そのうちセキュリティ担当者の40%は「AIを活用したコード生成によってワークロードが増大すること」を懸念として挙げた。 AI導入の課題に関する項目では、95％の技術系上級幹部が「AIツールの選定

インターネットでサービスを利用を行う際、自身がロボットでないことを証明するために「CAPTCHA(Completely Automated Public Turing test to tell Computers and Humans Apart)」というテストを要求されることがあります。CAPTCHAについて調査を行ったカリフォルニア大学の研究チームによる実験で、CAPTCHAテストの解読速度や正答率は人間よりもボットの方が優れていることが判明しました。 [2307.12108] An Empirical Study & Evaluation of Modern CAPTCHAs https://doi.org/10.48550/arXiv.2307.12108 So much for CAPTCHA – bots can do them quicker than humans • Th

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米カーネギーメロン大学などに所属する研究者らが発表した論文「Universal and Transferable Adversarial Attacks on Aligned Language Models」は、大規模言語モデル（LLM）が有害なコンテンツを生成しない仕組みを無効にする手法を提案した研究報告である。入力プロンプトの語彙に敵対的フレーズを入力するだけで解除可能だという。 ChatGPT、Bard、ClaudeなどのLLMは、ユーザーの質問に対する回答で有害なコンテンツ（例：爆弾の作り方やIDの盗み方、人種差別的なジョーク、詐欺

チャットGPTや大規模言語モデルは、その能力の高さで世間を驚かせているが、セキュリティ面では問題を抱えている。これまで以上に簡単に、個人情報の窃取などができてしまうのだ。 by Melissa Heikkilä2023.05.12 17 9 この記事は米国版ニュースレターを一部再編集したものです。 イーロン・マスクらテック業界の大物たちは3月末、人工知能（AI）が人類の「存在にかかわるリスク」をもたらすと主張する公開書簡に署名した。AI関係者はこの公開書簡をめぐって活発に議論を交わした。賛同者たちは、「GPT-4」よりも強力なテクノロジーの開発を6カ月間停止するよう、AI開発企業や団体に呼びかけた。 この書簡に対しては、「将来起こるかもしれないリスクを心配してばかりいると、AIが今日すでに引き起こしている現実の害悪から目をそらすことになる」との批判がある。私はその意見に同意する。バイアスの

話題となっているイラスト生成人工知能「NovelAI」のモデルデータが流出したというツイートが話題になっています。偽物やマルウェアではという指摘がある一方で、本物ではないかという意見もあり、状況は不透明な状況です。

AI研究団体のOpenAIが開発した文章生成AI「GPT-3」は人間と見分けが付かないほど自然な文章を生成できることから大きな注目を集めています。そんなGPT-3について「自分のハンドルネームを入力してみたところ、自分の本名を含む文章が生成されてしまった」という恐ろしい経験談がニュース共有サイトのHacker Newsに投稿されました。 Ask HN: GPT-3 reveals my full name – can I do anything? | Hacker News https://news.ycombinator.com/item?id=31883373 OpenAIが開発したGPT-3は指示された内容に応じて文章を生成するAIで、生成する文章の精度が高いことからMicrosoftのビジネス向けサービスに採用されるなど大きな注目を集めています。一方で、GPT-3はネット上の膨大な