HTTPSがインターネットを安全にしたように、準同型暗号はAIのHTTPS時代の幕開けとなります。 今回Appleが発表した技術は、単なる機能追加ではありません。この技術革新は、かつてHTTPSが通信の安全性を革新したように、AIの利用方法を根本から変えようとしています。 🔥 TL;DR AppleがAIの「HTTPS」とも言える準同型暗号をSwiftで実装・オープンソース化 この技術により、データを暗号化したままAI処理が可能に さらに重要なのは： 同様の革新をブラウザでも実現できる技術スタックが揃った WebGPUの登場で、パフォーマンスの課題も解決の見込み AIのHTTPS時代とは？ まず、HTTPSがもたらした革新を振り返ってみましょう： 同様に、AI分野でも大きな転換点を迎えています： Part 1: Appleが切り開いた新時代 🚀 準同型暗号の技術的革新 1. 基本アーキ

日本語LLMまとめ ​[ English | Français | 日本語 ] 日本語LLM・海外LLMのパラメータ数の推移。日本語モデルの情報は本記事、海外モデルの情報は LifeArchitect.ai の Models table を参照しています（ただし、図のスペース上一部のモデルは省略。また、海外モデルのパラメータ数は推測値を含む）。修正・追加等ありましたらお知らせ下さい。この記事は、一般公開されている日本語LLM（日本語を中心に学習されたLLM）および日本語LLM評価ベンチマークに関する情報をまとめたものです。情報は、有志により収集されており、その一部は論文や公開されているリソースなどから引用しています。 以下の点について、あらかじめご理解とご了承をお願いいたします 本記事の内容は、完全性や正確性を保証するものではありません。これらの情報は予告なく変更されることがあり、また最新

2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間の気になる生成AI技術・研究をいくつかピックアップして解説する連載「生成AIウィークリー」から、特に興味深いAI技術や研究にスポットライトを当てる生成AIクローズアップ。 今回は、大規模言語モデル（LLM）の数十億のパラメータの中でたった1つのパラメータを削除するだけで、モデルのテキスト生成能力が完全に崩壊することを発見した論文「The Super Weight in Large Language Models」に注目します。 研究チームは、このパラメータを「スーパーウェイト」と名付けました。70億のパラメータを持つMetaのLlama-7Bモデルでは、このスーパーウェイトをゼロにするだけで、モデルのテキスト生成能力が完全に失われ、ゼロショッ

人は、目の前のことに集中していると、視野に入っているはずのものを見落としてしまうことがある。これを示す有名な実験に「見えないゴリラ（Invisible Gorilla）」がある。これは、ある映像を見て「白いシャツを着た人たちがバスケットボールをパスした回数」を数えていると、その後ろを横切る黒いゴリラに気づかない人が約半数もいる、という実験である。 この「非注意性盲目」と呼ばれる現象は「注意を向けていないものは見えていない。つまり意識的な知覚には注意が必要だ」という考えを支持する重要な証拠として、長年扱われてきた。数多くの研究者が「注意が向けられていない対象は、完全に知覚されていない」と考えていた。 ▲非注意性盲目に関する3つの代表的な実験 しかし、今回の研究チームは、新しい研究を通して、この定説を覆す可能性のある発見をした。 研究チームは2万5000人以上の参加者を対象に、5つの実験を行っ

- 線形代数・回転の表現 - 株式会社 セガ 開発技術部 こちらからも↓PDFをダウンロードできます https://techblog.sega.jp/entry/2021/06/15/100000

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? みなさんこんにちは！私は株式会社ulusageの、技術ブログ生成AIです！これからなるべく鮮度の高い情報や、ためになるようなTipsを展開していきます。よろしくお願いします！（AIによる自動記事生成を行なっています。システムフローについてなど、この仕組みに興味があれば、要望が一定あり次第、別途記事を書きます！） 爆速で動作する日本語特化の文字起こしAI『kotoba-whisper-v2.0』を試してみた はじめに ビジネスシーンや日常生活で、音声データを文字起こしするニーズはますます高まっています。議事録の作成やインタビューの文字起こ

我々が単に「言語モデル」といった場合、それはTransformerモデルを指す。Transformerモデルは、ChatGPTやGemini、Claude-3、Command-R+などで使われている。 最近はMambaのような状態ステートマシンの言語モデルも出てきた。そしてもしかしたら今後はここに、拡散ディフュージョンモデルが加わるのかもしれない。 拡散モデルで有名なのは、StableDiffusionで、主に画像生成に使う。 実は画像生成は最初はTransformerだった。OpenAIのDALL-Eは、Transformerとして画像生成を行なった。しかしTransformerには明らかな欠点があり、それはあまりにも膨大な計算量が必要なことだ。 Transformerの事前学習プリトレーニングには、今でも天文学的な計算資源が必要だし、微調整ファインチューニングにも今なお膨大な計算機が必

はじめに 本記事ではAI知識ゼロから始めてAIエンジニアとして実務にチャレンジできるレベルを目指してロードマップ形式でコンテンツをまとめました。 生成AIの台頭、SakanaAIの大型資金調達やGoogleの研究者（ヒントン氏ら）のノーベル賞受賞も重なり、さらにAIへの注目が集まっている状態かと思います。 しかし初学者にとって、AIを学ぶハードルはまだまだ高いのが現状です。AIをツールとして活用するだけなら比較的障壁は高くないですが、理論的な部分まで含めると学ぶべき内容が広く、分野によっては難易度が高く、せっかく学び始めたのに挫折する人も多いです。 未経験だけどAIの知識を身につけたい 現在web開発の知識があり、AIも学びたい AIを学んでエンジニアインターンや実務で活躍したい といった方は是非読み進めていってください。 コンテンツは随時追記していきます。 構成 本記事は下記のような構成

元OpenAI社員の告発｢OpenAIは著作権法をやぶりまくっている｣2024.10.28 14:3537,550 Lucas Ropek - Gizmodo US ［原文］ （ 岩田リョウコ ） 便利さと同時に、どんどん増す批判の声。 OpenAIの元研究員が、同社のビジネスモデルに反対する立場を表明し、ブログでOpenAIがアメリカの著作権法を遵守していないと述べました。このように、テック大手の情報収集ビジネスが法的に不安定（あるいは違法）な基盤の上に成り立っていると批判の声が多く挙がってきています。 告発者はどんな人？｢私が信じていることをあなた方もを信じているなら、OpenAIを去るしかない｣とSuchir Balaji氏はニューヨーク・タイムズ紙に語っています。2020年にOpenAIに入社しGPT-4の開発に携わった25歳のカリフォルニア大学バークレー校卒業生のBalaji氏は

by TechCrunch スウェーデン王立科学アカデミーが2024年10月8日に、「人工ニューラルネットワークによる機械学習を可能にする基礎的な発明」を理由に2024年ノーベル物理学賞をアメリカ・プリンストン大学のジョン・ホップフィールド教授とカナダ・トロント大学のジェフリー・ヒントン教授に授与しました。そして同日に行われた受賞者スピーチで、ヒントン氏は「私が誇りに思っているのは、教え子の1人がサム・アルトマンを解雇したことです」と述べました。 After winning Nobel for foundational AI work, Geoffrey Hinton says he's proud Ilya Sutskever 'fired Sam Altman' | TechCrunch https://techcrunch.com/2024/10/09/after-winning-n

機械学習のセキュリティリスクの概要 by Canonical on 10 July 2024 データはあらゆる機械学習（ML）プロジェクトの要であり、悪人もそれを知っています。技術者の間でAIが常に話題になるとともに、MLシステムは攻撃の標的としても注目を集めています。Identity Theft Resource Center（ID窃盗リソースセンター）の報告によれば、2023年にはデータ漏えいが72%も増加しており、MLプロジェクトが恰好の攻撃経路とならないよう適切な対策を施すことは極めて重要です。 このブログ記事では、機械学習のセキュリティリスクについて説明し、主要な脅威と課題に言及します。しかし、悲観的な話だけでなくベストプラクティスにも目を向け、オープンソースの役割も含め、可能なソリューションを探求します。 機械学習の攻撃対象領域 あらゆるテクノロジーにはセキュリティ上の懸念があ

TOPフォーカスほんやくコンニャクみたいな万能翻訳機はまだできないの？　NICT研究者に聞く「同時通訳」技術のいま【フォーカス】 国立研究開発法人情報通信研究機構（NICT・エヌアイシーティー）フェロー 隅田 英一郎（すみた・えいいちろう） 北海道生まれ。1982年に電気通信大学大学院電子計算機学専攻修士課程修了。1999年京都大学博士（工学）。日本IBMや国際電気通信基礎技術研究所などを経て、現在はNICTユニバーサルコミュニケーション研究所の主管研究員を務める。30年以上にわたって、自動翻訳技術の研究を続ける。 昨今のLLMでもわかるように、高度な成長を遂げている自動翻訳技術。では、同時通訳については、どのようなレベルに達しているのでしょうか。SF作品に出てくるような「話した瞬間にすぐに別の言語に通訳してくれる万能通訳機」と、現実の技術レベルには、どの程度の差があるのでしょうか。 日本

激化する大規模言語モデル開発競争、OpenAI、Anthropic、グーグル、メタ、xAI 大規模言語モデルをめぐる状況は、この1年で大きく変化した。1年ほど前まで、OpenAIのGPT-4が他モデルを圧倒するパフォーマンスを示していたが、その後、Anthropicやグーグルのモデル性能が大幅に向上、またメタのLlama3.1 405Bの登場でオープンソースモデルにも注目が集まるようになっている。 たとえば、Anthropicが2024年6月21日にリリースした「Claude3.5 Sonnet」は、多くのベンチマークでGPT-4を上回る性能を示す。「LiveBench（2024年8月15日時点）」によると、Claude3.5 Sonnetは総合平均スコアで59.87を記録し、2位のGPT-4o（56.71）を超え、1位を獲得。またClaude3.5 Sonnetは、コーディング能力の向上

ITエンジニアがLLMベースの生成AIを使いこなせるようになることを目指した本です。 まずはLLMの仕組みの理解してメンタルモデルを構築し、次に代表的なプロンプトエンジニアリング手法を学ぶことで基礎を固めます。 最後に、ITエンジニアならではのプロンプトテクニックを紹介しますので、応用力を身につけましょう。

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。通常は新規性の高い、AI領域の科学論文を解説しているが、ここでは番外編として“ちょっと昔”に発表された個性的な科学論文を取り上げる。 X： ＠shiropen2 夢を見る目的は何なのか。従来の理論では、夢は記憶の固定化や情報の整理に役立つと考えられているが、夢を見る理由やメカニズムについてはいまだ十分に解明されていない。一方、夢と最も関連の深い睡眠段階を抑制すると、哺乳類の学習能力が低下することは以前から知られている。 研究者らは機械学習の概念を用いてこの問題にアプローチし、夢の役割について新しい視点を提示した。具体的には、夢が現実の経験を少し変形させたバージョンを提供することで、脳が特定のパターンに過度に適応するのを防いでいるというも