第1章　理論編 ・深層学習とは (p.13-) ・ニューラルネットワークとは (p.31-) ・どうやって学習するか: 勾配降下法 (p.57-) ・深層学習の注意点 (p.91-) 第2章　応用編 ・分類問題 (p.110-) ・画像認識 (p.120-) ・音声認識／自然言語処理…

今のLLMを取り巻く状況について紹介します。

機械学習（マシンラーニング）などAI（人工知能）の大きなリスクの1つが、誤った内容を出力することだ。誤りが訓練データに起因する場合、機械学習モデルからそのデータの影響を削除する必要がある。それを「マシンアンラーニング（Machine Unlearning）」と呼ぶ。 実は、訓練データに起因するAIの誤りを完全に取り除く方法は存在する。訓練データから問題のあるデータを除去したうえで、機械学習モデルを改めてトレーニングし直せばいいのだ。しかし近年、機械学習モデルは巨大化する一方だ。数百億～数千億パラメーターの大規模言語モデル（LLM）をトレーニングするには、スーパーコンピューター級の巨大ITインフラストラクチャーを用意して、数億円規模のコストを投じる必要がある。 それに対してマシンアンラーニングは、機械学習モデルの再トレーニングをすることなく、問題があるデータの影響を機械学習モデルから取り除こ

2021年8月4日紙版発売 2021年7月30日電子版発売 齋藤優太，安井翔太　著，株式会社ホクソエム　監修 A5判／336ページ 定価3,278円（本体2,980円＋税10%） ISBN 978-4-297-12224-9 Gihyo Direct Amazon 楽天ブックス ヨドバシ.com 電子版 Gihyo Digital Publishing Amazon Kindle ブックライブ 楽天kobo honto 本書のサポートページサンプルファイルのダウンロードや正誤表など この本の概要 予測に基づいた広告配信や商品推薦など，ビジネス施策の個別化や高性能化のために機械学習を利用することが一般的になってきています。その一方で，多くの機械学習エンジニアやデータサイエンティストが，手元のデータに対して良い精度を発揮する予測モデルを得たにもかかわらず，実際のビジネス現場では望ましい結果を得

0. 概要 実は結構前から地味に研究されているVQA。昔はキャプション生成等結構隆盛であったが、最近は余り目にも耳にもしない。しかし、DeepLearningの信頼性を確認するという意味ではよいメカニズムなのではないかと考えている。 どうのようなタスクかというと「DeepLearningさんに画像を与えて質問をすると、その画像を基に機械が答えてくれる」というもの。 以下の画像が分かりやすいであろう。 簡単にいうとCNNのタスクと文章生成タスクを両方行うようなものである。 事前に1枚の画像に対して、いくつかの質問セットを用意して学習させるというもので、難しい仕組みではない。 ImpelementationはTensorflowがメインっぽい。といっても3年近くも前の話である。 このため、Kerasへの移植版を使うのがよいだろう。ということで、インストールから実装までを進めて行きたい。 1.

米シカゴ大学に所属する研究者らが発表した論文「GLAZE: Protecting Artists from Style Mimicry by Text-to-Image Models」は、テキストから画像を生成する拡散モデルにおいて、絵に仕込んだノイズで学習後のモデルを騙し、作風を模倣した絵を出力させない技術を提案した研究報告である。学習される前に自分で描いた絵に敵対的な摂動を仕込むことで、学習されてもモデルの出力が誤った画像になるという。 keyboard_arrow_down 研究背景 keyboard_arrow_down 研究内容 keyboard_arrow_down 評価結果 StableDiffusionやMidJourneyなどのテキストから画像を生成する拡散モデルの登場は、アート業界を一変させ、根底から覆した。以前はプロのアーティストが何時間もかけて描いていたような、驚く

OpenAIはGPT-3の次の研究を始めています． 世間がGPT-3のデモに湧き上がる中，OpenAIはScaling Lawに関する2本の論文をひっそりと公開しました． Scaling Lawを一言で説明するなら「Transformerの性能はたった3つの変数のべき乗則に支配されている」というものです． Scaling Lawはそれ単体だけなら興味深い話で終わるかもしれません．実際に英語圏でもあまり話題にあがっていません．しかし，この法則の本当の凄さに気づいている研究者もいて，なぜ話題にならないのか困惑しています． I am curious why people are not talking more about the OpenAI scaling law papers. For me, they seem very significant. What I heard so far:

Microsoft（マイクロソフト）共同創業者のビル・ゲイツは、最近急激な発展を見せる人工知能（AI）について「2023年の最もホットな話題であると同時に、議論の的にもなる」と語っている。他のAI業界のリーダーたちもゲイツと同意見だ。 こうした状況を最もよく表しているのが、OpenAI（オープンAI）と同社が開発した対話型ロボットの「ChatGPT」だ。フォーブスの推計では、ChatGPTのユーザー数は、リリースから60日足らずで500万人を突破している。 ChatGPTは、ペンシルベニア大学ウォートン校の期末試験で「B」評価を獲得するほどの頭脳を持っており、間もなくマイクロソフトのOfficeをはじめ、数多くのビジネス向けアプリケーションに組み込まれる予定だ。 しかし、OpenAIのCEOのサム・アルトマンと社長のグレッグ・ブロックマンは、ChatGPTのリリースを棚上げすることを検討し

こんにちは。TURING株式会社でインターンをしている、東京大学学部3年の三輪と九州大学修士1年の岩政です。 TURINGは完全自動運転EVの開発・販売を目指すスタートアップです。私たちの所属する自動運転MLチームでは完全自動運転の実現のため、AIモデルの開発や走行データパイプラインの整備を行っています。 完全自動運転を目指すうえで避けて通れない課題の一つに信号機の認識があります。AIが信号機の表示を正しく理解することは、自動運転が手動運転よりも安全な運転を達成するために欠かせません。信号機を確実に認識したうえで、周囲の状況を総合的に判断して車体を制御し、安全かつ快適な走行を実現する必要があります。 TURINGでは信号機の認識に取り組むため、15,000枚規模のデータセットを準備し、高精度なモデルのための調査・研究を開始しました。この記事ではデータセットの内製とその背景にフォーカスしつつ

こんにちは！sakasegawaです！ ( https://twitter.com/gyakuse ) 今日は今流行のChatGPTについて紹介します！ ChatGPTとは OpenAIが開発するGPT-3(※)というめちゃくちゃすごい言語モデルをベースとしたチャットアプリです。 色んな質問にすぐ答えてくれます。 この記事ではさまざまな使い方を紹介します。 https://chat.openai.com/ ちなみにGPT-3関連では、noteの以下記事も便利なのでぜひ読んでみてください AIがコミットメッセージ自動生成！神ツール『auto-commit』『commit-autosuggestions』の紹介 ※正確にはGPT-3.5シリーズと呼ばれています ChatGPTの仕組みを考えながらプロンプトを作る手法はこちらに別途まとめています 文章 質問-応答 〜について教えて Wikiped

はじめに 一般の方は耳にしたことがないだろうが、「Numerai（ヌメライ）」というヘッジファンドがある。2016年後半から2017年前半くらいにWiredやForbes等のメディアに取り上げられ、界隈で少し名が知られるようになったヘッジファンドだ。このヘッジファンドはいわゆるクラウドソーシング型ファンドと呼ばれる、不特定多数の人間による株価の予測結果をもとに運用するヘッジファンドである。 筆者も2017年頃、Numeraiに参加したことがある。Numeraiの方式は予測結果に基づいてランキングされるトーナメント方式であり、つまりKaggleのようなものだ。トーナメントは毎週開催され、ランキング上位には暗号通貨で報酬が支払われる。しかし当時のトーナメントは、ランキングの基準が不明瞭であり、その順位変動がとてつもなく激しく（TOP10に入っていたのに翌週は100位以下に落ちる等）、いわゆる運

複数の視点の画像から、新たな視点の画像を合成して作り出す「Novel View Synthesis」というタスクがある。VRやスポーツの自由視点映像などには不可欠な技術だ。この領域で驚異的な性能を発揮したのが「NeRF」（ナーフ）。果たしてどんなアルゴリズムで、美しい合成画像を作り出せるのか。世界中の研究者や技術者に衝撃を与えたその技術を、論文からひもといていく。 まずは下の3枚の画像を見ていただきたい（図1）。左の2枚の写真を基に、一番右の画像のような新たな視点の画像を生成する技術を、今回は紹介していく。コンピュータービジョン分野やコンピューターグラフィックス分野の主要な研究課題の1つであり、応用先にはVR（仮想現実）やスポーツの自由視点映像など、様々な分野が挙げられる。 これは「Novel View Synthesis」という、複数の視点の画像を手がかりに新たな視点の画像を合成する技術

高解像度の 3D シーンを数秒で学習し、そのシーンの画像を数ミリ秒でレンダリング可能なニューラル レンダリング モデル、Instant NeRFを開発 インスタント写真が初めて撮影されたのは 75 年前、ポラロイド カメラによるものでした。その当時、3D の世界をリアルな 2D 画像で素早くキャプチャするのは画期的なことでした。現在、AI の研究者が取り組んでいるのはその逆のこと、つまり、複数の静止画像を数秒でデジタル 3D シーンに変換することです。 インバース レンダリングというこのプロセスは、AI を使用して現実世界での光の動き方を推定するもので、研究者はこのプロセスを利用してさまざまなアングルで撮影された数枚の 2D 画像から 3D シーンを再構築できます。NVIDIA Research チームは、このタスクをほぼ瞬時に遂行する手法を開発しました。超高速ニューラルネットワーク トレ

データ分析から導き出されたインサイト無しにAI（人工知能）の活用は始まりません。私たちは、各業界知識とデータ・アナリティクス技術を駆使しデータドリブン経営を強力に支援します。 データ、アナリティクス、AIは企業にとって競合他社との差別化を図るかつてないほど大きな要因になっています。今日の経営幹部が効率を向上しながら新たな収益源を開拓し、新しいビジネスモデルをタイムリーに構築する方法を模索する中、価値を生み出し成長を続ける企業には「データ活用」という共通項があります。私たちは、無数のデータから企業にとって本当に必要なデータを活用するための方法を知っています。 将来を見据えたオペレーション体制を備えている企業の半数以上（52％）は、すでにデータとアナリティクスを大規模に活用しています。データとAIに関する取り組みをビジネス戦略に沿って実施することで投資利益率を迅速に最大化し、最終的にはAIをビ

ろぼいん@一般人 @keita_roboin @Larva06_com の技術開発部兼企画部リーダー（白土玲衣）のメインアカウント。RTめっちゃ多い。ブルアカ、動画編集とプログラミングが趣味。デザインはちょっとできる。サブ @orizin_project ブログ robot-inventor.github.io youtube.com/channel/UCJFnl… ろぼいん@VTuberではない @keita_roboin （見かけたから一応書いておくけど、AIは既存のイラストを切り貼りしているわけではない。内部の仕組みは違うけど、どちらかといえば人間がイラストを観察して学習するのに似てる） 2022-10-05 17:08:21 ろぼいん@VTuberではない @keita_roboin じゃあどういう仕組みかというと ・画像と、それにノイズを加えたものを用意する ・ノイズを加えた画像

東京大学深層学習（Deep Learning基礎講座2022）https://deeplearning.jp/lectures/dlb2022/ 「深層学習と自然言語処理」の講義資料です。

試行回数の増やし方 2021年度版です

こんにちは。 在宅の機会が増えて以来Youtubeを見る機会が増え、機械学習などが勉強できるチャンネルをいくつか探しては見ていました。探した中でよかったと思ったものをメモしていたのですが、せっかくなので公開したいと思います。日本語のソースがあるもののみ対象にしており、『これ無料でいいのか？』と思ったチャンネルを紹介したいと思います。主観で以下のレベルに分けましたがあくまで参考程度にお願いいたします。 基本：Pythonを触ってみた人 Pythonの説明・動かし方などを解説していて、動画によっては踏み込んだ内容になる 応用：アルゴリズムを使いこなしたい人 「model.fit(X, y)して動かしてみた」よりも踏みこみ、Python自体の説明は少ない 発展：研究開発もしたい人 最新の手法の仕組みの理解などが主眼であり、Pythonの解説はほぼ無い もしおすすめのチャンネルございましたらぜひコ