第1章　理論編 ・深層学習とは (p.13-) ・ニューラルネットワークとは (p.31-) ・どうやって学習するか: 勾配降下法 (p.57-) ・深層学習の注意点 (p.91-) 第2章　応用編 ・分類問題 (p.110-) ・画像認識 (p.120-) ・音声認識／自然言語処理…

LLM、GPT界隈を追いかけていて、GPTの仕組みと限界についての考察（2.1） - conceptualizationという記事を見かけた。これを見たとき、「どういうことか全然理解できない」という気持ちになった。また、その他LLMの解説記事を理解できないことが多く、自分の機械学習知識不足が明確になった。 理解できなかったことは悔しいし、LLMやChatGPTをうまく使いこなすには最低限どのような原理で動いているか理解したいと感じた。そこで一歩目として「ゼロから作るDeep Learning」を完走した。 ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 作者:斎藤 康毅オライリージャパンAmazon 知識なしからはじめたので時間はかかったが、次のように進めていった。 自分もコードを写経しながら読む レポジトリは https://github.co

先日OpenAIより発表されたGPT-4が話題ですが、同タイミングで公表されたTechnical Reportを読んでみたところ、全99ページのうち後半60ページを占めるドキュメント「GPT-4 System Card」において解説されていた、言語AIが抱える危険性と、いかにしてGPT-4が危険な回答を回避するように学習されているかについての内容が非常に興味深かったため、簡単にまとめてみました。 https://arxiv.org/pdf/2303.08774.pdf サマリ GPT-4のリリースに向けて、OpenAIでは安全性を評価するために50人超の専門家らを含む"レッドチーム"を結成。2022年8月から8ヶ月に渡ってリスクの評価とその軽減に向けたチューニングを実施してきた リスク評価における実験の中には「自身をコピーするプログラムを実行できるGPT-4が自己増殖をしないか確認する」と

はじめに ChatGPTをはじめとしたLLMを使いこなすための必須スキル、プロンプトエンジニアリング について解説します。 最近は動きが早すぎてキャッチアップが難しくなっていますが、特に以下のような手法が注目されているようです。 In-context Learning (ICL) Chain-of Thought (CoT) Zero-shot CoT ReAct Self-Consistency Program-aided Language Model (PAL) 今回は、6つのテクニックの中からPart1として、ICL、CoT、そしてZero-shot CoTの3つを紹介します。 これらのテクニックは、ChatGPTをはじめとするLLMのポテンシャルを最大限に引き出すために必要不可欠です。 さらに、各テクニックを詳しく解説した論文も紹介していますので、是非ご一読ください。 In-con

現状、ネットで調べ物をしたいときは、Googleなど検索サイトを利用することが多いだろう。その場合、検索結果にリストアップされる無数のサイトは、質の高い有用なサイトばかりとは限らない。 広告だらけで内容が薄いページや、反対に難解なページばかりを引き当て、目的の情報にスムーズにたどり着けなかったという経験は誰しもあるだろう。 一方、ChatGPTは、質問文を投げかけるだけで、必要な情報を教えてくれる。情報を求めて、複数のサイトをさまよう必要はない。 Google幹部は非常事態を宣言した ユーザーにとって非常に便利なツールだが、Google社には脅威になっている。 ニューヨーク・タイムズ紙は昨年12月、検索の未来を書き換える可能性があるとしてGoogle幹部が危機感を抱き、社内に「Code red（非常事態）」を宣言したと報じている。ChatGPTに太刀打ちすべく、社内の開発体制を根底から変更

こんにちは！いろんなプロに相談できるMENTA代表の入江です。 話題のChatGPT。いろんな質問例がTwitterに上がっていて未来を感じさせてくれます。 ※ただし、どんな質問にも答えてくれるChatGPTですが間違いもあるので注意が必要です。 1)バグを見つけてもらう

いろいろ仕組み的にChatGPTというのはGoogle検索の代替以上の働きをするなぁと思っていたのだけど、それとは別にChatGPTによって検索が使い物にならなく未来が考えられるなぁと思った。 ChatGPTが検索よりもいいのは、そのものズバリな文書がなくても、その周辺から学んだ単語の関係をもとに、答えを構築してくれることです。 たとえば検索の場合は、日本語で書かれた文書が用意されていなければ、たとえ英語や中国語の文書があったとしても日本語での検索には引っかかりません。 けど、ChatGPTの場合は、英語や中国語の文書から学んだ単語の関係や、ほかの文書から学んだ英語と日本語の関係、日本語での単語の関係などから、日本語の回答を生成してくれます。 たとえばGluonという会社について日本語で説明してる記事はおそらくないと思うのですが、ちゃんと日本語で説明してくれます。本社はベルギーですが。。。

ChatGPTのヤバいところは、論理処理が必要だと思っていたことが、じつは多数のデータを学習させた確率処理で解決可能だと示したことだと思います。 たとえば、このように正規表現にマッチする文字列を生成するには、特別に専用の論理処理が必要だと思っていました。 前のブログのときには特殊処理が必要だと考えてましたね。 ウソはウソと見抜ける人じゃないとChatGPTを使うのは難しい - きしだのHatena けど、123_45678world.mdはマッチするのにマッチしないと言っているので、そのような誤りが入ることを考えると、どうも確率処理だけでやっているようです。 考えてみると、3層以上のニューラルネットであれば論理素子を再現できるので、ディープラーニングで論理処理を模倣することは可能なんですよね。 バックプロパゲーションでニューラルネットの学習 - きしだのHatena そもそも論理は、多数の

Appleがゴミみたいなレビューで会社のアプリをリジェクトしてきた。 「Specifically, your description includes Android references.」 だって。 アプリの説明にはAndroidなんて単語は全くでてこないのに！ 念の為アプリの中身も調べたが、確かにAndroidという単語は文字列としてアプリに含まれるが、それはユーザーには見えないところにあるので問題ないはずだった。 この野郎Apple、適当な審査しやがって。 そう思って返信してやろうと思ったけどうまく書けない。 直接的な物言いは出来るけど、ちゃんとビジネスマナーに沿って書かないとリジェクトいじめされそうだし。 そこでChatGPTで聞いてみた。 「Please write a reply to Apple, who wrongly rejected my company's iOS

こんにちは！sakasegawaです！ ( https://twitter.com/gyakuse ) 今日は今流行のChatGPTについて紹介します！ ChatGPTとは OpenAIが開発するGPT-3(※)というめちゃくちゃすごい言語モデルをベースとしたチャットアプリです。 色んな質問にすぐ答えてくれます。 この記事ではさまざまな使い方を紹介します。 https://chat.openai.com/ ちなみにGPT-3関連では、noteの以下記事も便利なのでぜひ読んでみてください AIがコミットメッセージ自動生成！神ツール『auto-commit』『commit-autosuggestions』の紹介 ※正確にはGPT-3.5シリーズと呼ばれています ChatGPTの仕組みを考えながらプロンプトを作る手法はこちらに別途まとめています 文章 質問-応答 〜について教えて Wikiped

こんにちは、852話です。 世でAI画像生成サービスが騒がれ、一旦瞬間最大風速を超えたかなと思う最近ですが、改めて『全くAI画像生成に触れてきてないけど、今から触ってみたい』という人向けの記事を書きます。 記事は ・パソコンを持っていなくても気軽に初められる ・英語がわからなくてもなんとかなる ・無料で体験できる ・もっとカッコいいものを作りたい時 などを書きました。 今現在AIに触れている方向けの記事はまた次の機会にアップします。 ・そもそもAI画像生成って何？この項目は区別がつかなかったりしても大丈夫ですし読み飛ばしても構いません。 現在話題になっているAIでの画像生成サービスの機能は、 「文章から画像を出力する」 text to image→通称t2i 「画像を指定して画像を出力する」 image to image→通称i2i の二種類がメインです。 サービス自体はDALL-E、Mi

はじめに ChatGPTのインパクトが個人的にすごかったので、どういった学習が行われているのか、どういう課題があるのか等を理解しようと思い、OpenAIの記事をベースに情報をピックアップしてざっとまとめました。 あくまで私なりの解釈で情報を整理してまとめたものになりますので、いくつか専門性の低い分野に対しては曖昧な記述になっていたり、理解を誤って記載しているかもしれません。 もし間違い等がありましたらご指摘いただけると大変ありがたいです。 ChatGPT: Optimizing Language Models for Dialogue 参考 ChatGPTは、OpenAIによって開発された、対話に特化した言語モデルである。 特徴としては、 前の対話内容に続く質問への回答が可能。 間違いを認めることもできる。 正しくない前提に対する異議を唱えることもできる。 不適切なリクエストには応じない。

Torishima / INTP @izutorishima アニメリアタイと DTV と技術とﾌﾟﾛｸﾞﾗﾐﾝｸﾞとその他諸々なオタク (⚠⚠⚠AI研究者ではありません!!!フォロー非推奨!!!⚠⚠⚠) IT と AI 関連の情報ウォッチしてます 同IDで Bluesky にもいます 時間掛けて書いた見てほしいツイートはハイライトに (2023/12~) note.com/sumisutori Torishima / INTP @izutorishima 画像を高画質化する AI の Real-ESRGAN、ウルトラスーパーガチで凄すぎて超絶ビビってる waifu2x-caffe と違って Intel Graphics に対応してるらしくノート PC でも爆速でアップスケーリングできるし、精度も段違い（2枚目: Before 3枚目: After） なぜ話題になっていないのか不思議なレベ

世界のルールが根本的に変わってしまう… そういう展開は、マンガや映画ではよく起こる。それが現実でも起きそうだ。 あと数日（から数週間）で「トップレベルの画像生成AI」が、世界中にフリーで配布される。 イラスト、マンガはおろか3D CGや建築、動画、映像…果てはフェイクニュースからポルノまで…あらゆる創作に携わる全ての人を巻き込む、歴史的な転換点が訪れようとしている。 凄さ的には、悪魔の実がメルカリで買えるようになる。念能力トレーニング動画がYoutubeにアップされる。それぐらいヤバい。 メルカリで悪魔の実が買える世界では、誰もが能力者（一流とは限らない）になれる。そんな、漫画やゲームのラスボスが語るようなユートピアが、あと数日で現実になってしまうかもしれない。 Stable Diffusionで出力したドワーフの王様Stable Diffusionで出力したホビットのスタディ Stabl

自由入力された文章をデータ化する形態素解析ですが、巨大な辞書が必要になったり次々登場する単語に対応することなどなかなか大変そうなイメージでしたが、機械学習を使った、単語分割するコンパクトな実装「TinySegmenter」を発見。ブラウザやDenoでいい感じに使えるESモジュール版にしてみました。 「頻出単語表示 by TinySegmenter」 文章を入れると、頻出単語順に並び替えて表示する、サンプルアプリ。このアプリでは、3文字以上を単語としています。一日一創ブログをコピペしてみるといい感じに！ プログラムで組み込む方法は簡単、ブラウザやDenoで下記コードを入れるだけ。 import { TinySegmenter } from "https://code4fukui.github.io/TinySegmenter/TinySegmenter.js"; const segs = T

自分の声を美少女ボイスやイケメンボイスに変換してくれるボイスチェンジャーは、ライブ配信やムービー投稿の際にありがたい存在です。しかし、ボイスチェンジャーによって変換できる音声は固定されており、自分好みの音声に変換できるボイスチェンジャーを見つけるのは困難です。天王洲アイル氏は、この問題をAIを用いて解決する方法について解説し、さらにAIの力で自分の声を好みの声にリアルタイム変換できるボイスチェンジャー「MMVC」を公開しています。 VRChatなどの登場によって誰でも好きなアバターを使って好きなキャラクターになりきることが可能となりました。また、自分の声を美少女ボイスやイケメンボイスに変換できるボイスチェンジャーも多くの種類が存在しています。しかし、既存のボイスチェンジャーには「理想的な結果を得るためにはボイスチェンジャーに合わせた発声練習が必要」「リアルタイム変換が不可能なため、会話やラ

【渡辺明名人】37歳。名人・棋王・王将の三冠を保持し、現将棋界の序列１位。近年はコンピュータ将棋（AI）を用いての綿密な研究でも知られる。ほとんどの棋士を相手に勝ち越し「現役最強」とも言われるが、棋聖戦五番勝負では藤井聡太棋聖に挑戦して敗れた。 （７月某日、LINEにて、渡辺名人が研究用の新しいマシンの購入を検討しているという話になり） 渡辺　将棋ソフト用のパソコンと最新のソフト事情について教えてもらいたいんですけど。 松本　それなら水匠開発者の杉村達也さんが適任です。ご紹介しますよ。 渡辺　ディープラーニング系のソフトってなに？ってところですよ、私は（笑） 松本　ますますちょうどいい。私もそのあたり、さっぱりわからないので（笑）。ところで新しいマシンを買うのだと、たとえば藤井聡太さんみたいなモデルはCPUだけで50万円らしいですね。 松本　ということは、トータルで予算80万円ぐらいですか

「なぜ見抜けなかったのか」 画像の選択を迫られるたびに俺は自問する。 進化の筋道を正しく予測するのは難しい。 遺伝的アルゴリズムの活用 2021年から、新たに習慣となった行為はあるだろうか。俺はある。PCの前に座り、二つの画像のうち、どっちの方がエッチかを選ぶ。これがモーニングルーティンとなっている。もちろんこれの話だ。 遺伝的アルゴリズムで最高にエッチな画像を作ろう！ これまで何度も話題になっていたし、直近でも関連ツイートがバズっていたので、本記事を読む人の大半は知っているだろう。名前の通り、遺伝的アルゴリズムでエッチな画像を作るシステムである。人が画像を選択することで、よりエッチな画像が生き残り、高みへと一歩近づく。最初はノイズのようなモザイク画だったが、10,000世代を超えた現在では「女性の裸体」と認識できるものに仕上がっている。 0世代と10,000世代 現状について「最高にエッ

群青ちきん @miseromisero エッチな画像が欲しかったので、遺伝的アルゴリズムでエッチな画像を生成するシステムを開発しました。サイトでみなさんの好みを送り続けると、だんだんとエッチな画像が表示されるようになるはずです。 エッチな画像を作るために、よければRT等お願いします。 gamingchahan.com/ecchi 2021-01-10 19:24:01

今年に入り、AI歌声合成の動きが激しく、その進化のすごさ、クオリティーの高さには驚くばかりです。中でも注目すべきは今年2月に彗星のように登場し、フリーウェアとして公開されたNEUTRINO（ニュートリノ）です。これはSHACHI(@SHACHI_NEUTRINO)さんが開発するフリーのソフトであり、これまで東北きりたん、謡子、そしてJSUT（いずれも学術的に公開されている歌声データベースを利用して開発している）の3つの歌声ライブラリが同梱されてました。そこに9月18日、新たに東北イタコが追加されたのです（9月18日現在、公開されている0.400には東北きりたん、東北イタコのみが同梱。それ以外については後日公開される模様です）。 先日、「AIきりたんに次ぐ第2のAIシンガー、東北イタコの歌唱データベース制作プロジェクトのクラウドファンディングスタート」という記事でも紹介し、無事にクラウドファ