自己教師あり学習（Self-Supervised Learning：SSL）とは？：AI・機械学習の用語辞典 用語「自己教師あり学習」について説明。ラベルなしの大量データセットを使って、プレテキストタスク（疑似的なラベルが自動生成された代替のタスク）を解くための事前学習を行う学習方法のこと。その後、ターゲットタスクを解くために、（少量の）別のデータセットを使って事前学習済みモデルをファインチューニングする。 連載目次 用語解説 機械学習（厳密にはニューラルネットワーク）における自己教師あり学習（Self-Supervised Learning：SSL）とは、教師ラベルが付与されていない大量のデータセットを使って、プレテキストタスク（Pretext task）と呼ばれる「疑似的なラベルが自動生成された代替のタスク」を解くための事前学習を行う学習方法のことである。その後、本来の目的であるターゲ

はじめに 初めまして。ZENKIGENデータサイエンスチームのはまなすです。正式な所属はDeNAデータ本部AI技術開発部なのですが[1]、業務委託という形で今年度から深層学習系の開発等に携わっています。 深層学習界隈では、2017年に衝撃的なタイトル（Attention Is All You Need）の論文が発表されてから早5年半、元出自の機械翻訳タスクを大きく越えて、Transformer関連の技術が様々な領域で用いられる汎用アーキテクチャとして目覚ましく発展し続けています。 今回はそんなTransformerが現時点までにどのように活用されてきたか、また、どのように工夫されてきたかをざっくりと俯瞰し、流れをおさらいする目的の記事になります。本記事の大枠は、2021年時点でのサーベイ論文である A Survey of Transformers に倣いつつ、適宜、2023年2月上旬現在ま

拡散モデルはデータを生成できるモデル、いわゆる生成モデルの1つで、注目を集めている。拡散モデルはその生成品質の高さや用途の多様性だけでなく、これまでの生成モデルにはない高い拡張性があり、多くの分野で急速に使われ始めている。 拡散モデルを利用した成果の代表例は、2022年に登場した DALL-E2 やMidjourney、Stable Diffusion であろう。これらのサービス／ソフトウェアは、ユーザーが指定したテキストに対応する画像を生成する。その際、生成対象だけでなく、そのスタイルやテーマを自由に指定することができる。そのため世界中の多くのユーザーの注目を集めており、既に膨大な量の作品が生成されている。自然言語がカバーする膨大な対象、スタイル、テーマに対応する高品質な画像を生成できるこれらのサービスの技術の根幹が拡散モデルであり、そのポテンシャルの高さを示している。 拡散モデルは従来

こんにちは！逆瀬川 ( https://twitter.com/gyakuse ) です。 今日はGPT-3.5を使って論文を自動分類するモデルのための教師データを作ってみました。 これから文章分類とかやってみたいな〜って人の参考になれば嬉しいです。 まだまだ勉強中なので、おかしなところとかあるかもしれませんが、もしそういうところあったらぜひ指摘してください！ 前段 arXivに投稿されるCS論文は多い月で8000本程度あります。これを全部チェックしようとするとものすごく時間がかかってしまいます。そのため、自動的にAbstractを要約して、Discordの各カテゴリ速報チャンネルに投稿しようと思いました。 全体構成としては、以下のような構造になっていると論文読みが捗りそうです(なお、オープンで無償のサービスであっても、論文のライセンスに気をつける必要があります)。 自動要約・自動翻訳の仕

背景 最近、Mediumなどの記事でたびたび BERTopic という文字が目に飛び込んできていていました。 ネットリサーチの業務でアンケートのフリーアンサー（自由記述）設問の回答を＂イイ感じで分類したい＂ケースはよくあります。そのためBERTを利用し『集計作業のお悩みをAIで解決／第4話「文章自由回答データを効率的に集計する”教師なし学習AI”とは」』のように分類する機能を利用してきました。 NLPも他の機械学習と同様に「教師あり学習」と「教師無し学習」があり、「教師あり学習」は使いやすく結果の精度も安定した状態でツールとして運用できていて、もう数年もの間地道に利用されている状態です。しかし「教師あり学習」は教師データの学習というワンステップが必要なのと、この「教師データ」のクォリティにより使い物になるかどうかが決まってしまうという、幅広い一般のスタッフが実務としての運用するにはちょっと

PythonでgRPCサービスを開発する――サーバサイドストリーミングとは？：スキマ時間にこっそり学ぶ「gRPC」入門（4） 第4回は、Pythonでストリーミング型のgRPCサービスを開発してみます。ここでは、幾つかあるストリーミング型のうち、サーバからの複数レスポンスとなるサーバサイドストリーミングを実装してみます。

こんにちは。だだっこぱんだです。 今回は、AIイラスト界隈で最近話題のControlNetについて使い方をざっくり紹介していきます。 モチベが続けば随時更新します。 StableDiffusionWebUIのインストール今回はStableDiffusionWebUIの拡張機能のControlNetを使います。 WebUIのインストールに関してはすでにいろんな解説記事や動画があると思うのでそちらをご参照ください。 一応僕が作った簡単にWebUIを起動できるソフトも紹介しておきます（せんでん）

Discover amazing ML apps made by the community

以前、画像生成AIを使ったイラストの模倣、「AIトレパク」が問題になっているという話をしましたが、画像生成AIと著作権の問題は国際的にも複雑化しています。まだ、現時点ではどうなるのかがはっきりしない混沌とした状況が進み続けています。しかし、現時点で大きなボトルネックになっているのは、計算をするGPUのチップ性能であるため、長い目で見たときには、今後必ず起きると予測できるのは、画像生成AIがリアルタイムに使われるようになり、それで生み出されるコンテンツが登場する未来です。 画像生成AIが集団訴訟を起こされる アメリカで、1月に画像生成AIを開発し、サービスを展開しているStablity AIやMidjourneyなどを相手取って集団訴訟が提起されました（米The Vergeの記事）。著作権侵害を理由に、損害賠償と利用差し止めを求めています。プレスリリースでは「LAION-5Bデータセットに含

Fixie.aiは2023年2月7日（米国時間）、クラウドでホストされ、大規模言語モデルを活用できるPaaS（Platform as a Service）「Fixie.ai」を発表した。 Fixie.aiは、GoogleとAppleの元幹部社員（エンジニア、プロダクトリーダー、AI専門家）が2022年に設立した新興企業。英単語の「fixie」は、後輪のギアが後輪の車軸に固定され、後退も可能で、ブレーキがない自転車を指す。 同社は今回発表したFixie.aiを、「独自のデータソース、システム、ツールに接続し、大規模言語モデルの能力を拡張するスマートエージェントを構築、ホスト、スケーリングするための新しいプラットフォーム」と説明している。 最近では、自然な会話ができる高機能Webサービスに使われている、人との対話をターゲットとする大規模言語モデル「ChatGPT」が話題を呼んでいるが、Fixi

ChatGPTは「手前の文に確率的にありそうな続きの文字を繋げるAI」 まず最初にChatGPTの仕組みについて。 深津さんによるとChatGPTは、「手前の文に確率的にありそうな続きの文字をどんどん繋げていくAIである」とのこと。 例えば「昔々」という入力に対して、確率的にありそうな続きの文字は「あるところに」であるという具合に、続きそうな文字をただ出してくれるAIなんだそうです。 これを誤解していると求めているような回答がなかなか得られないので、ChatGPTに自分が求めている回答してもらうためには、確率的にありそうな続きの文字を出す方向性を狭めていくような質問をする必要があるそうなんですね。